vidjil issueshttps://gitlab.inria.fr/vidjil/vidjil/-/issues2021-02-03T18:52:47+01:00https://gitlab.inria.fr/vidjil/vidjil/-/issues/4570Documenter comment travailler sur un format .vidjil2021-02-03T18:52:47+01:00Mathieu GiraudDocumenter comment travailler sur un format .vidjilIl serait intéressant d'encourager les bioinformaticiens à utiliser le format vidjil, plus riche que des exports comme l'export CSV du ~client.
Dans `doc/vidjil-format`, rajouter un script python simple d'exemple pour itérer sur des cl...Il serait intéressant d'encourager les bioinformaticiens à utiliser le format vidjil, plus riche que des exports comme l'export CSV du ~client.
Dans `doc/vidjil-format`, rajouter un script python simple d'exemple pour itérer sur des clones d'un .vijdil multi-sample.
Voir également, côté API, #4207 et #1589.Mathieu GiraudMathieu Giraudhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/4599Algo, indiquer la raison de non-productivité2021-02-03T10:01:50+01:00Thonier FlorianAlgo, indiquer la raison de non-productivitéOn pourrait afficher la raison lorsque c'est disponible. Igblast indique par exemple `out-of-frame`, `codon-stop`.
Il fuadrait pouvoir le calculer, et je pense que c'est possible puisque déjà utiliser pour le définir.
il faut dans un ...On pourrait afficher la raison lorsque c'est disponible. Igblast indique par exemple `out-of-frame`, `codon-stop`.
Il fuadrait pouvoir le calculer, et je pense que c'est possible puisque déjà utiliser pour le définir.
il faut dans un second temps le mettre dans le format vidjil, puis l'exploiter dans le client.Algo 2021.02Mathieu GiraudMathieu Giraudhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/4649mulitple-test et json.decoder.JSONDecodeError2021-02-03T09:57:42+01:00Mathieu Giraudmulitple-test et json.decoder.JSONDecodeErrorSur [plusieurs](https://gitlab.inria.fr/vidjil/vidjil/-/pipelines/203732/failures) slaves, `should-get-tests/productive.should` est en échec a priori sur `dev`, comme dans https://gitlab.inria.fr/vidjil/vidjil/-/jobs/927650 :
```
shou...Sur [plusieurs](https://gitlab.inria.fr/vidjil/vidjil/-/pipelines/203732/failures) slaves, `should-get-tests/productive.should` est en échec a priori sur `dev`, comme dans https://gitlab.inria.fr/vidjil/vidjil/-/jobs/927650 :
```
should-get-tests/productive.should
(...)
File "should.py", line 401, in deep_get
raise KeyError(key)
KeyError: 'clones[1].seg.junction.unproductive'
During handling of the above exception, another exception occurred:
Traceback (most recent call last):
File "should.py", line 1324, in <module>
fs.test(variables = variables, cd = args.cd, cd_same = args.cd_same, output = args.output, verbose = args.verbose, only = only)
File "should.py", line 1177, in test
s.test(open(f), variables, verbose - 1, only=only)
File "should.py", line 952, in test
self.one_test(test, current_test_lines, verbose, colorize)
File "should.py", line 1060, in one_test
test.test(test_lines, variables=self.variables_all, verbose=verbose-1)
File "should.py", line 747, in test
except (json.decoder.JSONDecodeError, KeyError):
AttributeError: 'module' object has no attribute 'JSONDecodeError'
```
Une version de python qui n'est pas la bonne ?https://gitlab.inria.fr/vidjil/vidjil/-/issues/4672json.decoder.JSONDecodeError non existant sur certaines images2021-02-03T09:57:40+01:00Mikaël Salsonjson.decoder.JSONDecodeError non existant sur certaines imagesOn a une erreur sur certains jobs (exemple : Job [#927641](https://gitlab.inria.fr/vidjil/vidjil/-/jobs/927641)). Est-ce qu'il manque quelque chose sur certaines images Docker ? Ou est-ce un problème de fond ?
Doit être résolu pour fair...On a une erreur sur certains jobs (exemple : Job [#927641](https://gitlab.inria.fr/vidjil/vidjil/-/jobs/927641)). Est-ce qu'il manque quelque chose sur certaines images Docker ? Ou est-ce un problème de fond ?
Doit être résolu pour faire une release.
/cc @magiraudAlgo 2021.02Mathieu GiraudMathieu Giraudhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/3060Aide détaillée sur les warnings2021-02-03T09:21:42+01:00Mathieu GiraudAide détaillée sur les warningsDepuis #3029 :
> Lier sur de l'aide #1945/#2745, l'identifiant aidant à cela
Partir de `warnings.md`, y mettre une doc plus complète, l'extraire quelque part ?Depuis #3029 :
> Lier sur de l'aide #1945/#2745, l'identifiant aidant à cela
Partir de `warnings.md`, y mettre une doc plus complète, l'extraire quelque part ?https://gitlab.inria.fr/vidjil/vidjil/-/issues/3735Affichage des différents niveaux de warning2021-02-03T09:10:12+01:00Mikaël SalsonAffichage des différents niveaux de warningEn pensant à CloneDB je me dis qu'on devrait avoir des warnings affichés très clairement.
On a pour l'instant un petit panneau qui change de couleur selon le niveau de warning (#3127). Mais finalement seule la couleur change (perceptibl...En pensant à CloneDB je me dis qu'on devrait avoir des warnings affichés très clairement.
On a pour l'instant un petit panneau qui change de couleur selon le niveau de warning (#3127). Mais finalement seule la couleur change (perceptible pour tout le monde ?) pour les niveaux `warn`, `error`, `fatal`. Peut-on imaginer quelque chose de plus marquant, pour de très gros warning (`fatal` ou `error`) ?
Par exemple en cas de warning très important sur un clone s'autoriserait-on à le faire apparaître différemment (avec un style particulier sur le clone lui même, dans les listes et les différents graphs) ?
Par exemple si un clone vu dans la CloneDB est vu dans des centaines d'échantillons, parfois à des abondances importantes, et qu'il est très abondant, n'aurait-on pas envie de lever un warning majeur sur ce clone ?https://gitlab.inria.fr/vidjil/vidjil/-/issues/3360Gestion plus propre des warnings2021-02-03T09:09:32+01:00Mikaël SalsonGestion plus propre des warningsPour l'instant l'ajout d'un warning se fait dans le JSON. Si on veut afficher quelque chose sur la sortie standard c'est géré indépendamment, avec des messages qui peuvent diverger.
Ce n'est donc pas très générique.
De plus l'ajout d'un...Pour l'instant l'ajout d'un warning se fait dans le JSON. Si on veut afficher quelque chose sur la sortie standard c'est géré indépendamment, avec des messages qui peuvent diverger.
Ce n'est donc pas très générique.
De plus l'ajout d'un warning dans le JSON se fait par un code unique, sous forme de chaîne, suivie d'une description.
Plusieurs éléments :
* [ ] Ne pourrait-on pas avoir une constante pour chaque warning (toujours préférable aux chaînes pour lesquelles on risque une typo) ?
* [ ] Le message ne peut-il pas être mis automatiquement (tous définis dans un tableau commun) plutôt que d'avoir à le réécrire à chaque fois ?
* [x] Les warnings ne peuvent-ils pas exister indépendamment du JSON ? Ensuite c'est chaque type de sortie qui définit ce qu'elle fait du warning.https://gitlab.inria.fr/vidjil/vidjil/-/issues/2247Inventaire des warnings dans le fichier .vidjil et ailleurs2021-02-03T09:08:25+01:00Mathieu GiraudInventaire des warnings dans le fichier .vidjil et ailleursPour l'instant, on a quelques warnings par clone qui sont affichés, côté ~client, dans `builder.js`. On pourrait avoir un mécanisme plus général, pour afficher dans le ~client des warnings. Nous avons ajouté un champ `warn`) dans le `.v...Pour l'instant, on a quelques warnings par clone qui sont affichés, côté ~client, dans `builder.js`. On pourrait avoir un mécanisme plus général, pour afficher dans le ~client des warnings. Nous avons ajouté un champ `warn`) dans le `.vidjil, que ce soit par clone ou en global #2916. Mais cela ne suffit pas pour les ~"server-pre-process"...
Inventaire des warnings possibles, à compléter / discuter / implémenter -> https://gitlab.inria.fr/vidjil/vidjil/blob/dev/doc/warnings.md
cc @mikael-s @RyanHerb @flothoniThonier FlorianThonier Florianhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/3054Avoir plus d'informations sur PEAR2021-02-03T09:06:41+01:00Thonier FlorianAvoir plus d'informations sur PEARJ'ai eu le cas dernièrement d'un assemblage de PEAR qui retournait des reads très courts, et donc avec 60% qui n'ont pas pu être mergés. J'aurais aimé avoir plus d'informations sur l'état des fastq avant/après le merge, et quelques infor...J'ai eu le cas dernièrement d'un assemblage de PEAR qui retournait des reads très courts, et donc avec 60% qui n'ont pas pu être mergés. J'aurais aimé avoir plus d'informations sur l'état des fastq avant/après le merge, et quelques informations en plus comme par exemple en #2242.
Ici l'idée serait de rajouter dans le rapport un petit script/soft qui vérifie combien de reads étaient dans les fichiers de départ, la longueur moyenne, médiane, ...
cc @magiraud @mikael-s https://gitlab.inria.fr/vidjil/vidjil/-/issues/4673Suggestion de nouveaux warnings2021-02-03T09:06:40+01:00Mathieu GiraudSuggestion de nouveaux warningsDe @flothoni, dans #2247 :
> ce que je vois comme informations manquantes serait en amont de l'utilisation de vidjil, plus sur le preprocess (cf #3054 ) ou les fichiers sources.
> * bad (mean) quality fastq
> * short reads
> * degenera...De @flothoni, dans #2247 :
> ce que je vois comme informations manquantes serait en amont de l'utilisation de vidjil, plus sur le preprocess (cf #3054 ) ou les fichiers sources.
> * bad (mean) quality fastq
> * short reads
> * degenerated nucleotides
> Je repense aux preprocess. Il m'était arrivé un jour à Necker de me retrouver avec des fichiers corrompus pour lesquelles le `gz` sortait des fichiers très inférieurs à sa propre taille, mais qui restait ds les règles du format fastq. Ca mériterais un warning mais je ne pense pas que l'on ait d'outil pour détecter ça.https://gitlab.inria.fr/vidjil/vidjil/-/issues/4532Clarifier et documenter l'ajout de germlines2021-02-02T12:21:19+01:00Mathieu GiraudClarifier et documenter l'ajout de germlinesSuggestion de @flothoni dans !831 (au final !839)
Le process actuel:
- mettre des choses dans `split-germlines`
- tester en local, voire sur le serveur avec des germlines déployées à la main, paramétrer avec l'usager sur des données
- p...Suggestion de @flothoni dans !831 (au final !839)
Le process actuel:
- mettre des choses dans `split-germlines`
- tester en local, voire sur le serveur avec des germlines déployées à la main, paramétrer avec l'usager sur des données
- puis MR sur une `feature-g`
- et MR sur `feature-a` en changeant `germline_id` ? Ou non, #3919 ? Ce n'est pas très clair.Mathieu GiraudMathieu Giraudhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/4642vidjil-algo: analyser stdin2021-02-02T12:19:23+01:00Mathieu Giraudvidjil-algo: analyser stdin
Quelque chose comme `vidjil-algo -c desigations -` serait parfois utile pour analyser des reads au fur et à mesure.
Usages possibles:
- travail à la main sur quelques séquences
- pipe depuis d'autres outils
- analyse en temps-réel ...
Quelque chose comme `vidjil-algo -c desigations -` serait parfois utile pour analyser des reads au fur et à mesure.
Usages possibles:
- travail à la main sur quelques séquences
- pipe depuis d'autres outils
- analyse en temps-réel le jour où on aura de telles données ;)
(Par contre `-c clones` pas pertinent, puisqu'il faut attendre la fin...)Algo 2021.02Mathieu GiraudMathieu Giraudhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/4643vidjil-algo: option pour afficher l'alignement avec les germlines type vdj_align2021-02-02T12:06:07+01:00Mathieu Giraudvidjil-algo: option pour afficher l'alignement avec les germlines type vdj_alignLa sortie `vdj_assign` est vraiment très intéressante. (Mais attention, ce n'est pas un alignement, ne gère pas les indels).
On pourrait avoir `--show-alignments` qui ferait ce type de chose directemet dans la sortie de `vidjil-algo`.La sortie `vdj_assign` est vraiment très intéressante. (Mais attention, ce n'est pas un alignement, ne gère pas les indels).
On pourrait avoir `--show-alignments` qui ferait ce type de chose directemet dans la sortie de `vidjil-algo`.Algo 2021.02Mathieu GiraudMathieu Giraudhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/4669Warning sur certaines séquences en sortie des pre-process2021-01-27T18:45:13+01:00Mathieu GiraudWarning sur certaines séquences en sortie des pre-processEst-ce qu'un pre-process pourrait transmettre des warnings sur certains reads ?
Hum, pas facile, il pourrait éventuellement mettre des choses dans les header, type `>!W91!blabla`, mais il faudrait ensuite du traitement particulier dans ...Est-ce qu'un pre-process pourrait transmettre des warnings sur certains reads ?
Hum, pas facile, il pourrait éventuellement mettre des choses dans les header, type `>!W91!blabla`, mais il faudrait ensuite du traitement particulier dans le ~cpp pour propager ces warnings aux clones. Bof-bof.https://gitlab.inria.fr/vidjil/vidjil/-/issues/4666Warning reads Illumina non mergés à 151bp ?2021-01-27T18:23:45+01:00Mathieu GiraudWarning reads Illumina non mergés à 151bp ?Vu avec @flothoni : on a des cas avec un pic à 151bp (en distribution) venant probablement de read non mergées.
Florian, c'est quelque chose que tu as vu souvent ?
Est-ce que cela ferait sens de mettre un warning sur les R1 dans "merge+...Vu avec @flothoni : on a des cas avec un pic à 151bp (en distribution) venant probablement de read non mergées.
Florian, c'est quelque chose que tu as vu souvent ?
Est-ce que cela ferait sens de mettre un warning sur les R1 dans "merge+R1" ? Est-on capable de mettre des ~"client-warning" sur les clones de distribution ?
cc @flothonihttps://gitlab.inria.fr/vidjil/vidjil/-/issues/4668Authentification SSO / SAML2021-01-27T16:06:25+01:00Mathieu GiraudAuthentification SSO / SAMLEst-ce que cela ferait sens, en complément de LDAP #2062, de permettre une authentification via un fournisseur externe ?
cc @duezEst-ce que cela ferait sens, en complément de LDAP #2062, de permettre une authentification via un fournisseur externe ?
cc @duezhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/4667Documentation, avoir un champ de recherhce2021-01-27T11:13:55+01:00Thonier FlorianDocumentation, avoir un champ de recherhceNotre doc est sur Mkdocs, et il existe par défaut un moyen d'avoir une bar de recherche interne à la doc.
En ce moment c'est désactivé. Cela est possiblement provoqué par le fait que nous ayons une version statique de la doc, et non pa...Notre doc est sur Mkdocs, et il existe par défaut un moyen d'avoir une bar de recherche interne à la doc.
En ce moment c'est désactivé. Cela est possiblement provoqué par le fait que nous ayons une version statique de la doc, et non pas un serveur. Il faut vérifier si c'est la raison, et voir quand même si il n'existe pas l'option sur un site statique, ou via un plugin.
L'autre option est de lancer des recherches sur google avec l'option site:vidjil.org/docMathieu GiraudMathieu Giraudhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/3848Index pour montrer la proportion d'un répertoire à se reconstruire2021-01-27T10:44:51+01:00Thonier FlorianIndex pour montrer la proportion d'un répertoire à se reconstruireCAR-T; analyse de la diversité, et de la propension à se reconstruire (Delfau-Larue)
A part des indexes classiques, je n'ai pas d'idées révolutionnaire en tête. Lire des publications pour voir si quelques choses de particulier émerge.
...CAR-T; analyse de la diversité, et de la propension à se reconstruire (Delfau-Larue)
A part des indexes classiques, je n'ai pas d'idées révolutionnaire en tête. Lire des publications pour voir si quelques choses de particulier émerge.
Voir #3851 pour l'aspect interaction/intégration dans l'interface de ces indices.https://gitlab.inria.fr/vidjil/vidjil/-/issues/3851Pouvoir montrer quelques stats de répertoires depuis l'interface2021-01-27T10:43:51+01:00Thonier FlorianPouvoir montrer quelques stats de répertoires depuis l'interfacel'issue #3848 est centrée sur les indices de diversité que l'on peux calculer et comment. Ici je souhaite d'avantage parler de la méthode pour les afficher dans l'interface.
Faut-il rajouter une item dans la barre menu pour permettre d'...l'issue #3848 est centrée sur les indices de diversité que l'on peux calculer et comment. Ici je souhaite d'avantage parler de la méthode pour les afficher dans l'interface.
Faut-il rajouter une item dans la barre menu pour permettre d'afficher/calculer ces indices, Morisita en tête (#3830).https://gitlab.inria.fr/vidjil/vidjil/-/issues/3401Liste de tests fonctionnels server2021-01-26T16:51:05+01:00Ryan HerbertListe de tests fonctionnels serverIci on fait une liste des tests fonctionnels server:
* Utilisateur
- [x] Login
- [ ] Logout (mais #2571 #2477)
- [ ] Changer le mot de passe (mais #1682)
* Patients
- [x] Ajout (multiple)
- [x] Edition
- [x] Suppression
...Ici on fait une liste des tests fonctionnels server:
* Utilisateur
- [x] Login
- [ ] Logout (mais #2571 #2477)
- [ ] Changer le mot de passe (mais #1682)
* Patients
- [x] Ajout (multiple)
- [x] Edition
- [x] Suppression
- [x] Recherche
* Samples
- [x] Ajout (multiple)
- [x] Upload (normal, déjà inclus dans précédent ?) (et #4628)
- [x] Upload (réseau)
- [x] Edition
- [ ] Edition: ajouter le sample à un set supplémentaire
- [ ] Reupload
- [x] Suppression avec results
- [ ] Suppression sans results (n'existent pas)
- [ ] Suppression sans results (mais results existent)
- [x] Recherche
- [ ] Ajout sets multiples
- [x] Run (et #4628)
- [ ] Runs concurrents, certains sont provisoirement en `QUEUED` #3447
- [ ] Pre-process
- [ ] Relancer pre-process échoué
* Autcompletion
- [ ] tags
- [ ] samples
* Tags
- [x] Recherche par click (patient ou sample)
- [x] Recherche patient
- [x] Recherche sample
* Permissions
- [ ] Accès groupe public
- [ ] Accès groupe personnel
- [ ] Accès groupe hierarchie
- [ ] Pas d'accès à un groupe dont on n'est pas membre
- [ ] Permissions diverses (admin, upload, create, run)
* Groupes
- [ ] Ajout
- [ ] Edition
- [ ] Suppression
- [ ] Invitation utilisateur
- [ ] Exclusion utilisateur
- [ ] Modification permissions
* Configs
- [ ] Ajout
- [ ] Edition
- [ ] Suppression
* Tips
- [ ] Fermer
- [ ] Suivant
- [ ] Précédent
- [ ] lu
* Notifications
- [ ] Ajout
- [ ] Edition
- [ ] Suppression
- [ ] Expiration
- [ ] lu
* logs
- [ ] tester tous les cas de figure ?
* Utilisateurs
- [ ] Ajout
- [ ] Edition
- [ ] Suppression
* Consultation d'une analyse préalablement lancée
- [ ] Affichage correct
- [ ] Vérification des informations affichées dans la fenêtre d'info globale (éviter #3416)
- [ ] Sauvegarder une analyse (éviter vdj#792)
* Pre process
- [x] Ajout
- [x] Edition
- [x] Suppression
* Compare
- [ ] Liste
- [ ] Compare