vidjil issueshttps://gitlab.inria.fr/vidjil/vidjil/-/issues2019-01-10T15:21:23+01:00https://gitlab.inria.fr/vidjil/vidjil/-/issues/3427Merge de reads bizarre, séquences trop courtes, clustérisant des séquences qu...2019-01-10T15:21:23+01:00Mathieu GiraudMerge de reads bizarre, séquences trop courtes, clustérisant des séquences qui ne devraient pas l'êtrePrend la suite de #3426.
@flothoni :
> (...) https://app.vidjil.org/?set=28385&config=25
> Lors du lancement de cette analyse (...), nous observons qu'il y a beaucoup de clones dans le top qui sont non segmentés, ou plutôt pour lesqu...Prend la suite de #3426.
@flothoni :
> (...) https://app.vidjil.org/?set=28385&config=25
> Lors du lancement de cette analyse (...), nous observons qu'il y a beaucoup de clones dans le top qui sont non segmentés, ou plutôt pour lesquels la longueur moyenne est très courte (<100 nt) et donc l'assignation ne montre aucun segments. (...) on clusterise de nombreuses séquences variant par des stretch de A.
> (...) J'ai déposé le fichier sur un nouveau patient pour faire des tests : patient 28538Thonier FlorianThonier Florianhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/3425Etendre les infos extraites avec sample_set/multi_sample_stats2018-08-06T15:47:51+02:00Ryan HerbertEtendre les infos extraites avec sample_set/multi_sample_statsSuite de #3172
Il faut choisir plus de données à afficher sur la page de stats.Suite de #3172
Il faut choisir plus de données à afficher sur la page de stats.https://gitlab.inria.fr/vidjil/vidjil/-/issues/3423Etendre vidjilparser.py pour générer des fichiers2018-07-30T15:52:07+02:00Ryan HerbertEtendre vidjilparser.py pour générer des fichiersDans #2240 nous avons créé un module capable d'extraire les informations d'un fichier en maintenant la structure d'un fichier vidjil, et de valider un fichier vidjil en suivant un modèle passé en paramètre, mais il ne sait pas encore gén...Dans #2240 nous avons créé un module capable d'extraire les informations d'un fichier en maintenant la structure d'un fichier vidjil, et de valider un fichier vidjil en suivant un modèle passé en paramètre, mais il ne sait pas encore générer "from scratch" un fichier vidjil.
Il faudrait savoir quel type d'API nous souhaitons construire.
L'utilisateur à-t-il besoin d'avoir des connaissances dans le format Vidjil, ou l'API suffit-elle ?
Moins on demande de connaissances sur le format vidjil, plus l'API demandera de complexité.
Mais plus on demande de connaissances, plus on se rapproche d'une API qui renvoit un dictionnaire plus ou moins complet que l'utilisateur doit compléter.https://gitlab.inria.fr/vidjil/vidjil/-/issues/3422Auto-complétion des sample sets : augmenter la limite de 10 résultats et la r...2019-02-28T12:39:28+01:00Mikaël SalsonAuto-complétion des sample sets : augmenter la limite de 10 résultats et la rendre claireLa limite de 10 résultats peut être un peu courte (cf. #3420). On pourrait l'augmenter (c'est simple) mais il faudrait aussi la rendre claire : on doit savoir qu'on ne voit que X résultats mais qu'en fait il en existe d'autres.La limite de 10 résultats peut être un peu courte (cf. #3420). On pourrait l'augmenter (c'est simple) mais il faudrait aussi la rendre claire : on doit savoir qu'on ne voit que X résultats mais qu'en fait il en existe d'autres.https://gitlab.inria.fr/vidjil/vidjil/-/issues/3421Auto-complétion des samples sets : marquer la distinction entre résultats réc...2018-07-27T18:40:10+02:00Mikaël SalsonAuto-complétion des samples sets : marquer la distinction entre résultats récents et résultats globaux.À l'utilisation, la différence d'auto-complétion qui se fait à partir du 3è caractère n'est pas claire (cf. #3420) : Pour 0, 1 et 2 caractères l'auto-complétion se fait sur les créations récentes de sample sets. À partir du 3è on fait la...À l'utilisation, la différence d'auto-complétion qui se fait à partir du 3è caractère n'est pas claire (cf. #3420) : Pour 0, 1 et 2 caractères l'auto-complétion se fait sur les créations récentes de sample sets. À partir du 3è on fait la recherche sur tous les samples sets accessibles par l'utilisateur.
Sans remettre en cause l'intérêt de cette distinction pour ne pas surcharger le serveur (mais pour nos utilisateur orientaux cette limite de 2 caractères pourrait être contraignante), il faudrait présenter les choses différemment (voire indiquer ain au sein de quoi la recherche est faite), afin de lever l'ambiguité existante.https://gitlab.inria.fr/vidjil/vidjil/-/issues/3420Améliorer l'ergonomie de l'auto-completion2019-03-25T09:43:54+01:00Anne de SeptenvilleAméliorer l'ergonomie de l'auto-completionJ'utilise l'auto-completion pour ajouter des sets/samples/runs à mes données préexistantes.
Rien de très important mais quelques petites choses à vous faire remonter :
1) Quand une "étiquette" est ajoutée dans le champ prévu à cet effet...J'utilise l'auto-completion pour ajouter des sets/samples/runs à mes données préexistantes.
Rien de très important mais quelques petites choses à vous faire remonter :
1) Quand une "étiquette" est ajoutée dans le champ prévu à cet effet, une espace est aussi ajoutée à la suite de l'étiquette. du coup quand on veut ajouter une 2e étiquette, il faut commencer par supprimer l'espace... j'ai mis du temps à comprendre que c'était pour ça que l'auto-complétion ne retrouvais pas toujours ce que je cherchais.
2) Je n'ai pas réussi à comprendre pourquoi, mais l'auto-completion ne veux pas afficher certaines étiquettes lorsque je tape certaines suites de caractères...
"P3" ne montre rien, il faut que je tape "P3 " pour voir le patient "EC-NGS P3 DJO" (idem avec les autres P1 à P9)
"EC-NGS " ne fais apparaître que mes sets "EC-NGS Comparaison" et "EC-NGS PSL" et pas les patients "EC-NGS Pxx xxx"https://gitlab.inria.fr/vidjil/vidjil/-/issues/3415Mettre -2 et -3 par défaut ?2018-07-21T13:41:30+02:00Mathieu GiraudMettre -2 et -3 par défaut ?La commande de base pourrait être désormais `vidjil-algo -g germline/homo-sapiens.g my-reads.fa`, avec par défaut:
- `-2` : Le unexpected/xxx est finalement ultra-testé, par défaut sur le servuer.
(`--no-unexpected` ou un truc comme...La commande de base pourrait être désormais `vidjil-algo -g germline/homo-sapiens.g my-reads.fa`, avec par défaut:
- `-2` : Le unexpected/xxx est finalement ultra-testé, par défaut sur le servuer.
(`--no-unexpected` ou un truc comme cela sinon)
- `-3` : (`--no-cdr3`, si cela vaut vraiment la peine ?)
Au pire des choses plus particulières pourraient être spécifiées dans `germline.h` (pour certains germlines, le CDR3 ne fait pas de sens (pas de CDR3 en IGKV-Intron, c'est déjà le cas, je ne vois pas où c'est réglé)https://gitlab.inria.fr/vidjil/vidjil/-/issues/3412Compare sample : depuis la liste globale pour une même config on ne voit que ...2019-02-27T19:12:31+01:00Mikaël SalsonCompare sample : depuis la liste globale pour une même config on ne voit que le plus ancien résultatProblème soulevé ici : #3410.
Pour cette utilisatrice (214) lorsqu'on cherche P9 sur la page des patients et qu'on fait un compare samples, on ne voit que 4 résultats, dont deux pour le patient `P9 P9` : un en IGH et un en multi+inc.
M...Problème soulevé ici : #3410.
Pour cette utilisatrice (214) lorsqu'on cherche P9 sur la page des patients et qu'on fait un compare samples, on ne voit que 4 résultats, dont deux pour le patient `P9 P9` : un en IGH et un en multi+inc.
Mais lorsqu'on va sur le patient `P9 P9` (27495) et qu'on fait un compare samples on voit 4 résultats : 3 en IGH et 1 en multi+inc.
De plus le seul résultat IGH vu dans le 1er cas est le plus ancien. Récupère-t-on uniquement un seul résultat par config ?
@RyanHerb ça te dit quelque chose ?Ryan HerbertRyan Herberthttps://gitlab.inria.fr/vidjil/vidjil/-/issues/3411Bouton admin pour passer à la version suivante de vidjil-algo ?2018-07-20T15:18:23+02:00Mathieu GiraudBouton admin pour passer à la version suivante de vidjil-algo ?Mais même chose pour le serveur, pour d'autres outils ?Mais même chose pour le serveur, pour d'autres outils ?https://gitlab.inria.fr/vidjil/vidjil/-/issues/3410Absence de reads lors d'une comparaison de 2 échantillons2018-07-20T15:06:28+02:00Anne de SeptenvilleAbsence de reads lors d'une comparaison de 2 échantillonsPour ces 2 patients (P9 et P10) j'ai bien des données d'analyse IGH, mais quand je veux les utiliser pour une comparaison avec un autre échantillon, Vidjil n'affiche que les clones du patient avec lequel je le compare, et no read pour P9...Pour ces 2 patients (P9 et P10) j'ai bien des données d'analyse IGH, mais quand je veux les utiliser pour une comparaison avec un autre échantillon, Vidjil n'affiche que les clones du patient avec lequel je le compare, et no read pour P9 ou P10.
Je crois que cela fait suite à ce problème : #3258
Il me semble que c'était les seuls patients pour lesquels je n'avais pas re-importé les fastq suite au problème #3258
https://app.vidjil.org/index.html?set=27495&config=2
https://app.vidjil.org/index.html?set=27496&config=2https://gitlab.inria.fr/vidjil/vidjil/-/issues/3409Modéliser / représenter la "read distribution"2023-06-28T18:17:49+02:00Mathieu GiraudModéliser / représenter la "read distribution"Voir #3408 et #3407.
> reads distrbution : l'histogramme montre le % de reads dans des clones ≥ 10%, compris entre 1% et 10%, compris entre 0,1% et 1%, etc. La hauteur peut être relative au nombre de reads du sample
Tous les 10%, propo...Voir #3408 et #3407.
> reads distrbution : l'histogramme montre le % de reads dans des clones ≥ 10%, compris entre 1% et 10%, compris entre 0,1% et 1%, etc. La hauteur peut être relative au nombre de reads du sample
Tous les 10%, proportion des reads ? Est-ce qu'on arrive à mettre dessus l'info sur le nombre de clones ?
En gros voir d'un coup d'oeil si c'est monoclonal / polyclonal / autre.
Autre option (peut-être aussi issue), le nombre de reads pour le top 20/50 clones.https://gitlab.inria.fr/vidjil/vidjil/-/issues/3408Qualité de chaque échantillon : première itération2023-06-28T16:59:24+02:00Mikaël SalsonQualité de chaque échantillon : première itérationVoici les informations qu'on pourrait vouloir afficher, et qui sont simples à récupérer :
* [ ] Nombre total de reads
* [ ] Nombre de reads analysés (%)
* [ ] Liste des locus détectés
* [ ] Nombre de clones ≥ 5% dans leur locus
* [ ] pot...Voici les informations qu'on pourrait vouloir afficher, et qui sont simples à récupérer :
* [ ] Nombre total de reads
* [ ] Nombre de reads analysés (%)
* [ ] Liste des locus détectés
* [ ] Nombre de clones ≥ 5% dans leur locus
* [ ] potentiellement distribution des clones par taille (`reads.distribution` dans le `.vidjil`)
* [ ] potentiellement distribution de la longueur des reads ? (type genescan)
Par la suite d'autres informations pourraient être ajoutées mais peuvent être plus complexes à récupérer (voir par exemple #2875) : par exemple des informations sur les pre-process, sur les causes de non-segmentation, ou des comparaisons entre les différents échantillons.Ryan HerbertRyan Herberthttps://gitlab.inria.fr/vidjil/vidjil/-/issues/3407Décoration des champs du contrôleur multi samples2019-02-28T12:39:28+01:00Mikaël SalsonDécoration des champs du contrôleur multi samplesPour #2235, #2875Pour #2235, #2875Ryan HerbertRyan Herberthttps://gitlab.inria.fr/vidjil/vidjil/-/issues/3405Choses sur lesquelles il y a eu du travail et qui seraient à boucler2018-07-20T19:06:11+02:00Mathieu GiraudChoses sur lesquelles il y a eu du travail et qui seraient à bouclerun tag ?
cc @mikael\-sun tag ?
cc @mikael\-shttps://gitlab.inria.fr/vidjil/vidjil/-/issues/3402Aho : segmentation en DJ au lieu de VDJ2018-10-03T15:57:05+02:00Mikaël SalsonAho : segmentation en DJ au lieu de VDJSur le test simple `should-vdj-tests/igh-vdj.should-vdj.fa` on segmente en DJ au lieu de segmenter en VDJ.
```
>(IGHV1-18*01, IGHV1-18*04) 0//0 IGHD3-16*01 0//0 IGHJ4*01 [IGH]
agcctacatggagctgaggagcctgagatctgacgacacggccgtgtattactgtgcga...Sur le test simple `should-vdj-tests/igh-vdj.should-vdj.fa` on segmente en DJ au lieu de segmenter en VDJ.
```
>(IGHV1-18*01, IGHV1-18*04) 0//0 IGHD3-16*01 0//0 IGHJ4*01 [IGH]
agcctacatggagctgaggagcctgagatctgacgacacggccgtgtattactgtgcgagaga
gtattatgattacgtttgggggagttatgcttatacc
actactttgactactggggccaaggaaccctggtcaccgtctcctcag
```
En IGH :
```
IGH SEG_+ 1.339458e-30 2.318227e-129/1.339458e-30+H+H+H+H+H+H+H+H+H+H+H+H+H+H+H+H+H+H+H+H+H+H+H+H+H+H+H ?+H+H+H+H+H+H+H+H+H+H+H+H+H+H+H+H+H+H+H+H+H+H+H _ _ _ _ _ _ _ _ _ _ _ _+V+V+V+V+V+V+V+V+V+V+V+V+V+V+V+V+V+V+V+V+V+V+V+V+V _ _ _ _ _ _ _ _ _ _ _ _+h+h+h+h+h+h+h+h+h _ _ _ _ _ _ _ _ _ _ _ _
```
En IGH+ :
```
IGH+ SEG_+ 1.329853e-39 8.909570e-83/1.329853e-39 _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _+H+H+H+H+H+H+H+H+H+H+H+H+H+H+H+H+H+H+H+H+H+H+H+H+H _ _ _ _ _ _ _ _ _ _ _ _+h+h+h+h+h+h+h+h+h _ _ _ _ _ _ _ _ _ _ _ _
```
Cela passe en IGH+ à cause du J, qui a pourtant autant d'affectations dans les deux cas. Mais la différence c'est que la fenêtre est plus proche du J en IGH+ qu'en IGH. La e-valeur est donc calculée sur une zone moins grande pour le J en IGH+ qu'en IGH, la e-valeur est donc moins élevée en IGH+ et IGH+ gagne.Heuristique 2.0https://gitlab.inria.fr/vidjil/vidjil/-/issues/3401Liste de tests fonctionnels server2021-01-26T16:51:05+01:00Ryan HerbertListe de tests fonctionnels serverIci on fait une liste des tests fonctionnels server:
* Utilisateur
- [x] Login
- [ ] Logout (mais #2571 #2477)
- [ ] Changer le mot de passe (mais #1682)
* Patients
- [x] Ajout (multiple)
- [x] Edition
- [x] Suppression
...Ici on fait une liste des tests fonctionnels server:
* Utilisateur
- [x] Login
- [ ] Logout (mais #2571 #2477)
- [ ] Changer le mot de passe (mais #1682)
* Patients
- [x] Ajout (multiple)
- [x] Edition
- [x] Suppression
- [x] Recherche
* Samples
- [x] Ajout (multiple)
- [x] Upload (normal, déjà inclus dans précédent ?) (et #4628)
- [x] Upload (réseau)
- [x] Edition
- [ ] Edition: ajouter le sample à un set supplémentaire
- [ ] Reupload
- [x] Suppression avec results
- [ ] Suppression sans results (n'existent pas)
- [ ] Suppression sans results (mais results existent)
- [x] Recherche
- [ ] Ajout sets multiples
- [x] Run (et #4628)
- [ ] Runs concurrents, certains sont provisoirement en `QUEUED` #3447
- [ ] Pre-process
- [ ] Relancer pre-process échoué
* Autcompletion
- [ ] tags
- [ ] samples
* Tags
- [x] Recherche par click (patient ou sample)
- [x] Recherche patient
- [x] Recherche sample
* Permissions
- [ ] Accès groupe public
- [ ] Accès groupe personnel
- [ ] Accès groupe hierarchie
- [ ] Pas d'accès à un groupe dont on n'est pas membre
- [ ] Permissions diverses (admin, upload, create, run)
* Groupes
- [ ] Ajout
- [ ] Edition
- [ ] Suppression
- [ ] Invitation utilisateur
- [ ] Exclusion utilisateur
- [ ] Modification permissions
* Configs
- [ ] Ajout
- [ ] Edition
- [ ] Suppression
* Tips
- [ ] Fermer
- [ ] Suivant
- [ ] Précédent
- [ ] lu
* Notifications
- [ ] Ajout
- [ ] Edition
- [ ] Suppression
- [ ] Expiration
- [ ] lu
* logs
- [ ] tester tous les cas de figure ?
* Utilisateurs
- [ ] Ajout
- [ ] Edition
- [ ] Suppression
* Consultation d'une analyse préalablement lancée
- [ ] Affichage correct
- [ ] Vérification des informations affichées dans la fenêtre d'info globale (éviter #3416)
- [ ] Sauvegarder une analyse (éviter vdj#792)
* Pre process
- [x] Ajout
- [x] Edition
- [x] Suppression
* Compare
- [ ] Liste
- [ ] Comparehttps://gitlab.inria.fr/vidjil/vidjil/-/issues/3400Pas de résultat visible avec des runs COMPLETED2018-07-19T13:01:10+02:00Ryan HerbertPas de résultat visible avec des runs COMPLETEDC'est un problème relevé par Lille.
Cas de figure: deux résultats COMPLETED, un RUNNING, et un QUEUED (plus quelques STOPPED).
Mais aucun lien n'est visible pour visionner l'analyse actuelle.C'est un problème relevé par Lille.
Cas de figure: deux résultats COMPLETED, un RUNNING, et un QUEUED (plus quelques STOPPED).
Mais aucun lien n'est visible pour visionner l'analyse actuelle.https://gitlab.inria.fr/vidjil/vidjil/-/issues/3397Coûts environnementaux et économiques de CI (et dev)2024-02-16T10:00:05+01:00Mathieu GiraudCoûts environnementaux et économiques de CI (et dev)Depuis #2723 :
> est-il raisonnable (coûts environnementaux, économiques, dépendance sur un serveur externe, etc.) de télécharger p.ex. 1Go de données à chaque pipeline ?
Et #2881 arrive...
Plus généralement, quelle sont ces coûts sur...Depuis #2723 :
> est-il raisonnable (coûts environnementaux, économiques, dépendance sur un serveur externe, etc.) de télécharger p.ex. 1Go de données à chaque pipeline ?
Et #2881 arrive...
Plus généralement, quelle sont ces coûts sur l'ensemble de notre process de CI, qui doit faire surtout beaucoup de CPU ? Est-ce que ces coûts sont négligeables ou non devant les gains de productivité / robustesse avec un bon pipeline de CI ?Dev-cihttps://gitlab.inria.fr/vidjil/vidjil/-/issues/3394BinReadStorage : Pertinence de 30 bins, tests ?2019-03-15T18:21:55+01:00Mathieu GiraudBinReadStorage : Pertinence de 30 bins, tests ?Extrait depuis #3393.
@magiraud :
> Au passage, voir e977c03c :
> > We increase the number of bins to make sure that the better quality reads will be in a different bin than medium quality reads.
> b9c934b4 juste pour voir (mais peut...Extrait depuis #3393.
@magiraud :
> Au passage, voir e977c03c :
> > We increase the number of bins to make sure that the better quality reads will be in a different bin than medium quality reads.
> b9c934b4 juste pour voir (mais peut-être que les tests ne couvrent pas les cas souhaités avec suffisament de reads pour remplir les bins).
Il se trouve donc que les tests passent sur b9c934b4. Est-ce que cela ne vaudrait pas le coup d'expliciter dans un test un cas difficile pour être pleinement convaincu de cette valeur 30 ?
@mikael\-s :
> J'en suis complètement convaincu qu'elle est pertinente. De là à savoir faire un test simple, c'est autre chose. Voici plusieurs jeux de données où cela a permis d'avoir une séquence consensus convenable (où on gagne une à deux centaines de nucléotides) :
>
> - http://rbx.vidjil.org/browser/index.html?sample_set_id=10040&config=35
>
> - http://rbx.vidjil.org/browser/index.html?sample_set_id=11812&config=35
>
> - http://rbx.vidjil.org/browser/index.html?sample_set_id=7520&config=35
>
> - http://rbx.vidjil.org/browser/index.html?sample_set_id=7575&config=26
>
> Ce n'était pas la seule raison de l'amélioration, cela faisait plus largement partie de ddd48c77e, mais c'était bien un élément nécessaire.
> Pour autant ce n'est pas pleinement satisfaisant car il reste des consensus trop courtes voire des cas où ça ne change rien : http://rbx.vidjil.org/browser/index.html?sample_set_id=11808&config=35
>
> Voir mes mails du 2016/10/04 14h44 et du 2016/12/02 16h14https://gitlab.inria.fr/vidjil/vidjil/-/issues/3392Profilage de l'espace mémoire utilisé par Vidjil-algo2020-04-29T12:50:19+02:00Mikaël SalsonProfilage de l'espace mémoire utilisé par Vidjil-algoOn se pose des questions sur l'espace mémoire qu'on pourrait gagner dans l'algo (#3389) mais en fait on ne sait pas vraiment où est dépensé l'espace mémoire.
#2120 nous montre un exemple où, hors pic de la fin d'exécution, on arrive à e...On se pose des questions sur l'espace mémoire qu'on pourrait gagner dans l'algo (#3389) mais en fait on ne sait pas vraiment où est dépensé l'espace mémoire.
#2120 nous montre un exemple où, hors pic de la fin d'exécution, on arrive à environ 1,5 Go. Or on a 1M de reads, on trouve des fenêtres dans 500k d'entre eux. On stocke des informations relatives uniquement à ces 500k reads.
Ces reads ont une longueur moyenne de 260bp. Dans #3389 on a listé les différents champs stockés pour les reads. En voyant large on doit arriver à 1ko par read. Cela nous ferait 500 Mo. Il manque environ 1Go. Qu'est-ce que je loupe d'important ?
Il y a bien des informations stockées par rapport au statut de la segmentation, aux longueurs moyennes, mais ça me semble assez négligeable à côté des reads.
Si on n'est pas capable de déterminer l'origine du Go manquant, cela signifie qu'on a besoin d'un profilage de la mémoire utilisée par le programme pour mieux situer les axes d'amélioration.