vidjil issueshttps://gitlab.inria.fr/vidjil/vidjil/-/issues2021-10-19T11:26:21+02:00https://gitlab.inria.fr/vidjil/vidjil/-/issues/1701Dans la table "config", afficher le nombre de runs lancés avec chaque config2021-10-19T11:26:21+02:00Vidjil TeamDans la table "config", afficher le nombre de runs lancés avec chaque configCe serait utile. On a beaucoup de configs sur rbx, cela aiderait à faire le ménage.
***
@RyanHerbCe serait utile. On a beaucoup de configs sur rbx, cela aiderait à faire le ménage.
***
@RyanHerbhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1700Statistiques sur le sens de la segmentation de chaque clone2017-11-29T13:41:45+01:00Vidjil TeamStatistiques sur le sens de la segmentation de chaque cloneIl faudrait afficher dans le browser le strand ratio pour chaque clone (avec un warning quand c'est très biaisé).
***
Et donc avant, le stocker dans le cpp et l'exporter
***
@magiraud @mikael-sIl faudrait afficher dans le browser le strand ratio pour chaque clone (avec un warning quand c'est très biaisé).
***
Et donc avant, le stocker dans le cpp et l'exporter
***
@magiraud @mikael-shttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1699Générer des .fa.gz pour les gros get_reads2016-11-29T14:39:37+01:00Vidjil TeamGénérer des .fa.gz pour les gros get_readsMais quand on commence, on ne sait pas encore si c'est gros ou pas.
Une option en command-line ?
***
@mikael-sMais quand on commence, on ne sait pas encore si c'est gros ou pas.
Une option en command-line ?
***
@mikael-shttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1695Identifiants des germlines dans germlines.js2022-06-20T15:30:34+02:00Vidjil TeamIdentifiants des germlines dans germlines.jsRemarqué par @Cyanael : les identifiants des *germlines* dans germlines.js ne sont pas systématiques : TRGV, TRGJ, IGK-INTRON, IGHD_upstream ...
En aval, cela impacte au moins model.js: exportFasta où on a du faire des règles spécifiq...Remarqué par @Cyanael : les identifiants des *germlines* dans germlines.js ne sont pas systématiques : TRGV, TRGJ, IGK-INTRON, IGHD_upstream ...
En aval, cela impacte au moins model.js: exportFasta où on a du faire des règles spécifiques.
Cela provient de `buildBrowserGermline.py` (et donc du nom des fichiers ?).
Ces identifiants ne sont pas propres, la seule référence devrait être les infos de `germline/homo-sapiens.g`
→ faudrait-il utiliser des clés TRG-5, TRG-3, IGK+-5, TRD-4 ?
→ ou même TRG / IGK+ en vrac ?
→ ou même... tout en vrac, dans une seule hashmap ? (A-t-on vraiment besoin des séquences séparées par germline ? La description des germlines est déjà faite par ailleurs)
https://gitlab.inria.fr/vidjil/vidjil/-/issues/1694Bug d'affichage quand le focus sur un clone (% en bas à droite) est très long2018-11-21T09:20:33+01:00Vidjil TeamBug d'affichage quand le focus sur un clone (% en bas à droite) est très longexemple sur LIM (894), clone pricipal Intro/KDE
***
@Cyanael @magiraudexemple sur LIM (894), clone pricipal Intro/KDE
***
@Cyanael @magiraudhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1693Recherche de séquence avec des caractères dégénérés2021-04-16T22:39:11+02:00Vidjil TeamRecherche de séquence avec des caractères dégénérésPermettre une recherche approchée par le search, par exemple à 1 ou 2 nucléotides près. Mais peut-être pas par défaut ?
***
list.js:710, fonction filter
1) Faire (ou récupérer) une fonction approximateIndexOf(seq, pattern, max_erreurs)...Permettre une recherche approchée par le search, par exemple à 1 ou 2 nucléotides près. Mais peut-être pas par défaut ?
***
list.js:710, fonction filter
1) Faire (ou récupérer) une fonction approximateIndexOf(seq, pattern, max_erreurs), ou bien même approximateMatch(...)
2) Avoir un bouton / préférence pour lancer cela sur les séquences quand on lance filter()
***
Quelques librairies pour « approximate matching javascript » :
http://glench.github.io/fuzzyset.js/ algo sérieuse, k-mers, vue « index »
https://gist.github.com/Yaffle/1336740 programmation dynamique
http://unamatasanatarai.github.io/FuzzyMatch/test/index.html RegExp de jquery ?
https://github.com/javve/list.fuzzysearch.js/blob/master/src/fuzzy.js ?
En utiliser une, ou bien réimplémenter un truc léger pour autoriser 1-2 erreurs ?
***
pas pour le workshop, mais pour info ça en était où ?
***
@Cyanaelhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1692DDJ en TRD+ / kmers 4 écrasent 52020-12-04T12:07:46+01:00Vidjil TeamDDJ en TRD+ / kmers 4 écrasent 5Autant le VDDJ demande certaines modifs, le DDJ pourrait être traité avec ce qu'on a actuellement : Florian, pourrais-tu regarder cela ?
Commencer par mettre les deux séquences 0897-lil-TRD+ en test should-vdj.
***
DD2-DJ trouvé préfére...Autant le VDDJ demande certaines modifs, le DDJ pourrait être traité avec ce qu'on a actuellement : Florian, pourrais-tu regarder cela ?
Commencer par mettre les deux séquences 0897-lil-TRD+ en test should-vdj.
***
DD2-DJ trouvé préférentiellement. problème de eVal.
>TRDD2*01 0/5/0 TRDD3*01 1/13/3 TRDJ1*01 [TRD+] + VDJ 0 85 91 102 116 160 TRDD2*01 0/GCGTA/0 TRDD3*01 1/CGGCCTTTGCGCG/3 TRDJ1*01 TRD+ SEG_+ 6.341215e-23 5.951294e-23/3.899217e-24
>TRDD2*01 0/5/0 TRDD3*01 1/13/3 TRDJ1*01 [TRD+] + VJ 0 85 116 160 TRDD2*01 0/GCGTAACTGGGGGATACCGGCCTTTGCGCG/3 TRDJ1*01 TRD+ SEG_+ 2.137854e-23 1.747932e-23/3.899217e-24
***
sur branche DDJ, merci Florian, c'est à moi de voir maintenant (pb quand même rep en 5 et 4)
***
@magiraudhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1684Afficher séparément les tubes de PCR différents, même quand ils concernent le...2019-01-09T17:16:15+01:00Vidjil TeamAfficher séparément les tubes de PCR différents, même quand ils concernent le même locusDemande de Yann: quand on fait Vg1-9 et Vg10, on aimerait voir les % par rapport au tube de PCR.
La même question se pose pour quasiment tous les locus, en fonction des tubes utilisés.
- afficher cela comme deux locus différents ? (dan...Demande de Yann: quand on fait Vg1-9 et Vg10, on aimerait voir les % par rapport au tube de PCR.
La même question se pose pour quasiment tous les locus, en fonction des tubes utilisés.
- afficher cela comme deux locus différents ? (dans ce cas, on ne voit plus de grid avec tout le TRG)
- est-ce que le browser est bien robuste au changement de germlines.data ? (difficulté avec germlines.js) ?
- avoir un germlines.data différent par utilisateur / par patient ? ou stocker cela dans le .vidjil ?
- ou bien déjà avoir plusieurs germlines.data (un comme actuel, un Lille, un tubes BIOMED-2, ...) ?
à réfléchir
***
@nobodyhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1680Export fasta: afficher d'une certaine manière les bases enlevées sur la germline2021-08-27T11:06:14+02:00Vidjil TeamExport fasta: afficher d'une certaine manière les bases enlevées sur la germlinepar exemple, si /-4 KDE :
>KDE...
ggagCCCTACAAGT
Minuscules : simple. (mais pb convention ?)
Couleur, parenthèses, italique ? peu .fa - compatible
Remarque de Tatiana : que faire si plusieurs séquences ? Afficher les V/J plusieurs foi...par exemple, si /-4 KDE :
>KDE...
ggagCCCTACAAGT
Minuscules : simple. (mais pb convention ?)
Couleur, parenthèses, italique ? peu .fa - compatible
Remarque de Tatiana : que faire si plusieurs séquences ? Afficher les V/J plusieurs fois ? Faire une option ?
à réfléchir avant de s'y lancer
***
On aurait aussi pu faire un équivalent de junction analyser:
atcgatcgatcgtagcatcatc
atcgAtcaAAA
TATTatcatc
... mais non, il faut résister à l'envie, le but est que le segmenter avec l'affichage des germline fasse cela.
Bref, on se limite pour cette tâche à un truc simple, qui garde la compatibilité avec un .fa
***
Discuté aussi vendredi dernier.
On pourrait aller vers deux exports :
1) Un export fasta brut, comme actuellement (avec en particulier les V/D/J à la fin, groupés). Utilisation bioinfo derrière.
2) Un export avec alignement du read contre germline V/D/J, avec espaces / tiret, et majuscules/minuscules dans les germlines V/D/J pour mutations. Éventuellement avec des infos de score, e-value... Et même avec couleurs (on se rapproche du rapport...), mais en restant basé texte pour copie facile.
Le 2) est très tentant, mais fera peut-être doublon avec le segmenter ? Pas si sûr, et ce serait très agréable d'avoir cela pour nous aider à faire les .should-vdj et discuter ensemble de segmentation. D'ailleurs, même une fois que le segmenter fera ce qu'on veut, une fonctionnaité d'export du segmenter sera la bienvenue !
***
@Cyanaelhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1677Tests .should-vdj : couvrir tous les locus, séquences réelles2019-01-10T15:21:22+01:00Vidjil TeamTests .should-vdj : couvrir tous les locus, séquences réellesSuite à la discussion de vendredi dernier :
Dans les tests .should-vdj, si j'enlève les séquences artificielles, il reste à la louche :
TRA+D: 5 / IGK+: 3 / IGH+: 2 / TRD+: 1 / TRB+: 1
Évidemment, on a des séquences TRG comme IGH, et d'...Suite à la discussion de vendredi dernier :
Dans les tests .should-vdj, si j'enlève les séquences artificielles, il reste à la louche :
TRA+D: 5 / IGK+: 3 / IGH+: 2 / TRD+: 1 / TRB+: 1
Évidemment, on a des séquences TRG comme IGH, et d'autres, qui servent à faire du test en .should_get, mais ce serait plus robuste d'avoir plusieurs séquences "réelles" par locus pour renforcer les tests .should_vdj.
***
Je viens de creer 5 fichiers contenants chacun 3 sequences tirées d'analyse de Necker.
Il y a du TRB, TRB+, TRD, TRD+, TRG.
Par contre, avant de pusher, je me demandais si j'avais bien compris ce matin. Je laisse ma nomenclature actuelle ?
PS : en faisant la comparaison manuellement, vidjil ne trouve pas toujours la bonne nomenclature (certains cas avec des VDDJ).
***
oui, mets-les tel quels (sans noms de patients...), on va déjà voir à quoi cela ressemble.
***
070e611: des séquences fournies par Yann en février, segmentation reformalisée
***
merci Florian
***
Au fait, j'ai surement oublié de la préciser, mais dans le tas, il y a une ou deux séquences présentant un double segment D. Je crois que l'algo ne les voit pas tel quel, mais je ne sais pas si c'est des cas vraiment "particulier" ou communs. Le second induirait que l'option soit ajoutée par défaut dans germline.data.
***
Double segment D : on a une tâche "VDDJ". Cela intéresse aussi les gens de Lille, qui ont par exemple déjà eu TRDV1 9/22/0 TRDD2 4/6/0 TRDD3 2/15/1 TRDJ1
Bref, cela devrait être aussi mis dans les should_vdj.
***
Pour info, on n'a rien actuellement en IGK, IGK+ avec Intron IGL, TRA.
***
Je n'en ai pas en stock.
Je vais me renseigner voir si ici ils en ont, mais il y a des absent aujourd'hui donc j'auras une réponse demain je pense.
***
@Florian: ok. Ne t'inquiète pas, on en a ici aussi... (et, de manière générale, tous les labos ne font pas tous les locus / réarrangements.)
Bref, si de ton côté tu peux mettre une autre petite dizaine de séquences de ce que tu as déjà, cela sera très utile !
***
Je viens de rajouter 17 sequences comme la dernière fois.
Cela donne maintenant 32 sequences réelles de necker.
Sur celles ci, ils y en a 6 qui ne passent pas. 2 sont des nouveaux double DD, 3 sont difficile a arbitrer, et la derniere, je pense qu'il s'agit d'une erreur du finesegmenter. Je met plsu de détails dans la tache "un cas particulier"
***
Ce qu'il manque surtout maintenant, c'est TRA et IGL.
***
Kostas va nous envoyer du TRA.
***
@magiraud @mikael-s @flothonihttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1669Adapters Illumina2021-11-16T16:02:35+01:00Vidjil TeamAdapters IlluminaEnviron un tiers des fichiers `*.gz` dans `/mnt/upload` contiennent au moins 1000 reads avec exactement l'adaptateur Ilumina après index (25 bp) : `ATCTCGTATGCCGTCTTCTGCTTG`
Ce n'est pas un bug de notre côté mais de nos utilisateurs.......Environ un tiers des fichiers `*.gz` dans `/mnt/upload` contiennent au moins 1000 reads avec exactement l'adaptateur Ilumina après index (25 bp) : `ATCTCGTATGCCGTCTTCTGCTTG`
Ce n'est pas un bug de notre côté mais de nos utilisateurs....
https://support.illumina.com/downloads/illumina-customer-sequence-letter.html
https://support.illumina.com/content/dam/illumina-support/documents/documentation/chemistry_documentation/experiment-design/illumina-customer-sequence-letter.pdf
Outils pour enlever adaptateurs : http://www.usadellab.org/cms/?page=trimmomatic
***
Pourquoi ces adaptateurs sont là ?
Dans Vidjil, faire un warning s'il y a beaucoup d'adaptateurs ? #2247
Faire un traitement spécifique avec une cause de non-segmentation ? (d'un autre côté, on peut segmenter si la séquence est propre ensuite...)
***
Dans le git bonsai, `vdj/seq/adapters.fa`
***
@magiraud @mikael-s @Duezhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1665minifier JS ?2017-11-29T13:56:18+01:00Vidjil Teamminifier JS ?https://github.com/mishoo/UglifyJS2 ? Autre chose ?
Utiliité ? (comme on a besoin de MB pour télécharger les .vidjil, est-ce que cela vaut le coup de compresser un peu les .js ?)
***
@Duezhttps://github.com/mishoo/UglifyJS2 ? Autre chose ?
Utiliité ? (comme on a besoin de MB pour télécharger les .vidjil, est-ce que cela vaut le coup de compresser un peu les .js ?)
***
@Duezhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1664Colinéaire génome : test sur tout le génome ?2023-10-26T15:49:32+02:00Vidjil TeamColinéaire génome : test sur tout le génome ?On pourrait lancer vidjil par fenêtre sur tout le génome, voir ce qu'on récupère (même avec une e-valeur mauvaise et -t 0).
Cela fournirait des séquences fort intéressantes pour le test / pour améliorer l'algo...
***
@magiraud @mikael-sOn pourrait lancer vidjil par fenêtre sur tout le génome, voir ce qu'on récupère (même avec une e-valeur mauvaise et -t 0).
Cela fournirait des séquences fort intéressantes pour le test / pour améliorer l'algo...
***
@magiraud @mikael-shttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1654Ne proposer que des presets qui ont du sens2020-12-11T13:17:40+01:00Vidjil TeamNe proposer que des presets qui ont du sensClone length a un sens pour les séquençages avec des reads à longueur variable, mais pas des reads à longueur fixe. Si tous les clones ont quasiment la même longueur moyenne de read, on devrait désactiver la fonctionnalité
***
Discuté ce...Clone length a un sens pour les séquençages avec des reads à longueur variable, mais pas des reads à longueur fixe. Si tous les clones ont quasiment la même longueur moyenne de read, on devrait désactiver la fonctionnalité
***
Discuté ce matin. On peut laisser les axes, mais au moins les presets doivent faire sens.
Le preset "Clone length distribution" pourrait ainsi être plutôt "Coverage distribution".
(Il y a aussi un souci que "clone length" est relativement universel (longeur des séquences), alors que "coverage" est une spécificité du calcul de Vidjil.)
***
@magiraud @mikael-s @flothonihttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1651Estimer K/lambda pour le FineSegmenter: ALP ?2017-11-29T15:52:50+01:00Vidjil TeamEstimer K/lambda pour le FineSegmenter: ALP ?cost::toPvalue() devrait calculer une p-valeur.
Même calcul que Blast, avec estimation K et lambda ? Autre chose ?
***
Voir ALP (utilisé par SortMeDNA) : http://www.ncbi.nlm.nih.gov/CBBresearch/Spouge/html_ncbi/html/software/program.html...cost::toPvalue() devrait calculer une p-valeur.
Même calcul que Blast, avec estimation K et lambda ? Autre chose ?
***
Voir ALP (utilisé par SortMeDNA) : http://www.ncbi.nlm.nih.gov/CBBresearch/Spouge/html_ncbi/html/software/program.html?uid=6
***
d0246c4: K/lambda, mais pas d'estimation
***
ping. Ne pas oublier que nos K/lambda sont un peu olé-olé... cela doit se sentir encore plus pour les Ds.
***
@magiraud @mikael-shttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1650Convention_de_codage ou ConventionDeCodage ?2019-12-02T18:12:51+01:00Vidjil TeamConvention_de_codage ou ConventionDeCodage ?
***
@magiraud @mikael-s
***
@magiraud @mikael-shttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1647Surveiller périodiquement les erreurs / tickets sur le serveur + nettoyer2024-01-19T18:42:33+01:00Vidjil TeamSurveiller périodiquement les erreurs / tickets sur le serveur + nettoyerJe viens de faire une passe sur les tickets de juin 2015. J'ai supprimé tous les tickets qui me semblent être résolus (ou au moins pour lesquels il y a un message d'erreur maintenant plus explicite, qui sera en log.error()) et donc qui a...Je viens de faire une passe sur les tickets de juin 2015. J'ai supprimé tous les tickets qui me semblent être résolus (ou au moins pour lesquels il y a un message d'erreur maintenant plus explicite, qui sera en log.error()) et donc qui apparaitront dans le log et non pas en erreur serveur.
On devrait le faire peut-être plus systématiquement :-)
***
Fait aussi manuellement pour mai, et pour 15-30 avril. -> depuis le 15 avril, il reste moins de 10 tickets sans explication
En passant, je suis tombé sur *beaucoup* d'erreurs venant directement de nos tests (moi y compris). Quand on n'est pas propre et qu'on provoque des erreurs sur le serveur (hum...)... on doit ensuite effacer sa forfaiture dans les erreurs :-)
Pour les trucs plus vieux, j'ai tout simplement... supprimé. Rien ne sert d'avoir des tickets si on ne les regarde pas, et cela gène la "vue par exception" si on a des vieux trucs qui n'arrivent pas.
***
Pas beaucoup d'erreurs en oct/nov 2015.
Juste "patients.py: can't compare datetime.date to NoneType" qui revient de temps en temps.
***
Ormis les erreurs de taille de fichier, ou d'indispo de BDD, les erreurs qui semblent revenir sont:
Une (ou des) délétion(s) de patients qui n'existent pas (=> mettre un controle)
can't compare datetime.date to NoneType
***
merci Ryan d'avoir regardé cela !
***
De rien. Je n'ai pas encore nettoyé les tickets car je ne savais pas si quelqu'un voudrait faire une passe dessus :)
***
@magiraud @RyanHerb @mikael-s @DuezRyan HerbertRyan Herbert2024-03-01https://gitlab.inria.fr/vidjil/vidjil/-/issues/1638Replicats pour gommer des erreurs de PCR/séquençage2020-07-30T11:29:27+02:00Vidjil TeamReplicats pour gommer des erreurs de PCR/séquençageMikaël: "[Marine et Fred] font des réplicats : est-ce qu'on aurait un moyen de prendre ça en compte pour gommer les erreurs de PCR/séquençage (plus facilement PCR que séquençage) ?"
Mmm... tu veux dire marquer deux samples comme replica...Mikaël: "[Marine et Fred] font des réplicats : est-ce qu'on aurait un moyen de prendre ça en compte pour gommer les erreurs de PCR/séquençage (plus facilement PCR que séquençage) ?"
Mmm... tu veux dire marquer deux samples comme replicats, et, pour les soucis de PCR, détecter des situations comme celles qu'on a vue dans l'article / courbe log-log ? (pour les clustériser ensuite) Quelque part, cela veut dire prendre en compte la différence de % comme un des composants de la distance entre clones.
***
@magiraud @mikael-shttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1637day after first sample déclenché de manière trop rapide ?2020-09-03T17:01:50+02:00Vidjil Teamday after first sample déclenché de manière trop rapide ?Sur ce jeu-là : http://rbx.vidjil.org/browser/index.html?patient=609&config=2 c'est day after first sample qui est sélectionné par défaut. Sauf que les nombres ne s'affichent pas mais qu'on a -/- partout. Il semble que les dates ne soien...Sur ce jeu-là : http://rbx.vidjil.org/browser/index.html?patient=609&config=2 c'est day after first sample qui est sélectionné par défaut. Sauf que les nombres ne s'affichent pas mais qu'on a -/- partout. Il semble que les dates ne soient pas remplies partout.
***
@magiraud @mikael-shttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1632patient/stats ne retourne pas forcément le bon fichier fused2020-12-04T12:07:46+01:00Vidjil Teampatient/stats ne retourne pas forcément le bon fichier fusedIndépendamment du bug sur la mauvaise mise à jour des fused dans la DB, sur rbx, pour le patient Buf la page stats nous donne des résultats qui n'ont rien à voir avec les résultats réels.
***
C'est confirmé ? C'est grave ?
***
Oui (aux d...Indépendamment du bug sur la mauvaise mise à jour des fused dans la DB, sur rbx, pour le patient Buf la page stats nous donne des résultats qui n'ont rien à voir avec les résultats réels.
***
C'est confirmé ? C'est grave ?
***
Oui (aux deux questions) : https://rbx.vidjil.org/vidjil/patient/stats?filter=Buf → Il n'y a rien pour le diag, les pourcentages de segmentation ne sont pas les bons, le clone principal non plus. Bref les informations ne viennent pas du bon fichier.
On utilise la page stats pour nos articles, si elle renvoie n'importe quoi, c'est fâcheux :)
***
@magiraud @mikael-s