vidjil issueshttps://gitlab.inria.fr/vidjil/vidjil/-/issues2017-04-14T17:16:50+02:00https://gitlab.inria.fr/vidjil/vidjil/-/issues/1679Avoir un paramètre pour afficher dans la liste / dans le status des clones le...2017-04-14T17:16:50+02:00Vidjil TeamAvoir un paramètre pour afficher dans la liste / dans le status des clones le nom sans allèles ou pas- au moins quand il y en a un seul (*01) (gain de place, gain de lecture)
- quand il y en a plusieurs, option ? Que signifie alors 4//5 ? Par rapport au *01 ?
***
Trois réglages dans "settings > allele names"
- always
- when ...- au moins quand il y en a un seul (*01) (gain de place, gain de lecture)
- quand il y en a plusieurs, option ? Que signifie alors 4//5 ? Par rapport au *01 ?
***
Trois réglages dans "settings > allele names"
- always
- when not *01
- never
***
On les garde dans le exportFasta ? dans le rapport ?
***
@CyanaelWeb 2017.05https://gitlab.inria.fr/vidjil/vidjil/-/issues/1677Tests .should-vdj : couvrir tous les locus, séquences réelles2019-01-10T15:21:22+01:00Vidjil TeamTests .should-vdj : couvrir tous les locus, séquences réellesSuite à la discussion de vendredi dernier :
Dans les tests .should-vdj, si j'enlève les séquences artificielles, il reste à la louche :
TRA+D: 5 / IGK+: 3 / IGH+: 2 / TRD+: 1 / TRB+: 1
Évidemment, on a des séquences TRG comme IGH, et d'...Suite à la discussion de vendredi dernier :
Dans les tests .should-vdj, si j'enlève les séquences artificielles, il reste à la louche :
TRA+D: 5 / IGK+: 3 / IGH+: 2 / TRD+: 1 / TRB+: 1
Évidemment, on a des séquences TRG comme IGH, et d'autres, qui servent à faire du test en .should_get, mais ce serait plus robuste d'avoir plusieurs séquences "réelles" par locus pour renforcer les tests .should_vdj.
***
Je viens de creer 5 fichiers contenants chacun 3 sequences tirées d'analyse de Necker.
Il y a du TRB, TRB+, TRD, TRD+, TRG.
Par contre, avant de pusher, je me demandais si j'avais bien compris ce matin. Je laisse ma nomenclature actuelle ?
PS : en faisant la comparaison manuellement, vidjil ne trouve pas toujours la bonne nomenclature (certains cas avec des VDDJ).
***
oui, mets-les tel quels (sans noms de patients...), on va déjà voir à quoi cela ressemble.
***
070e611: des séquences fournies par Yann en février, segmentation reformalisée
***
merci Florian
***
Au fait, j'ai surement oublié de la préciser, mais dans le tas, il y a une ou deux séquences présentant un double segment D. Je crois que l'algo ne les voit pas tel quel, mais je ne sais pas si c'est des cas vraiment "particulier" ou communs. Le second induirait que l'option soit ajoutée par défaut dans germline.data.
***
Double segment D : on a une tâche "VDDJ". Cela intéresse aussi les gens de Lille, qui ont par exemple déjà eu TRDV1 9/22/0 TRDD2 4/6/0 TRDD3 2/15/1 TRDJ1
Bref, cela devrait être aussi mis dans les should_vdj.
***
Pour info, on n'a rien actuellement en IGK, IGK+ avec Intron IGL, TRA.
***
Je n'en ai pas en stock.
Je vais me renseigner voir si ici ils en ont, mais il y a des absent aujourd'hui donc j'auras une réponse demain je pense.
***
@Florian: ok. Ne t'inquiète pas, on en a ici aussi... (et, de manière générale, tous les labos ne font pas tous les locus / réarrangements.)
Bref, si de ton côté tu peux mettre une autre petite dizaine de séquences de ce que tu as déjà, cela sera très utile !
***
Je viens de rajouter 17 sequences comme la dernière fois.
Cela donne maintenant 32 sequences réelles de necker.
Sur celles ci, ils y en a 6 qui ne passent pas. 2 sont des nouveaux double DD, 3 sont difficile a arbitrer, et la derniere, je pense qu'il s'agit d'une erreur du finesegmenter. Je met plsu de détails dans la tache "un cas particulier"
***
Ce qu'il manque surtout maintenant, c'est TRA et IGL.
***
Kostas va nous envoyer du TRA.
***
@magiraud @mikael-s @flothonihttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1675Clone détecté mais non quantifiable2016-11-29T14:39:19+01:00Vidjil TeamClone détecté mais non quantifiableLorsqu'un clone fait moins de X reads (disons 5), cela fait peu de sens d'afficher "0.144%" ou "1e-5" dans la liste.
Que pourrait-on mettre à la place ?
detected
NQ
Pos
below XX%
< XX%
***
(cela se fera dans model.formatSize...Lorsqu'un clone fait moins de X reads (disons 5), cela fait peu de sens d'afficher "0.144%" ou "1e-5" dans la liste.
Que pourrait-on mettre à la place ?
detected
NQ
Pos
below XX%
< XX%
***
(cela se fera dans model.formatSize, et affectera les clone.getStr*Size)
***
ba8ca42
Reste le bikeshedding.
Je pensais d'abord à < XX%, mais c'était assez encombré (une grosse liste de clones qui affichent cela).
J'ai mis finalement "+", peut-être un peu cryptique, mais cela passe bien avec les "-" ensuite.
***
@magiraudhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1674FineSegmenter donne UNSEG < delta_min sur des belles séquences -> supprimer d...2017-11-24T10:04:37+01:00Vidjil TeamFineSegmenter donne UNSEG < delta_min sur des belles séquences -> supprimer delta_min
@flothoni : J'ai quelques séquences qui sont retrouvées dasn vidjil mais qui n'ont pas de noms définis.
En investigants un peu sur celles-ci (via imgt-quest), il semblerait que vidjil n'ai pas assez d'informations pour discriminer les ...
@flothoni : J'ai quelques séquences qui sont retrouvées dasn vidjil mais qui n'ont pas de noms définis.
En investigants un peu sur celles-ci (via imgt-quest), il semblerait que vidjil n'ai pas assez d'informations pour discriminer les segments, en general entre les alleles.
J'ai essayé de jouer sur la eval pour discriminer grossièrement, mais ça ne marche pas non plus.
Je ne sais aps si vous avez déjà eu le cas ou non.
Du coup, il faudrait que vidjil retourne au moins le nom du seg, même si il ne peut pas discriminer l'allele quand ceux qu'il identifie son similaires.
Vous voyez une autre raison ou méthode pour "recupérer" ces séquences ?
Ps , les fichiers vidjil sont en pj.
@magiraud : L'algo parfois segmente certaines séquences par l'heuristique des k-mers (`SEG_+`/`SEG_-`) mais n'arrive pas à faire la désignation V(D)J (ce qu'on appelle le "FineSegmenter"), par exemple si les séquences sont vraiment bizarres (et dans ce cas on garde quand même la séquence dans le .vidjil, un clone est identifié, mais on ne sait pas le désigner)
... mais ici c'est clairement un bug, ce sont des beaux réarrangements.
`algo/tests/bugs/bug20150909.fa`
@magiraud : c5c781e. On enlève le test, tout se passe bien.
(Les séquences ont d'autres bugs, autre tâche)
@magiraud @mikael-s @flothoniAlgo 2017.07https://gitlab.inria.fr/vidjil/vidjil/-/issues/1672Pouvoir trier la liste des utilisateurs par nombre de patients ou taille totale2016-11-29T14:39:17+01:00Vidjil TeamPouvoir trier la liste des utilisateurs par nombre de patients ou taille totale
***
@nobody @RyanHerb
***
@nobody @RyanHerbhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1671Mettre à disposition les reads segmentés2017-05-23T15:36:21+02:00Vidjil TeamMettre à disposition les reads segmentésAvec certaines options, on peut avoir des fichiers intéressants à donner à l'utilisateur.
Évidemment `-u` / `-U`, mais potentiellement d'autres choses. Le log complet (euh, on l'a déjà ailleurs) par exemple.
De plus, d'autres program...Avec certaines options, on peut avoir des fichiers intéressants à donner à l'utilisateur.
Évidemment `-u` / `-U`, mais potentiellement d'autres choses. Le log complet (euh, on l'a déjà ailleurs) par exemple.
De plus, d'autres programmes ont sûrement des fichiers de sortie aussi intéressant.
Bref, trouver un mécanisme flexible pour transmettre $n$ fichiers à l'utilisateur.
Cela permet d'avoir toute la puissance de l'algo même si certains trucs ne sont pas exploités par le browser.
***
@nobodyWeb 2017.05Mathieu GiraudMathieu Giraudhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1670Mettre à disposition le fichier .vdj.fa depuis le browser2017-02-01T21:29:57+01:00Vidjil TeamMettre à disposition le fichier .vdj.fa depuis le browserAu moins un utilisateur (Benjamin) est intéressé.
Nous avons ce fichier, il est calculé par défaut.
***
@nobodyAu moins un utilisateur (Benjamin) est intéressé.
Nous avons ce fichier, il est calculé par défaut.
***
@nobodyhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1668ubuntumedium pas beau sous Win+Chrome2017-11-29T13:55:42+01:00Vidjil Teamubuntumedium pas beau sous Win+ChromeD'un cyber-café à Toulouse, police principale de la DB très pixelisée.
J'avais noté la même chose d'un bar-tabac dans le Lot-et-Garonne
***
mais ubuntulight (donc menus du browser) et (ubuntumedium en gras) fonctionnent
***
Les deux conf...D'un cyber-café à Toulouse, police principale de la DB très pixelisée.
J'avais noté la même chose d'un bar-tabac dans le Lot-et-Garonne
***
mais ubuntulight (donc menus du browser) et (ubuntumedium en gras) fonctionnent
***
Les deux confs en question :
"Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.2403.155 Safari/537.36"
"Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.2403.130 Safari/537.36"
***
@nobodyhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1664Colinéaire génome : test sur tout le génome ?2023-10-26T15:49:32+02:00Vidjil TeamColinéaire génome : test sur tout le génome ?On pourrait lancer vidjil par fenêtre sur tout le génome, voir ce qu'on récupère (même avec une e-valeur mauvaise et -t 0).
Cela fournirait des séquences fort intéressantes pour le test / pour améliorer l'algo...
***
@magiraud @mikael-sOn pourrait lancer vidjil par fenêtre sur tout le génome, voir ce qu'on récupère (même avec une e-valeur mauvaise et -t 0).
Cela fournirait des séquences fort intéressantes pour le test / pour améliorer l'algo...
***
@magiraud @mikael-shttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1662Supervision externe du serveur de prod / tests fonctionnels live2017-11-22T12:48:32+01:00Vidjil TeamSupervision externe du serveur de prod / tests fonctionnels liveEn faisant un "apt-get upgrade", je me demande toujours si tout fonctionne.
Même le jour où notre déploiement git>prod sera automatisé, on aura toujours besoin de superviser le serveur, il y a plein de raisons qui peuvent faire que quel...En faisant un "apt-get upgrade", je me demande toujours si tout fonctionne.
Même le jour où notre déploiement git>prod sera automatisé, on aura toujours besoin de superviser le serveur, il y a plein de raisons qui peuvent faire que quelque chose tombe.
La supervision externe vérifie déjà que le serveur tourne et que les derniers jobs ne sont pas en "queued", c'est déjà pas mal.
J'aimerais avoir un truc plus complet, un test fonctionnel (qui uploade une séquence, lance un run, et compare les résultats ?). On pourrait avoir un utilisateur test qui travaillerait sur un patient test *sur le serveur de prod*.
***
@magiraud @RyanHerb @mikael-shttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1660clone.js: différence entre getSequenceSize et getSize ?2016-11-29T14:39:08+01:00Vidjil Teamclone.js: différence entre getSequenceSize et getSize ?J'ai l'impression que c'est la même chose
***
non, j'ai compris, ce n'était pas la même chose : a0ce4bf
***
@magiraud @mikael-s @DuezJ'ai l'impression que c'est la même chose
***
non, j'ai compris, ce n'était pas la même chose : a0ce4bf
***
@magiraud @mikael-s @Duezhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1659Qualité du FineSegmenter2016-11-29T14:39:08+01:00Vidjil TeamQualité du FineSegmenterOn parlait l’autre jour de la vitesse, mais faut-il aussi que l’on travaille sur la qualité du FineSegmenter ? Et surtout, jusqu'à maintenant, on disait aux gens de pas nous faire confiance pour l'assignation V(D)J (*) : change-t-on ce ...On parlait l’autre jour de la vitesse, mais faut-il aussi que l’on travaille sur la qualité du FineSegmenter ? Et surtout, jusqu'à maintenant, on disait aux gens de pas nous faire confiance pour l'assignation V(D)J (*) : change-t-on ce principe de com ?
- le travail de Yann montre… qu’on est plutôt bons ! Idem Alice... Et on a potentiellement (Florian, Garry) ce qu'il faut pour améliorer nos jeux de tests
- d'un autre côté, ce n'est pas notre point fort, et autant jouer notre force (browser, peut-être algo...) et avoir des choses complémentaires (en particulier récupération IMGT)
(*) quoique, l'appnote ne dit pas cela
***
on est plutôt bons, mais ce n'est pas notre point fort ? :)
Ça fait partie intégrante de l'algo je ne pense pas qu'on puisse vraiment dire « bon c'est pas grave, allez voir ailleurs pour la segmentation ». À moins de plugger un logiciel quelconque qui ferait la FineSegmentation mieux que nous. Là dessus IMGT n'est pas la solution, on ne peut pas envoyer 100 clones pour connaître la segmentation. Et si on demande à l'utilisateur de cliquer pour assigner une dizaine de clones, ça ne pas être très user-friendly.
***
ok. La qualité me semble donc aussi importante, voire plus, que la vitesse (par défaut cela peut toujours être -z 100).
***
Je répéterai 100 fois tous les matins : "Vidjil is the perfect tool for V(D)J assignation. Its test suite contains more than one hundred sequences with manually curated V(D)J assignation."
***
@magiraud @mikael-shttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1658Histogrammes: légende axe Y2017-03-11T07:08:35+01:00Vidjil TeamHistogrammes: légende axe YLa légende de l'axe Y doit être "size", avec une légende en %
***
commit f9f0e8
***
@CyanaelLa légende de l'axe Y doit être "size", avec une légende en %
***
commit f9f0e8
***
@Cyanaelhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1653Incohérence taille totale des fichiers2016-11-29T14:39:03+01:00Vidjil TeamIncohérence taille totale des fichierssur la liste des patients, en bas à droite, 282 GB.
Mais 455G dans /mnt/upload.
***
Au passage, vérifié sur *un* patient, les tailles correspondent entre ce qui est affiché et ce qui est sur le disque (environ, à un facteur 1.024^x près)...sur la liste des patients, en bas à droite, 282 GB.
Mais 455G dans /mnt/upload.
***
Au passage, vérifié sur *un* patient, les tailles correspondent entre ce qui est affiché et ce qui est sur le disque (environ, à un facteur 1.024^x près)
***
Les fichiers non référencés dans la DB (165 GB) ont été déplacés dans /mnt/uploads/upload-trash, on les garde en talisman ?
/mnt/uploads/upload : 290 GB
liste des patients : 282 GB
***
@magiraud @mikael-shttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1651Estimer K/lambda pour le FineSegmenter: ALP ?2017-11-29T15:52:50+01:00Vidjil TeamEstimer K/lambda pour le FineSegmenter: ALP ?cost::toPvalue() devrait calculer une p-valeur.
Même calcul que Blast, avec estimation K et lambda ? Autre chose ?
***
Voir ALP (utilisé par SortMeDNA) : http://www.ncbi.nlm.nih.gov/CBBresearch/Spouge/html_ncbi/html/software/program.html...cost::toPvalue() devrait calculer une p-valeur.
Même calcul que Blast, avec estimation K et lambda ? Autre chose ?
***
Voir ALP (utilisé par SortMeDNA) : http://www.ncbi.nlm.nih.gov/CBBresearch/Spouge/html_ncbi/html/software/program.html?uid=6
***
d0246c4: K/lambda, mais pas d'estimation
***
ping. Ne pas oublier que nos K/lambda sont un peu olé-olé... cela doit se sentir encore plus pour les Ds.
***
@magiraud @mikael-shttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1647Surveiller périodiquement les erreurs / tickets sur le serveur + nettoyer2024-01-19T18:42:33+01:00Vidjil TeamSurveiller périodiquement les erreurs / tickets sur le serveur + nettoyerJe viens de faire une passe sur les tickets de juin 2015. J'ai supprimé tous les tickets qui me semblent être résolus (ou au moins pour lesquels il y a un message d'erreur maintenant plus explicite, qui sera en log.error()) et donc qui a...Je viens de faire une passe sur les tickets de juin 2015. J'ai supprimé tous les tickets qui me semblent être résolus (ou au moins pour lesquels il y a un message d'erreur maintenant plus explicite, qui sera en log.error()) et donc qui apparaitront dans le log et non pas en erreur serveur.
On devrait le faire peut-être plus systématiquement :-)
***
Fait aussi manuellement pour mai, et pour 15-30 avril. -> depuis le 15 avril, il reste moins de 10 tickets sans explication
En passant, je suis tombé sur *beaucoup* d'erreurs venant directement de nos tests (moi y compris). Quand on n'est pas propre et qu'on provoque des erreurs sur le serveur (hum...)... on doit ensuite effacer sa forfaiture dans les erreurs :-)
Pour les trucs plus vieux, j'ai tout simplement... supprimé. Rien ne sert d'avoir des tickets si on ne les regarde pas, et cela gène la "vue par exception" si on a des vieux trucs qui n'arrivent pas.
***
Pas beaucoup d'erreurs en oct/nov 2015.
Juste "patients.py: can't compare datetime.date to NoneType" qui revient de temps en temps.
***
Ormis les erreurs de taille de fichier, ou d'indispo de BDD, les erreurs qui semblent revenir sont:
Une (ou des) délétion(s) de patients qui n'existent pas (=> mettre un controle)
can't compare datetime.date to NoneType
***
merci Ryan d'avoir regardé cela !
***
De rien. Je n'ai pas encore nettoyé les tickets car je ne savais pas si quelqu'un voudrait faire une passe dessus :)
***
@magiraud @RyanHerb @mikael-s @DuezRyan HerbertRyan Herbert2024-03-01https://gitlab.inria.fr/vidjil/vidjil/-/issues/1644Stats sur les clones2021-11-23T16:53:31+01:00Vidjil TeamStats sur les clonesSur tous les fichiers sur rbx :
- distribution des locus
- quelles sont les clones trouvés en "xxx" ?
- quels sont les clones trouvés avec une insertion de plus de 10 ?
La BDD des clones pourrait répondre à cela... mais on pourrai...Sur tous les fichiers sur rbx :
- distribution des locus
- quelles sont les clones trouvés en "xxx" ?
- quels sont les clones trouvés avec une insertion de plus de 10 ?
La BDD des clones pourrait répondre à cela... mais on pourrait déjà avoir bcp de réponses relativement rapidement en scriptant sur les fichiers résultats `*.vidjil`.
***
(ou sur un sous-ensemble de clones, "filter")
***
@nobodyhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1641Avoir plus d'infos sur le « other »2019-10-29T14:41:44+01:00Vidjil TeamAvoir plus d'infos sur le « other »On n'en sait pas assez, il faut un meilleur contrôle pour savoir ce qui peut se cacher. D'autres le font (miXCR, IMSeq)…
***
Voir une gaussienne serait rassurant (distrib longeur, CDR3, clone/reads) ? Les longueurs, on a tout ou presque....On n'en sait pas assez, il faut un meilleur contrôle pour savoir ce qui peut se cacher. D'autres le font (miXCR, IMSeq)…
***
Voir une gaussienne serait rassurant (distrib longeur, CDR3, clone/reads) ? Les longueurs, on a tout ou presque...
La question pourrait devenir : "que peut-on analyser facilement et se souvenir dans le BinReadStorage et/ou réanalyser à la fin ?"
***
La longueur n'a pas de sens sur MiSeq
***
@magiraud @mikael-shttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1639Export svg générique sur toute vue grid / bar2016-11-29T14:38:53+01:00Vidjil TeamExport svg générique sur toute vue grid / barEn fait on a déjà export csv... y aurait-il intérêt à avoir un export pour un plot donné ? Pas sûr.
***
Si, il nous faut une manière d'exporter une vue autre que par une capture d'écran :-)
***
Discuté lors du VW16. People want to expor...En fait on a déjà export csv... y aurait-il intérêt à avoir un export pour un plot donné ? Pas sûr.
***
Si, il nous faut une manière d'exporter une vue autre que par une capture d'écran :-)
***
Discuté lors du VW16. People want to export data.
***
Marc, pourrais-tu regarder l'export svg s'il te plaît ? merci.
***
Export svg : ok, merci Marc. Export csv: autre tâche
***
@Duezhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1634TRB incomplet2017-12-04T14:55:54+01:00Vidjil TeamTRB incomplet- une entrée TRB+ dans germlines.data (regarde par exemple IGH+)
- un ou deux tests dans tests/should-vdj-tests/ sous la forme d'un fichier *.should-vdj.fa (il peut y avoir plusieurs séquences dans le même fichier)
***
Cela a l'a...- une entrée TRB+ dans germlines.data (regarde par exemple IGH+)
- un ou deux tests dans tests/should-vdj-tests/ sous la forme d'un fichier *.should-vdj.fa (il peut y avoir plusieurs séquences dans le même fichier)
***
Cela a l'air bon, il manque plus qu'à mettre le test en should-vdj au lieu de should-get
***
j’attends de récupérer des séquences tests additionnels avant.
***
Florian, ce serait bien de boucler ce point, quitte à ne prendre que la séquence que tu as maintenant.
D'ici fin juillet on fera la release 2015.07, et normalement il faut un certain temps de "freeze" avant qu'on le fasse.
merci !
***
j'ai modifié le should-get en should-vdj en attendant d'voir le jeu de séquences plus important de Necker que Patrick doit me fournir prochainement.
***
merci !
a35c301: rajouté des "_", sinon il n y'avait que la première chaine qui était testée + le N détaillé + l'info sur le locus
python should-vdj-to-tap.py should-vdj-tests/trb+.bd2-bj2-3.should-vdj.fa
# Teste uniquement le locus (-2q), et aussi le reverse (-r)
python should-vdj-to-tap.py -2q -r should-vdj-tests/trb+.bd2-bj2-3.should-vdj.fa
***
Vielle tâche bien faite, je ferme
***
@flothoni