vidjil issueshttps://gitlab.inria.fr/vidjil/vidjil/-/issues2017-03-11T07:08:35+01:00https://gitlab.inria.fr/vidjil/vidjil/-/issues/1185Distribution/histogramme des longueurs des séquences segmentées (ou non)2017-03-11T07:08:35+01:00Vidjil TeamDistribution/histogramme des longueurs des séquences segmentées (ou non)On pourrait un jour étendre core/stats.cpp pour stocker la distribution des reads (attention à ce que ne cela ralentisse pas l'algo), puis afficher cette distribution dans le browser
***
déjà fait
***
@magiraud @DuezOn pourrait un jour étendre core/stats.cpp pour stocker la distribution des reads (attention à ce que ne cela ralentisse pas l'algo), puis afficher cette distribution dans le browser
***
déjà fait
***
@magiraud @Duezhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1184GermlineWithoutIndex2016-11-29T14:32:54+01:00Vidjil TeamGermlineWithoutIndexCe serait plus propre d'avoir une classe (ou une option) pour ne pas construire l'index, en particulier lorsqu'on se sert uniquement de FineSegmenter :
- CMD_SEGMENT
- et dans les tests
***
d43c6c9, pas de classe mais méthodes pou...Ce serait plus propre d'avoir une classe (ou une option) pour ne pas construire l'index, en particulier lorsqu'on se sert uniquement de FineSegmenter :
- CMD_SEGMENT
- et dans les tests
***
d43c6c9, pas de classe mais méthodes pour construire l'index
***
@magiraud @mikael-shttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1183vidjil.cpp: alléger le traitement de cluster-junctions.cpp2016-11-29T14:32:53+01:00Vidjil Teamvidjil.cpp: alléger le traitement de cluster-junctions.cppÉtat actuel : les clusters faits par cluster-jonctions sont balladés partout dans vidjil.cpp, et alourdissent le code. En particulier, 1 représentative est cherché pour le cluster.
État proposé : le module cluster_jonctions est indépend...État actuel : les clusters faits par cluster-jonctions sont balladés partout dans vidjil.cpp, et alourdissent le code. En particulier, 1 représentative est cherché pour le cluster.
État proposé : le module cluster_jonctions est indépendant, son seul boulot est d'écrire dans le vidjil.data (et sur stdout ou ailleurs) quelques merge de clones. Mais 1 représentative = 1 clone de base. Cela va alléger le code.
Pour plus tard : on pourra même déporter cluster-junctions.cpp... dans une commande / prog indépendant, avec l'évaluation des distances et le calcul de la matrice, et tout cela pourrait être fait *après* fuse.py.
Mikaël, ton avis ? Marc était déjà plutôt pour.
***
600ef3d~1..859aedf
bonus : une seule option -r au lieu de -r/-R
***
sur 14-04/084 en TRG, les fichiers vidjil.data sont identiques par rapport à la release 2014.09
***
@magiraudhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1182Tout ce qui touche au clustalw2016-11-29T14:32:52+01:00Vidjil TeamTout ce qui touche au clustalw
***
#1181
***
#1181https://gitlab.inria.fr/vidjil/vidjil/-/issues/1181vidjil.cpp: supprimer clustalw2016-11-29T14:32:52+01:00Vidjil Teamvidjil.cpp: supprimer clustalw
***
#1182
***
@magiraud
***
#1182
***
@magiraudhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1179Formulaire admin pour modifier un utilisateur2017-01-04T16:12:11+01:00Vidjil TeamFormulaire admin pour modifier un utilisateurPour l'instant, ajouter un utilisateur se fait toujours par le register caché :)
***
db.call('default/user/register')
***
menu A (Ctrl A) : possible
***
Le formulaire n'est pas un formulaire d'administration et est accessible à tou...Pour l'instant, ajouter un utilisateur se fait toujours par le register caché :)
***
db.call('default/user/register')
***
menu A (Ctrl A) : possible
***
Le formulaire n'est pas un formulaire d'administration et est accessible à tous. Un robot pourrait très bien remplir la BDD avec plein de comptes bidons.
***
merci ! Il ne manque plus que pouvoir modifier ou supprimer un user, mais ce n'est pas urgent
***
Je remets au goût du jour cette tâche. Ne pas pouvoir modifier l'utilisateur peut être bloquant pour les serveurs déployés à l'extérieur. Les responsables ne vont pas forcément s'amuser à taper dans la BD à la main.
***
Tout à fait. Voir aussi #1682
***
@RyanHerb @magiraud @mikael-s https://gitlab.inria.fr/vidjil/vidjil/-/issues/1178API pour lancer le browser en chargeant un .data2016-11-29T14:32:49+01:00Vidjil TeamAPI pour lancer le browser en chargeant un .dataNos nouveaux amis de Galaxy veulent pouvoir lancer le browser en donnant un .data dans le même répertoire que index.html.
***
merci Marc !
http://rbx.vidjil.org/browser/?data=test.data
ou bien
http://rbx.vidjil.org/browser/?data=http://...Nos nouveaux amis de Galaxy veulent pouvoir lancer le browser en donnant un .data dans le même répertoire que index.html.
***
merci Marc !
http://rbx.vidjil.org/browser/?data=test.data
ou bien
http://rbx.vidjil.org/browser/?data=http://rbx.vidjil.org/browser/test.data
marche chez moi sous Chrome, Safari
mais pas Firefox ??
***
The server hosting the data file must accept Cross-Domain queries.
***
Est-ce qu'on ne peut pas exécuter du code arbitraire en passant un fichier de code ou en passant un fichier mal formé ?
***
mail à David Van Zessen + Andrew Stubbs
***
@magiraudhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1177Voir le log quand un process est en "FAILED"2016-11-29T14:32:48+01:00Vidjil TeamVoir le log quand un process est en "FAILED"Pour l'instant
https://rbx.vidjil.org/vidjil/appadmin/select/db?query=db.scheduler_run.id%3E500
***
et idéalement, on aimerait le voir aussi quand il est en RUNNING :)
***
@DuezPour l'instant
https://rbx.vidjil.org/vidjil/appadmin/select/db?query=db.scheduler_run.id%3E500
***
et idéalement, on aimerait le voir aussi quand il est en RUNNING :)
***
@Duezhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1176Algo: mode "filter"2017-07-10T17:01:29+02:00Vidjil TeamAlgo: mode "filter"Qui sera presque notre mode principal.
On prend un fasta, on renvoie un fasta.
***
Intéressés :
- Galaxy
- ... et peut-être même IMGT... évoqué avec VG : un filtre pour lancer avant (High)VQ ? Rêvons. #1442
***
`out/...Qui sera presque notre mode principal.
On prend un fasta, on renvoie un fasta.
***
Intéressés :
- Galaxy
- ... et peut-être même IMGT... évoqué avec VG : un filtre pour lancer avant (High)VQ ? Rêvons. #1442
***
`out/clones.vdj.fa` est déjà presque ce qu'on veut, sauf qu'il y a le FineSegmenter et pas tout
***
`/vidjil -G germline/TRG ~/vdj/data/runs/12-09/Lec_10-5.cut_100000.fa -r 1`
À chaque fois, les 12000 windows toujours sorties, et pas de SimilarityMatrix
```
& 20 clones & 1000 clones & tous les 12000
representative + finesegmenter & 7,0 s & 54s & :-)
representative & 1,5 s & 2,1s & 6,3s
representative + out all windows & 2,1 s & 3,3s & 6,3s
```
Q: Est-ce que cela vaut la peine de lancer representative sur tous les 12000 windows ? En gros 2x plus lent.
Pour la MRD, inutile, la representative suffit.
On peut s'arrêter à 100 ou 1000 représentatives par défaut, avec option pour en avoir plus (par défaut, vidjil doit aller vite)
Et c'est presque transparent : dans le fichier de sortie on aura :
```
>clone-099----0000015--0.0604%--BF7RV:268:1192--1-[20,160]
GTGGAGGCAAGAAAGAATTCTCAAACTCTCACTTCAATCCTTACCATCAAGTCCGTAGAGAAAGAAGACATGGCCGTTTACTACTGTGCTGCGTGGGATCCTCCCGACTTATTATAAGAAACTCTTTGGCAGTGGAACAAC
>clone-100----0000015--0.0604%--BF7RV:101:1096--1-[0,143]
GTTGTTCCACTGCCAAAGAGTTTCTTATAATAATGGAGATCCCACGCAGCACAGTAGTAAACGGCCATGTCTTCTTTCTCTACGGACTTGATGGTAAGGATTGAAGTGAGAGTTTGAGAATTCTTTCTTGCCTCCACTTTGTTG
>clone-101----0000015--0.0604%--window
CCGTTTACTACTGTGCTGCGTACCACTGGTTGGTTCAAGA
>clone-102----0000015--0.0604%--window
ACTGTGCTGCGTGGGATTATAAACCACTGGTTGGTTCAAG
```
***
739a4e3
***
@magiraud @mikael-shttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1175Vue admin: savoir de qui vient chaque fichier2017-01-31T17:37:57+01:00Vidjil TeamVue admin: savoir de qui vient chaque fichierpar exemple comme ce qui se fait pour les configs: avoir une simple liste de type
Lille, ECNGS
de ceux qui ont accès en dehors de System admin
***
479944e : pour l'instant une liste d'ids de groupes
***
Qui a fait quoi, déjà uploa...par exemple comme ce qui se fait pour les configs: avoir une simple liste de type
Lille, ECNGS
de ceux qui ont accès en dehors de System admin
***
479944e : pour l'instant une liste d'ids de groupes
***
Qui a fait quoi, déjà uploader
***
@Duezhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1174samples/edit file : voir si un fichier est déjà là2020-12-11T12:58:47+01:00Vidjil Teamsamples/edit file : voir si un fichier est déjà là
***
@Duez
***
@Duezhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1173Nouveau format .data : discuter, implémenter, réparer les unit tests :)2016-11-29T14:32:45+01:00Vidjil TeamNouveau format .data : discuter, implémenter, réparer les unit tests :)Branche "data"
Pourquoi haute priorité ?
Avant de faire une migration de tout le monde vers rbx.vidjil.org (et donc de tout relancer), on a intérêt a avoir un .data aussi stable (et pensé pour le multi-germline qui arrive).
***
DL au 15...Branche "data"
Pourquoi haute priorité ?
Avant de faire une migration de tout le monde vers rbx.vidjil.org (et donc de tout relancer), on a intérêt a avoir un .data aussi stable (et pensé pour le multi-germline qui arrive).
***
DL au 15/10 → pour ensuite envoyer la doc à Jack
***
@magiraud @mikael-s @Duezhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1172IMGT API: récupérer directement en .csv, intégrer des résultats au segmenter2016-11-29T14:32:44+01:00Vidjil TeamIMGT API: récupérer directement en .csv, intégrer des résultats au segmenterRévolution à Montpellier : pourraient-ils avoir une API ? Pour V-QUEST ?
Véronique nous conseille de demander par mail à elle + MPL + Patrice Duroux
(PD : 3D, adminsys pour tout IMGT)
***
Peut-être leur faire coucou par mail cette semai...Révolution à Montpellier : pourraient-ils avoir une API ? Pour V-QUEST ?
Véronique nous conseille de demander par mail à elle + MPL + Patrice Duroux
(PD : 3D, adminsys pour tout IMGT)
***
Peut-être leur faire coucou par mail cette semaine, avant que Marc n'aille les voir ?
***
ok, mail envoyé, à voir si on a des nouvelles mardi ou plus tard...
***
il n'étaient pas prêt à faire un POST, le formulaire leur va très bien...
En rediscuter dans longtemps, disons 6 mois.
***
Confirmé, Véronique fait cela en mai (mais tjs formulaire)
***
IMGT relancé vendredi 12 juin
***
"Ce sera pour la prochaine version d'IMGT/V-QUEST".
***
C'est à nous de le faire... au minimum, répondre...
***
Ce serait bien d'avoir avancé là-dessus avant EC-NGS, où on va forcément les voir...
***
mail avant EC-NGS, Ryan pourrait s'y mettre en novembre ?
***
Pour fin novembre (cf mail IMGT)
***
-> François nov/déc
***
Libby/Fred hier soir soutiennent complètement ce point.
IMGT et Vidjil sont complémentaires.
***
On fera un mail à IMGT lorsque François aura un truc fonctionnel.
***
Yeah.
***
@RyanHerbhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1170Algo: Release 2014.10, mode "filter" de Vidjil + format data2016-11-29T14:32:43+01:00Vidjil TeamAlgo: Release 2014.10, mode "filter" de Vidjil + format dataRelease intermédiaire, au moins pour faire coucou à Galaxy
***
Peut-être pas 2014.10 : migration de bioinfo en cours (en termes de templates). Il y a en ce moment un répertoire /bio2 dans lequel se trouvent les versions des logiciels mod...Release intermédiaire, au moins pour faire coucou à Galaxy
***
Peut-être pas 2014.10 : migration de bioinfo en cours (en termes de templates). Il y a en ce moment un répertoire /bio2 dans lequel se trouvent les versions des logiciels modifiés. Quant tout sera bon /bio2 sera remis dans /bio1. Migration en cours jusqu'en décembre.
Cela dit on n'est pas tellement impactés, c'est surtout pour les logiciels avec formulaires
***
oui... on n'a qu'une page statique (plus le browser, mais qui est statique aussi)
***
Séparation de la tache. Cette tache est uniquement pour la release.
Buts de la release :
- mode filter
- format data
***
@magiraud @mikael-shttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1168Algo multi-systèmes 1.5 : heuristique choisir le bon système en premier2016-11-29T14:32:41+01:00Vidjil TeamAlgo multi-systèmes 1.5 : heuristique choisir le bon système en premierTransformé dans la tâche optimisation germlines.data
***
@magiraud @mikael-sTransformé dans la tâche optimisation germlines.data
***
@magiraud @mikael-shttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1167Clones sans representative ?2016-11-29T14:32:40+01:00Vidjil TeamClones sans representative ?Dans vidjil.cpp, il y a du code pour gérer le cas où un clone n'a pas de representative.
Est-ce que cela arrive vraiment ? Est-ce que dans le pire des cas, la representative ne devrait pas être la window ?
Faire aussi un .should_get ou u...Dans vidjil.cpp, il y a du code pour gérer le cas où un clone n'a pas de representative.
Est-ce que cela arrive vraiment ? Est-ce que dans le pire des cas, la representative ne devrait pas être la window ?
Faire aussi un .should_get ou un test sur un cas limite.
***
d54bc1e oui la représentative sort au moins la window
***
14b16e9 : qui eut cru que -r 2000 ne fonctionnait pas ?
***
f2450b0
***
@mikael-shttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1166Sortir dans vidjil.data des "clusters", résultats du clustering auto/manuel2016-11-29T14:32:40+01:00Vidjil TeamSortir dans vidjil.data des "clusters", résultats du clustering auto/manuelCela permettrait de voir les clusters dans le browser, et de les corriger si besoin.
Dans fuse.py, on ferait l'union de tous les clusters ?
Mais attention nous dit @Mikaël Salson : on n'a pas bossé sur le clustering depuis longtemps...
...Cela permettrait de voir les clusters dans le browser, et de les corriger si besoin.
Dans fuse.py, on ferait l'union de tous les clusters ?
Mais attention nous dit @Mikaël Salson : on n'a pas bossé sur le clustering depuis longtemps...
en tout cas, ce serait l'occasion de s'y remettre, à voir.
***
-output "clusters" json
-dbscan ne se fait plus que sur les X premiers clones (1sec)
ca marche !
fuse.py : on peut faire l'union des clusters mais ça ne servira qu'a réduire (un peu) la taille du fichier data, pour le moment si on a un cluster [A,B] au diag et un cluster [B,C] au fu1 on finira avec un cluster [A,B,C] affiché dans le browser (qui sera enregistré au format [A,B,C] dans le fichier analysis).
***
@Duezhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1165Représentative : trop courte ? Graine utilisée ? Et en multi-système ?2023-06-29T14:43:59+02:00Vidjil TeamReprésentative : trop courte ? Graine utilisée ? Et en multi-système ?./vidjil -c clones -G germline/IGH -r 5 -R 5 -a -d data/Stanford_S22.fasta
puis regarder out/seq/sequences.fa-1
representative : [105,232]
aligner : pourquoi est-elle si courte ? Il s'arrête à une position où pourtant 5/8 ..../vidjil -c clones -G germline/IGH -r 5 -R 5 -a -d data/Stanford_S22.fasta
puis regarder out/seq/sequences.fa-1
representative : [105,232]
aligner : pourquoi est-elle si courte ? Il s'arrête à une position où pourtant 5/8 des séquences sont d'accord. (50% ?)
Et moralement, quasiment tout devrait être retrouvé dans la représentative.
cf aussi mail de Filip
***
à non, je suis bête, ce n'est pas les positions mais les k-mer
***
c'est quand même méga-exigeant, avec k=12/span=13 : si deux erreurs de séquençage sont espacée de 13 et concernent 25% des séquences, cela ne passe plus...
***
Et si on générait des représentatives avec des N à certaines positions ?
***
Dans le cas présent, la graine est ######-######, la représentative va jusqu'à la fin du read, on ne peut pas étendre plus de ce côté-là. De l'autre côté, le premier k-mer est GCTGTA-CTGCAA qu'on retrouve 6 fois dans le jeu. Si on prend le k-mer précédent CGCTGT-CCTGCA on ne le retrouve que 4 fois or le min_cover est à 5 (c'est la valeur du -R, ou du -r je ne sais plus entre les deux…)
***
En passant le -R à 4, on gagne 5 nt dans la représentative…
***
bon, ce n'est pas un bug, et mis en basse priorité.
À voir si on veut mettre une graine de représentative de 8 ou de 6 (au lieu de la graine par défaut, ici span 13).
Justificatif : on ne fait pas trop de bêtises, pour que cela aille vraiment plus loin il faut que plusieurs k-mers à la suite passent.
***
Au passage, la graine utilisée par la représentative est la variable "seed" dans vidjil.cpp.
Elle n'est pas affectée par les multi-germlines (même problème que -w...).
Ainsi, les deux commandes suivantes, sur Stanford, n'utilisent pas la même graine pour la représentative (alors qu'elles utilisent toutes les deux la même graine, s13, pour le KmerSegmenter) :
./vidjil -g germline -w 60 (graine par défaut, s10 actuellement)
./vidjil -G germline/IGH (graine réglée pour IGH, s13, et -w 60 se réglant tout seul)
Les commandes segmentent donc les mêmes reads mais n'ont pas la même longueur de représentative (1 base de différence). Hihihi :)
***
Allez pour être positif : Jeu de données de Lille au Diag (BAI 167 BC89-L1500956). Le premier clone qui sort en TRG a une représentative de 217 bp (214bp en électrophorèse ?!). Dans le cluster (157396 reads), la longueur médiane des reads est de 217bp et en fait près de 82% des reads font 217bp. Par contre dans ce même cluster il y a des reads chimériques allant jusqu'à 494bp (il y a 530 reads, soit 0,3% qui font plus de 250bp).
Même jeu de données : en TRD et VdJa on trouve deux clones qui sont en fait les mêmes → les représentatives sont identiques.
Même jeu de données en IGK, prenons au hasard le clone à 1,038% Intron -5/3/-2 KDE. La représentative fait 285bp et la longueur médiane des reads dans ce jeu est de 285bp (environ les 2/3 des séquences ont cette longueur). Là aussi il y a des séquences plus longues (0,6% font plus de 300bp… soit 10 séquences).
Mais tout cela c'est sur du Ion Torrent, il faudrait voir sur de l'Illumina
***
Voir aussi "Représentative : mesure de qualité"
***
Je ne sais pas si je suis sur la bonne tâche. En tout cas, un examen attentif du "make snapshot_diff" entre la 2016.08 et sans-aho (0a3bc4c) montre une différence significative sur la représentative calculée dans should-get-tests/vidjil_s22.should_get (avec -k 9).
Peut-être que cela va naturellement s'améliorer avec les trucs en cours sur la représentative.
***
@mikael-shttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1164test.data : faire un nouveau fichier2021-11-08T16:18:36+01:00Vidjil Teamtest.data : faire un nouveau fichierMessages d'erreur de la console Chromium :
GET http://vidjil.local/js/lib/jquery.min.map 404 (Not Found) /js/lib/jquery.min.map:1
Uncaught TypeError: Cannot read property 'selectAll' of undefined graph.js:331
***
Mikaël, est-ce toujou...Messages d'erreur de la console Chromium :
GET http://vidjil.local/js/lib/jquery.min.map 404 (Not Found) /js/lib/jquery.min.map:1
Uncaught TypeError: Cannot read property 'selectAll' of undefined graph.js:331
***
Mikaël, est-ce toujours confirmé ?
***
Oui et non. Le fichier test.data a été supprimé par 284c296 (hum) ce qui m'empêche de vérifier. Ce qui empêche aussi de lancer les tests browser…
***
aïe, désolé... cela ne se produira plus lorsque les tests browsers seront intégrés :)
Sur rbx, il y a maintenant demo/LIL-L2.vidjil (quand je l'avais mis, c'était pour avoir aussi le nouveau format).
Ok pour remettre cela sur le git... autant faire directement la tache "avoir un meilleur fichier de démo"
***
Fichier de test ≠ Fichier démo, non ? Pourquoi les deux devraient être identiques ? Les tests navigateurs de Marc ont été faits pour (l'ancien) test.data si on utilise d'autres données les concentrations, couleurs, séquences ne seront plus les mêmes et casseront du coup les tests.
***
ah oui. Et bien tu peux essayer un "git revert 284c296"... mais le fichier n'est plus reconnu, le format n'est pas le bon.
Faut-il essayer de le réparer ? Ou de le reprendre d'ailleurs (est-ce LIL-L2 ?)
Ou bien d'en choisir un autre, quitte à remettre certaines valeurs ?
(Si test ≠ démo, le fichier test pourrait être plus petit et truandé à la main pour avoir tous les cas bizarres que l'on veut)
***
(Le fichier demo sur rbx est bien différent de l'ancien test.data)
***
je peux être volontaire pour remettre les bonnes valeurs numériques si on prend un nouveau fichier propre
***
- multisystème (dont un incomplet)
- plusieurs clones (tester cluster)
- plusieurs points
***
@magiraud @mikael-s @Duezhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1163récupérer le mail de root2016-11-29T14:32:37+01:00Vidjil Teamrécupérer le mail de rootFait (juste avec un .forward)
***
@magiraudFait (juste avec un .forward)
***
@magiraud