vidjil issueshttps://gitlab.inria.fr/vidjil/vidjil/-/issues2023-06-29T14:43:59+02:00https://gitlab.inria.fr/vidjil/vidjil/-/issues/1165Représentative : trop courte ? Graine utilisée ? Et en multi-système ?2023-06-29T14:43:59+02:00Vidjil TeamReprésentative : trop courte ? Graine utilisée ? Et en multi-système ?./vidjil -c clones -G germline/IGH -r 5 -R 5 -a -d data/Stanford_S22.fasta
puis regarder out/seq/sequences.fa-1
representative : [105,232]
aligner : pourquoi est-elle si courte ? Il s'arrête à une position où pourtant 5/8 ..../vidjil -c clones -G germline/IGH -r 5 -R 5 -a -d data/Stanford_S22.fasta
puis regarder out/seq/sequences.fa-1
representative : [105,232]
aligner : pourquoi est-elle si courte ? Il s'arrête à une position où pourtant 5/8 des séquences sont d'accord. (50% ?)
Et moralement, quasiment tout devrait être retrouvé dans la représentative.
cf aussi mail de Filip
***
à non, je suis bête, ce n'est pas les positions mais les k-mer
***
c'est quand même méga-exigeant, avec k=12/span=13 : si deux erreurs de séquençage sont espacée de 13 et concernent 25% des séquences, cela ne passe plus...
***
Et si on générait des représentatives avec des N à certaines positions ?
***
Dans le cas présent, la graine est ######-######, la représentative va jusqu'à la fin du read, on ne peut pas étendre plus de ce côté-là. De l'autre côté, le premier k-mer est GCTGTA-CTGCAA qu'on retrouve 6 fois dans le jeu. Si on prend le k-mer précédent CGCTGT-CCTGCA on ne le retrouve que 4 fois or le min_cover est à 5 (c'est la valeur du -R, ou du -r je ne sais plus entre les deux…)
***
En passant le -R à 4, on gagne 5 nt dans la représentative…
***
bon, ce n'est pas un bug, et mis en basse priorité.
À voir si on veut mettre une graine de représentative de 8 ou de 6 (au lieu de la graine par défaut, ici span 13).
Justificatif : on ne fait pas trop de bêtises, pour que cela aille vraiment plus loin il faut que plusieurs k-mers à la suite passent.
***
Au passage, la graine utilisée par la représentative est la variable "seed" dans vidjil.cpp.
Elle n'est pas affectée par les multi-germlines (même problème que -w...).
Ainsi, les deux commandes suivantes, sur Stanford, n'utilisent pas la même graine pour la représentative (alors qu'elles utilisent toutes les deux la même graine, s13, pour le KmerSegmenter) :
./vidjil -g germline -w 60 (graine par défaut, s10 actuellement)
./vidjil -G germline/IGH (graine réglée pour IGH, s13, et -w 60 se réglant tout seul)
Les commandes segmentent donc les mêmes reads mais n'ont pas la même longueur de représentative (1 base de différence). Hihihi :)
***
Allez pour être positif : Jeu de données de Lille au Diag (BAI 167 BC89-L1500956). Le premier clone qui sort en TRG a une représentative de 217 bp (214bp en électrophorèse ?!). Dans le cluster (157396 reads), la longueur médiane des reads est de 217bp et en fait près de 82% des reads font 217bp. Par contre dans ce même cluster il y a des reads chimériques allant jusqu'à 494bp (il y a 530 reads, soit 0,3% qui font plus de 250bp).
Même jeu de données : en TRD et VdJa on trouve deux clones qui sont en fait les mêmes → les représentatives sont identiques.
Même jeu de données en IGK, prenons au hasard le clone à 1,038% Intron -5/3/-2 KDE. La représentative fait 285bp et la longueur médiane des reads dans ce jeu est de 285bp (environ les 2/3 des séquences ont cette longueur). Là aussi il y a des séquences plus longues (0,6% font plus de 300bp… soit 10 séquences).
Mais tout cela c'est sur du Ion Torrent, il faudrait voir sur de l'Illumina
***
Voir aussi "Représentative : mesure de qualité"
***
Je ne sais pas si je suis sur la bonne tâche. En tout cas, un examen attentif du "make snapshot_diff" entre la 2016.08 et sans-aho (0a3bc4c) montre une différence significative sur la représentative calculée dans should-get-tests/vidjil_s22.should_get (avec -k 9).
Peut-être que cela va naturellement s'améliorer avec les trucs en cours sur la représentative.
***
@mikael-shttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1164test.data : faire un nouveau fichier2021-11-08T16:18:36+01:00Vidjil Teamtest.data : faire un nouveau fichierMessages d'erreur de la console Chromium :
GET http://vidjil.local/js/lib/jquery.min.map 404 (Not Found) /js/lib/jquery.min.map:1
Uncaught TypeError: Cannot read property 'selectAll' of undefined graph.js:331
***
Mikaël, est-ce toujou...Messages d'erreur de la console Chromium :
GET http://vidjil.local/js/lib/jquery.min.map 404 (Not Found) /js/lib/jquery.min.map:1
Uncaught TypeError: Cannot read property 'selectAll' of undefined graph.js:331
***
Mikaël, est-ce toujours confirmé ?
***
Oui et non. Le fichier test.data a été supprimé par 284c296 (hum) ce qui m'empêche de vérifier. Ce qui empêche aussi de lancer les tests browser…
***
aïe, désolé... cela ne se produira plus lorsque les tests browsers seront intégrés :)
Sur rbx, il y a maintenant demo/LIL-L2.vidjil (quand je l'avais mis, c'était pour avoir aussi le nouveau format).
Ok pour remettre cela sur le git... autant faire directement la tache "avoir un meilleur fichier de démo"
***
Fichier de test ≠ Fichier démo, non ? Pourquoi les deux devraient être identiques ? Les tests navigateurs de Marc ont été faits pour (l'ancien) test.data si on utilise d'autres données les concentrations, couleurs, séquences ne seront plus les mêmes et casseront du coup les tests.
***
ah oui. Et bien tu peux essayer un "git revert 284c296"... mais le fichier n'est plus reconnu, le format n'est pas le bon.
Faut-il essayer de le réparer ? Ou de le reprendre d'ailleurs (est-ce LIL-L2 ?)
Ou bien d'en choisir un autre, quitte à remettre certaines valeurs ?
(Si test ≠ démo, le fichier test pourrait être plus petit et truandé à la main pour avoir tous les cas bizarres que l'on veut)
***
(Le fichier demo sur rbx est bien différent de l'ancien test.data)
***
je peux être volontaire pour remettre les bonnes valeurs numériques si on prend un nouveau fichier propre
***
- multisystème (dont un incomplet)
- plusieurs clones (tester cluster)
- plusieurs points
***
@magiraud @mikael-s @Duezhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1163récupérer le mail de root2016-11-29T14:32:37+01:00Vidjil Teamrécupérer le mail de rootFait (juste avec un .forward)
***
@magiraudFait (juste avec un .forward)
***
@magiraudhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1162Surveiller les erreurs / tickets sur le serveur / tickets à envoyer par mail2016-11-29T14:32:37+01:00Vidjil TeamSurveiller les erreurs / tickets sur le serveur / tickets à envoyer par mailhttps://rbx.vidjil.org/admin/default/errors/vidjil
https://rbx.vidjil.org/admin/default/errors/admin
***
Je viens de faire une passe de mon côté, en supprimant ce qui venait de mes manips.
***
Marc, cela vaut le coup que tu y jettes un c...https://rbx.vidjil.org/admin/default/errors/vidjil
https://rbx.vidjil.org/admin/default/errors/admin
***
Je viens de faire une passe de mon côté, en supprimant ce qui venait de mes manips.
***
Marc, cela vaut le coup que tu y jettes un coup d'oeil... des erreurs ici signifient des utilisateurs qui ne savent pas quoi faire ;-)
***
priorité baissée, il n'y a pas trop d'erreurs en ce moment
***
Ce serait tout de même bien plus robuste d'avoir cela par mail, ou au moins dans le log.
***
@magiraud @mikael-shttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1161Message d'erreur si "import analysis" ne fonctionne pas2020-12-11T12:58:17+01:00Vidjil TeamMessage d'erreur si "import analysis" ne fonctionne pas
***
@Duez
***
@Duezhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1160web2py devrait se mettre dans /mnt/result pour se lancer2016-11-29T14:32:35+01:00Vidjil Teamweb2py devrait se mettre dans /mnt/result pour se lancer0764e95. On ne fait pas de os.chdir, mais les fichiers de résultats sont directement dans /mnt/result
***
@magiraud @mikael-s0764e95. On ne fait pas de os.chdir, mais les fichiers de résultats sont directement dans /mnt/result
***
@magiraud @mikael-shttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1159Vérifier les droits lors de l'upload du fichier2020-12-11T12:57:51+01:00Vidjil TeamVérifier les droits lors de l'upload du fichierSi on n'a pas les droits sur le répertoire, le fichier apparaît quand même dans la liste, alors qu'il ne devrait pas. Et on devrait avoir un message d'erreur indiquant l'impossibilité de l'upload.
***
Mikaël, de quels droits parles-tu ? ...Si on n'a pas les droits sur le répertoire, le fichier apparaît quand même dans la liste, alors qu'il ne devrait pas. Et on devrait avoir un message d'erreur indiquant l'impossibilité de l'upload.
***
Mikaël, de quels droits parles-tu ? sur fichier, sur patient ?
***
@Duezhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1158Message d'erreur si chargement .data ne marche pas2020-12-11T12:57:30+01:00Vidjil TeamMessage d'erreur si chargement .data ne marche pasFilip : "I've tried to import my vidjil.data file to the new version of browser but
it seems to be broken. It doesn't import any data when I click on start
button."
Peut-être qu'il n'a pas la bonne version du .data, mais un message d'er...Filip : "I've tried to import my vidjil.data file to the new version of browser but
it seems to be broken. It doesn't import any data when I click on start
button."
Peut-être qu'il n'a pas la bonne version du .data, mais un message d'erreur serait le bienvenu :-) Un catchall de toutes les exceptions qui peuvent arriver à ce niveau ?
***
Peut-être que cela marche avec le bug corrigé aujourd'hui dans 7b4029582
Vérifier que le truc est bien bétonné.
***
Il y a un cas rigolo où cela ne marche toujours pas, si on met un fichier analysis à la place de data, hihihi.
Evidemment, on peut faire des tests en plus, mais il y aura toujours le cas où un fichier malformé pourra faire bugguer une partie. Bref, un catch de toutes les exceptions me semble une bonne solution, au moins pour indiquer "Parse failed."
***
J'insiste, c'est primordial, surtout quand on est en train de changer le format .data...
-> un catch de toutes les exceptions me semble une bonne solution, au moins pour indiquer "Parse failed."
***
y compris "see result TRG"
***
descendu, on n'a plus eu de problème récemment
***
@Duezhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1157Sélection multiple sur OS X avec xxx+clic2016-11-29T14:32:33+01:00Vidjil TeamSélection multiple sur OS X avec xxx+clicActuellement, ne marche plus sur OS X ?
Avant, c'était toujours multiple, je sais qu'on a changé... à rediscuter
***
je confirme, marche pas chez moi :-)
***
Je confirme : sous OSX, ni Shift, ni Pomme, ni Ctrl, ni Alt ne permet de faire ...Actuellement, ne marche plus sur OS X ?
Avant, c'était toujours multiple, je sais qu'on a changé... à rediscuter
***
je confirme, marche pas chez moi :-)
***
Je confirme : sous OSX, ni Shift, ni Pomme, ni Ctrl, ni Alt ne permet de faire une sélection multiple. Je n'ai pas essayé les 16 combinaisons :-)
***
(que ce soit sous Safari ou sous Firefox)
***
Ce bug est plus que confirmé, plusieurs utilsateurs sous OS X ne peuvent pas faire des sélections multiples.
***
il y avait une personne sous Mac (Ludovic ?) qui arrivait à faire de la sélection multiple (avec pomme ou shift+pomme)
***
b461f5c. Yououh, après plus d'un an d'abstinence je découvre la sélection multiple. Quelle belle application :-)
(Merci de vérifier que cela passe pour vous, alt/ctrl/meta devraient être acceptés)
***
@nobodyhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1156css: noms plus explicites que db.column_12021-07-12T18:00:30+02:00Vidjil Teamcss: noms plus explicites que db.column_1
***
@nobody
***
@nobodyhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1155liste des samples > edit patient info > submit devrait revenir à la page préc...2016-11-29T14:32:32+01:00Vidjil Teamliste des samples > edit patient info > submit devrait revenir à la page précédentedéjà fait mais pas encore pushé
***
@Duezdéjà fait mais pas encore pushé
***
@Duezhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1154Bouton back ne devrait apparaître que lorsqu'on peut revenir en arrière2016-11-29T14:32:31+01:00Vidjil TeamBouton back ne devrait apparaître que lorsqu'on peut revenir en arrièreLorsqu'on est sur l'écran de login au serveur, le lien back apparaît en bas à gauche, alors qu'on ne peut pas retourner en arrière.
***
>> a82091eda74980cde
***
@DuezLorsqu'on est sur l'écran de login au serveur, le lien back apparaît en bas à gauche, alors qu'on ne peut pas retourner en arrière.
***
>> a82091eda74980cde
***
@Duezhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1153Mettre dans /mnt/result/fused les fichiers .fused2016-11-29T14:32:30+01:00Vidjil TeamMettre dans /mnt/result/fused les fichiers .fusedSi possible, il faudrait séparer cela en trois sous-répertoires
runs/ ou input/ les .fasta/.fastq initiaux (30 GB actuellement)
results/ les fichiers .data (700 MB)
fused/ les fichiers .fused (13 MB)
Sinon, tant pis
***
...Si possible, il faudrait séparer cela en trois sous-répertoires
runs/ ou input/ les .fasta/.fastq initiaux (30 GB actuellement)
results/ les fichiers .data (700 MB)
fused/ les fichiers .fused (13 MB)
Sinon, tant pis
***
(pour l'instant, dans /mnt/upload)
***
Toujours d'actualité ? Pour quoi faire ?
***
Mon commentaire "(pour l'instant, dans /mnt/upload)" est probablement faux : les .fused sont bien dans /mnt/results, c'est bien cela ? Et /mnt/upload n'a que de l'upload ?
Bref, on peut sûrement fermer.
***
Oui les fused sont dans /mnt/result/results
***
ok, merci
***
@Duezhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1152Renommer 'data_file' en 'results_file'2016-11-29T14:32:30+01:00Vidjil TeamRenommer 'data_file' en 'results_file'Désolé d'avoir cédé ce coup-ci au bikeshedding de Nikos :)
***
Pendant qu'on y est, faire en même temps le "Identifiant patient"...
***
@DuezDésolé d'avoir cédé ce coup-ci au bikeshedding de Nikos :)
***
Pendant qu'on y est, faire en même temps le "Identifiant patient"...
***
@Duezhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1151'Last processing' devrait aussi afficher l'heure2016-11-29T14:32:29+01:00Vidjil Team'Last processing' devrait aussi afficher l'heureQue ce soit dans la vue des points ou dans la vue admin, on aimerait avoir l'heure, par exemple "2014-09-17 10:04". En particulier quand on est en train de lancer des choses ou de les monitorer (ou de relancer tout), l'heure est importan...Que ce soit dans la vue des points ou dans la vue admin, on aimerait avoir l'heure, par exemple "2014-09-17 10:04". En particulier quand on est en train de lancer des choses ou de les monitorer (ou de relancer tout), l'heure est importante
***
@Duezhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1150Fichier browser/test/test.analysis manquant sur le dépôt2016-11-29T14:32:28+01:00Vidjil TeamFichier browser/test/test.analysis manquant sur le dépôttest.analysis et test.data désormais au format '2014.09'
***
@Dueztest.analysis et test.data désormais au format '2014.09'
***
@Duezhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1147Re-partitionner /home2016-11-29T14:32:26+01:00Vidjil TeamRe-partitionner /home600 Go : upload (fasta), vérifier que les fichiers arrivent direct dedans
100 Go : résultat + espace travail Vidjil-algo/Brno
le reste > 100 Go : home (www-data n'écrit pas, sauf peut-être pour le dev dans le git)
***
/dev/sda2 réduite à...600 Go : upload (fasta), vérifier que les fichiers arrivent direct dedans
100 Go : résultat + espace travail Vidjil-algo/Brno
le reste > 100 Go : home (www-data n'écrit pas, sauf peut-être pour le dev dans le git)
***
/dev/sda2 réduite à 600 GB
***
/dev/sda2 600GB /mnt/upload (à maximiser, elle ne fait que 500 GB ?)
/dev/sda5 100GB /home
/dev/sda6 200GB /result
***
pour le log:
e2fsck -f /dev/sda2
resize2fs /dev/sda2 600G
resize2fs /dev/sda2 500G (pour être sur d'avoir assez de place, je ne suis pas sûr de comment ils comptent les G entre resize2fs et fdisk)
fdisk > supprimer > recréer les partitions
e2fsck -f /dev/sda2
puis /etc/fstab
puis déplacement à la mimine de ce qui doit revenir dans /home
***
resize2fs sur /dev/sda2 : 591 GB
***
@magiraud @mikael-shttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1146Augmenter le nombre de CPU pouvant être utilisés sur le serveur2017-11-22T12:48:31+01:00Vidjil TeamAugmenter le nombre de CPU pouvant être utilisés sur le serveurIl y a de la marge sur le serveur, on peut au moins avoir 2 Vidjil lancés en parallèle et même 3 en regardant l'utilisation du serveur sur le manager OVH (mais pas 4 !)
***
on passe a 3 workers (en attendant que vidjil soit multi-thread)...Il y a de la marge sur le serveur, on peut au moins avoir 2 Vidjil lancés en parallèle et même 3 en regardant l'utilisation du serveur sur le manager OVH (mais pas 4 !)
***
on passe a 3 workers (en attendant que vidjil soit multi-thread)
***
merci !
Est-ce que finalement Vidjil a besoin d'être multi-thread, si on en lance toujours plein en même temps :) ?
***
@Duezhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1145Le lancement de fuse.py devrait être configurable dans la config2016-11-29T14:32:25+01:00Vidjil TeamLe lancement de fuse.py devrait être configurable dans la configUn champ libre dans chaque config pour les options de fuse (-t 100 pour l'instant)
***
C'est configurable, mais pas encore utilisé, je crois...
***
7b004db.
Attention, penser à mettre "-t 100" pour toutes les configs dans vos serveurs lo...Un champ libre dans chaque config pour les options de fuse (-t 100 pour l'instant)
***
C'est configurable, mais pas encore utilisé, je crois...
***
7b004db.
Attention, penser à mettre "-t 100" pour toutes les configs dans vos serveurs locaux.
Fait pour rbx.
***
@Duezhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1144Bouton pour tout relancer2016-11-29T14:32:24+01:00Vidjil TeamBouton pour tout relancerTout relancer : par config, par patient, par « client ».
C'est uniquement pour l'admin, il peut y avoir des choses à rentrer à la main pour spécifier ce qu'on veut relancer. Ça n'a pas forcément besoin d'être super user-friendly.
***
@DuezTout relancer : par config, par patient, par « client ».
C'est uniquement pour l'admin, il peut y avoir des choses à rentrer à la main pour spécifier ce qu'on veut relancer. Ça n'a pas forcément besoin d'être super user-friendly.
***
@Duez