vidjil issueshttps://gitlab.inria.fr/vidjil/vidjil/-/issues2021-11-19T11:06:57+01:00https://gitlab.inria.fr/vidjil/vidjil/-/issues/1008Nommer des séquences d'intérêt (super utile pour pool de patients, pour stand...2021-11-19T11:06:57+01:00Vidjil TeamNommer des séquences d'intérêt (super utile pour pool de patients, pour standards, pour clones connus)
***
#1007
***
#1007https://gitlab.inria.fr/vidjil/vidjil/-/issues/1007Uploader un fichier FASTA avec des séquences d'intérêt, les nommer, identifie...2020-12-11T12:55:06+01:00Vidjil TeamUploader un fichier FASTA avec des séquences d'intérêt, les nommer, identifier les manquantesPlutôt que d'avoir un fichier .analysis contenant des fenêtres à mettre en valeur, on pourrait avoir des séquences complètes à mettre en valeur. À l'interface de chercher si elle trouve des fenêtres connues dans les séquences d'intérêt. ...Plutôt que d'avoir un fichier .analysis contenant des fenêtres à mettre en valeur, on pourrait avoir des séquences complètes à mettre en valeur. À l'interface de chercher si elle trouve des fenêtres connues dans les séquences d'intérêt. Ça éviterait de devoir rentrer les fenêtres dans les fichiers .analysis (qui peuvent changer avec des modifs dans l'algo) et ça permet de traîter directement les séquences d'intérêt que nous donnent nos amis bios.
***
scénario : on a un fichier fasta donnant des clones connus pour des patients, pour des standards, et on veut le visualiser rapidement
voir déjà vdj/progs/utils/generate-analysis.py fait par Mikaël (ece856d)
il faudrait faire cela directement dans l'interface, et voir les séquences manquantes par rapport au fichier fourni
***
être aussi capable d'afficher complètement cette séquence dans l'aligneur
***
ces séquences doivent passer au fuse.py, malgré le top
***
À discuter ensemble.
Solution 1:
- server : transformer le .fa en fichier de labels
- c++ : prend ce fichier (-l, existe déjà), marque les séquences ("top: 0" marcherait out-of-the box, mais crade, disons "label")
- fuse.py : traite spécialement les clones "label"
Solution 2:
- server: transformer ce fichier en .analysis (certains
- pas de modif c++
- fuse.py : prend un .analysis en plus, et tient compte de ce qu'il y a dedans
La solution 1 est la plus simple, mais la 2 permettrait de renforcer le rôle central d'un fichier ".analysis" (et on pourrait presque avoir un fuse.py qui fusionnerait deux .analysis).
Dans les deux cas :
- browser : afficher les séquences manquantes
***
Il y avait une tâche doublon "Conserver les séquences d'intérêt dans le fuse" :
- Soit avoir un tag dans le fichier clntab ou data disant qu'on veut conserver la séquence
- Soit avoir un fichier FASTA contenant les séquences d'intérêt à conserver
***
Les deux solutions demandent de toute façon de lancer le c++ sur le .fa pour récupérer les fenêtres. Autant le faire comme pour les autres fichiers.
Solution mixte proposée :
- server : pouvoir rentrer un fichier .fa spécial (soit faire une boite dédiée à cela, soit rajouter un champ aux fichiers .fasta pour qu'ils soient tous soit "reads" soit "known clones")
- c++ : lancé sur le .fa spécial, avec -y all -z all + un flag faisant qu'il prend le nom des fichiers fasta comme "name" dans le .vidjil (et sort "top: 0", ou, mieux, un nouveau flag ?)
- c++ : lancé sur les n fichiers de reads, comme d'habitude
- fuse : prend tous ces .vidjil (mais différencie les "known clones" des "reads")
- browser :devra aussi indiquer les manquantes
***
remarque de Mikaël : il peut y avoir des N dans séquences données.
Bref, la prédiction de fenêtre ne sera peut-être pas la bonne méthode, plutôt une recherche a posteriori comme dans vdj/progs/utils/generate-analysis.py
À rediscuter encore.
***
évoqué aussi hier avec Rennes... Alice a des séquences identifiées comme à enlever, on ne veut pas le faire manuellement...
Déjà si cela taggait automatiquement, ce serait bon.
N'est-ce pas proche de charger un fichier .analysis ?
***
Rando 2016: Marc voit comment faire cela simplement en transformant (côté client ? serveur ?) le fichier FASTA en fichier .analysis.
***
Limite : si la séquence d'intérêt n'est pas dans le top 100 on ne la verra pas (cf. mail de Jona 21/09/2016)
***
#1008, #1009
***
@Duezhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/3154Récupérer des infos des pré-process : mécanisme2021-10-07T16:17:55+02:00Mathieu GiraudRécupérer des infos des pré-process : mécanismeVoir #2875 et #2247.
Chaque ~"server-pre-process" pourrait générer un `.json` comme le `.vidjil` (mais sans section `clones` ni ...).
Avec en particulier des warnings #2247 et des variables de qualité #2875.Voir #2875 et #2247.
Chaque ~"server-pre-process" pourrait générer un `.json` comme le `.vidjil` (mais sans section `clones` ni ...).
Avec en particulier des warnings #2247 et des variables de qualité #2875.https://gitlab.inria.fr/vidjil/vidjil/-/issues/1046fuse.py trop lent : améliorer l'algo2017-07-10T17:01:30+02:00Vidjil Teamfuse.py trop lent : améliorer l'algo20 min pour le jeu de Necker sur une trentaine de points
***
old version 30 fichiers => 17min
avec filtrage => 2min27
l'algo n'est plus quadratique (chaque point supplémentaire était plus long a fuse que le precedent du au fait que le f...20 min pour le jeu de Necker sur une trentaine de points
***
old version 30 fichiers => 17min
avec filtrage => 2min27
l'algo n'est plus quadratique (chaque point supplémentaire était plus long a fuse que le precedent du au fait que le fused file devenait de plus en plus gros apres chaque fuse).
le fuse en lui même est quasi instantané, c'est le filtrage qui prend un peu de temps maintenant.
***
yeah
***
@Duezhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/990Séparer le clone virtuel "other" en plusieurs paquets2019-10-29T14:41:50+01:00Vidjil TeamSéparer le clone virtuel "other" en plusieurs paquets- other-1-9 (les clones qui ont entre 1 et 9 reads)
- other-10-99
- …
ou bien une autre manière, par rapport à la concentration ?
but: voir si les clones "bruit de fond" sont différents ou pas. Si intéressant, on le met sur les 10 c...- other-1-9 (les clones qui ont entre 1 et 9 reads)
- other-10-99
- …
ou bien une autre manière, par rapport à la concentration ?
but: voir si les clones "bruit de fond" sont différents ou pas. Si intéressant, on le met sur les 10 courbes de l'article
fait pour ~fus
Modifier le test `algo/tests/stanford-fuse.should_get` en conséquence
Évoqué avec ~"repseq-Nikos" au téléphone, à voir si cela mène à quelque chose.
@Duezhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1926fuse.py garde les infos du meilleur top2019-08-20T10:23:35+02:00Vidjil Teamfuse.py garde les infos du meilleur topJe ne sais pas si c'est vraiment une tâche, mais bon.
Quand il fusionne plusieurs points, fuse garde les infos du meilleur "top":
fuse.py, 109:
#keep other data who don't need to be concat
if other.d["top"] < self.d["top"] :
(...Je ne sais pas si c'est vraiment une tâche, mais bon.
Quand il fusionne plusieurs points, fuse garde les infos du meilleur "top":
fuse.py, 109:
#keep other data who don't need to be concat
if other.d["top"] < self.d["top"] :
(code pas changé depuis > 2 ans)
Cela concerne en particulier "sequence", "seg" et "name".
Est-ce bien ce que l'on veut ? On pourrait le documenter.
Se met-on a faire des cas particulier si la séquence de l'un est bien plus longue que celle de l'autre ? (mais alors, il faut prendre "seg" en cohérence) ?
***
Oui et c'est problématique cf cette tâche (doublon ?) : https://producteev.com/workspace/t/576d311cb2fa096b4b000000
***
0d40d04
***
@magiraud @RyanHerb @mikael-s @Duezhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1481L'afficher dans le browser2016-11-29T14:36:54+01:00Vidjil TeamL'afficher dans le browser
***
#1478
***
#1478https://gitlab.inria.fr/vidjil/vidjil/-/issues/1480Vérifier qu'elle passe au fuse2016-11-29T14:36:54+01:00Vidjil TeamVérifier qu'elle passe au fuse
***
#1478
***
#1478https://gitlab.inria.fr/vidjil/vidjil/-/issues/1479Dans le c++, sortir cette info en nombre2016-11-29T14:36:54+01:00Vidjil TeamDans le c++, sortir cette info en nombre
***
#1478
***
#1478https://gitlab.inria.fr/vidjil/vidjil/-/issues/1478Afficher le "% coverage" comme axe d'analyse2016-11-29T14:36:54+01:00Vidjil TeamAfficher le "% coverage" comme axe d'analyseOn aimerait pouvoir visualiser le % coverage (longueur du consensus / longueur du paquet des reads les plus longues) et éventuellement mettre des warnings s'il est trop bas.
***
ca9935b
(et 323dac7 pour calculer la moyenne des coverages ...On aimerait pouvoir visualiser le % coverage (longueur du consensus / longueur du paquet des reads les plus longues) et éventuellement mettre des warnings s'il est trop bas.
***
ca9935b
(et 323dac7 pour calculer la moyenne des coverages non nuls)
***
#1479, #1480, #1481
***
@nobodyhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1021Rentrer des .clntab directement dans le browser2016-11-29T14:30:42+01:00Vidjil TeamRentrer des .clntab directement dans le browserLes utilisateurs doivent pouvoir visualiser des .clntab.
Politiquement important.
Avant de coder, il faut qu'on en discute ensemble.
***
On avait dit : DB = patients.
Mais une visualisation "à la Nikos" peut avoir plusieurs patients / l...Les utilisateurs doivent pouvoir visualiser des .clntab.
Politiquement important.
Avant de coder, il faut qu'on en discute ensemble.
***
On avait dit : DB = patients.
Mais une visualisation "à la Nikos" peut avoir plusieurs patients / labs / ... : comment gérer cela ?
- Ne pas utiliser la DB et faire directement charger le fichier ?
(éventuellement avec un coup de server qui fait fuse.py)
- Ou bien prévoir de pouvoir stocker cela dans la DB ?
À discuter ensemble.
***
On le fait pas tout de suite, quand aura le serveur on pourra déjà stocker des .clntab directement
***
ok avec le serveur
***
@Duezhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/968parser .clntab: trouver mieux que -x/-y/-z2016-11-29T14:29:58+01:00Vidjil Teamparser .clntab: trouver mieux que -x/-y/-zok, on aura bientôt les coordonnées (?)
***
Mis le nom compelet du clonotype, Nikos les identifie de cette manière
***
@nobodyok, on aura bientôt les coordonnées (?)
***
Mis le nom compelet du clonotype, Nikos les identifie de cette manière
***
@nobodyhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/5175Warning similarity; Position not correct after a fuse2023-10-19T14:51:00+02:00THONIER FlorianWarning similarity; Position not correct after a fuseFor the moment, we throw some warning on similarities between clones. (Similar to clone "\#1 - TRGV9*01 0/AC/1 TRGJ1*02").
After a fuse, clone \#1 is not correct. We need to update this position at the fuse.
In fact, even without fuse w...For the moment, we throw some warning on similarities between clones. (Similar to clone "\#1 - TRGV9*01 0/AC/1 TRGJ1*02").
After a fuse, clone \#1 is not correct. We need to update this position at the fuse.
In fact, even without fuse with other sample, position is false (see https://app.vidjil.org/3296-25?clone=42,64).https://gitlab.inria.fr/vidjil/vidjil/-/issues/5124Fuse; How to merge clonotype with various windows/ids length ?2023-03-01T10:54:49+01:00THONIER FlorianFuse; How to merge clonotype with various windows/ids length ?I was looking on analysis made with multiple configurations on the same sample file.
Window length parameter is not constant and the fuse don't work.
How can we resolve this ? I was naively thinking about `if the smaller window fit ins...I was looking on analysis made with multiple configurations on the same sample file.
Window length parameter is not constant and the fuse don't work.
How can we resolve this ? I was naively thinking about `if the smaller window fit inside the bigger we can merge`. But in this case, with the longer windows configuration, a clonotype on configuration `multi` (windows of 60nt length) is splitted into multiple smaller clonotype for configuration `clonality` (full sequence windows).
It is a one-to-many relationship. If it is easy to create a link at the fuse step, how to use it in client ?https://gitlab.inria.fr/vidjil/vidjil/-/issues/5105Run multiple pre/post fuse process in the same time2023-03-02T17:14:28+01:00Thonier FlorianRun multiple pre/post fuse process in the same timeAdd a way to make call to multiple script for prefuse/postfuse.Add a way to make call to multiple script for prefuse/postfuse.https://gitlab.inria.fr/vidjil/vidjil/-/issues/5102Fuse, bad merge of sample warnings2023-01-12T15:31:57+01:00Thonier FlorianFuse, bad merge of sample warningsWarnings of sample is not correctly design. We are not able to reasign these warnings to the correct sample.
On the client side, we don't show these values for the moment.
Need to be improve on the both side
* [ ] Better merge of war...Warnings of sample is not correctly design. We are not able to reasign these warnings to the correct sample.
On the client side, we don't show these values for the moment.
Need to be improve on the both side
* [ ] Better merge of warn (include sample position related to warning)
* [ ] Show warnings on the client ==> #5103https://gitlab.inria.fr/vidjil/vidjil/-/issues/5088fuse.py: --overlaps, ordre des paramètres de fuse2022-11-17T16:08:58+01:00Mathieu Giraudfuse.py: --overlaps, ordre des paramètres de fuse
@flothoni: "avec les distributions, il y a parfois des soucis dans le parse des arguments 'nargs' (distributions, fichiers). Il faut que le `-d` ne soit pas le dernier. Une manière est de mettre `--overlaps`, mais sinon on peut aussi ju...
@flothoni: "avec les distributions, il y a parfois des soucis dans le parse des arguments 'nargs' (distributions, fichiers). Il faut que le `-d` ne soit pas le dernier. Une manière est de mettre `--overlaps`, mais sinon on peut aussi juste intervertir les arguments."
==> rajouter un `--file` pour les fichiers ? (mais ~"server-task.py").https://gitlab.inria.fr/vidjil/vidjil/-/issues/5050Fuse, pouvoir ne retenir que les clones présents dans 2 échantillons (au moin...2022-07-01T16:59:39+02:00Thonier FlorianFuse, pouvoir ne retenir que les clones présents dans 2 échantillons (au moins ou strict)Quelque part c'est l'inverse de #3828.
On a une utilisatrice qui souhaite comparer les clonotypes communs entre 2 échantillons provenant du même patient mais de 2 tissus différents.
Le cas pratique ici ne correspond peut-être pas non ...Quelque part c'est l'inverse de #3828.
On a une utilisatrice qui souhaite comparer les clonotypes communs entre 2 échantillons provenant du même patient mais de 2 tissus différents.
Le cas pratique ici ne correspond peut-être pas non plus à un usage sur le client, mais serait intéressant. On enlève dans ce cas beaucoup de bruit de fond sur les clones non détectés dans A ou B, et on obtient des fichiers plus petits et simple à analyser, avec du coup le moyen d'en avoir un aperçu sur le client, au moins sur le top 100.
L'optimum en config serveur: Faire la première passe de l'algo pour avoir les fenêtres, trouver les similaires, puis relancer l'algo avec cette liste (cf labels ?).https://gitlab.inria.fr/vidjil/vidjil/-/issues/5030fuse.py: se souvenir du numéro du sample duquel on prend une séquence2022-05-20T11:45:36+02:00Mathieu Giraudfuse.py: se souvenir du numéro du sample duquel on prend une séquence
puis l'afficher dans getHTMLinfo
à défaut de changer #3970, savoir d'où la séquence vient
puis l'afficher dans getHTMLinfo
à défaut de changer #3970, savoir d'où la séquence vienthttps://gitlab.inria.fr/vidjil/vidjil/-/issues/4917fuse.py; modifications pour les distributions2021-11-26T13:12:41+01:00Thonier Florianfuse.py; modifications pour les distributionsJe me suis aperçu que la gestion des paramètres est erroné dans le parser du fuse. Je propose ici une correction;Je me suis aperçu que la gestion des paramètres est erroné dans le parser du fuse. Je propose ici une correction;