vidjil issueshttps://gitlab.inria.fr/vidjil/vidjil/-/issues2019-01-10T16:11:03+01:00https://gitlab.inria.fr/vidjil/vidjil/-/issues/3256Export csv depuis fuse.py2019-01-10T16:11:03+01:00Mathieu GiraudExport csv depuis fuse.pyVoir #2828Voir #2828https://gitlab.inria.fr/vidjil/vidjil/-/issues/3254fuse.py, et champs à merger comme diversity2019-01-10T15:21:22+01:00Mathieu Giraudfuse.py, et champs à merger comme diversityVoir ce qui a été fait dans !176 : est-ce que cela ne peut pas être transformé en quelque chose d'encore plus générique pour fusionner une liste de champs quelconques ?
cc @flothoniVoir ce qui a été fait dans !176 : est-ce que cela ne peut pas être transformé en quelque chose d'encore plus générique pour fusionner une liste de champs quelconques ?
cc @flothonihttps://gitlab.inria.fr/vidjil/vidjil/-/issues/3236fuse.py / ijson: merge de gros fichiers en O(top) en mémoire2018-07-23T13:53:48+02:00Mathieu Giraudfuse.py / ijson: merge de gros fichiers en O(top) en mémoireAprès #3235, on pourra implémenter fuse en deux passes (quand besoin pour des gros fichiers):
- une passe lire tous les top 100 de tous les points
- on fusionne ces tops
- une autre passe pour récupérer/fusionner tous les clones de c...Après #3235, on pourra implémenter fuse en deux passes (quand besoin pour des gros fichiers):
- une passe lire tous les top 100 de tous les points
- on fusionne ces tops
- une autre passe pour récupérer/fusionner tous les clones de cette liste, encore dans tous les points
cc @RyanHerbhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/3235Chargement partiel de .vidjil avec ijson2018-08-07T10:31:05+02:00Mathieu GiraudChargement partiel de .vidjil avec ijsonDiscuté ensemble : plus raffiné que #3234, charger un gros fichier de clones, mais ne garder que les clones
- qui ont `top` en-dessous de 100 (note: il peut y en avoir plus/moins que 100).
Cas d'usage (pour plus tard) : #3236
Voir...Discuté ensemble : plus raffiné que #3234, charger un gros fichier de clones, mais ne garder que les clones
- qui ont `top` en-dessous de 100 (note: il peut y en avoir plus/moins que 100).
Cas d'usage (pour plus tard) : #3236
Voir #2240.Ryan HerbertRyan Herberthttps://gitlab.inria.fr/vidjil/vidjil/-/issues/3234Chargement total de .vidjil avec ijson2018-08-07T10:31:04+02:00Mathieu GiraudChargement total de .vidjil avec ijson#2240
Cela pourra presque être pluggé directement dans ~"server\-fuse".#2240
Cela pourra presque être pluggé directement dans ~"server\-fuse".Ryan HerbertRyan Herberthttps://gitlab.inria.fr/vidjil/vidjil/-/issues/3196.vidjil: better document `top` and/or make it optionnal2019-07-23T10:03:08+02:00Mathieu Giraud.vidjil: better document `top` and/or make it optionnalIn https://github.com/ablab/y-tools/commit/41687407b738436b2c05615afa24548f83fbc595#diff-dfa29d568694d4d8189ce3e61b44972dR79
@eodus assigns a `"top": 1` for every clone. We are doing almost the same in `vidjil-algo` (`json_clone["top"] =...In https://github.com/ablab/y-tools/commit/41687407b738436b2c05615afa24548f83fbc595#diff-dfa29d568694d4d8189ce3e61b44972dR79
@eodus assigns a `"top": 1` for every clone. We are doing almost the same in `vidjil-algo` (`json_clone["top"] = 0`).
It looks like that the actual `top` value used in the ~client is then computed by fuse.py. We should investigate and better document the value.https://gitlab.inria.fr/vidjil/vidjil/-/issues/3172Extraction d'info depuis .vidjil pour contrôleur stats2018-09-14T12:08:24+02:00Mathieu GiraudExtraction d'info depuis .vidjil pour contrôleur statsUn point bloquant pour #3171.
On pourrait faire du parse ad-hoc d'infos... comme ce qui a été fait par @flothoni récemment ou un vieux contrôleur `patients/stats` il y a longtemps.
Mais, mieux, faire une librairie python pour `.vidjil`...Un point bloquant pour #3171.
On pourrait faire du parse ad-hoc d'infos... comme ce qui a été fait par @flothoni récemment ou un vieux contrôleur `patients/stats` il y a longtemps.
Mais, mieux, faire une librairie python pour `.vidjil` + extraction d'info #2240 #1029...
Cette tâche est donc probablement une sous-tâche de #2240 : avoir un moyen de récupérer les infos qu'on veut.https://gitlab.inria.fr/vidjil/vidjil/-/issues/2873Utilisation de IGoR sur quelques séquences pour affichage dans le client2017-11-22T22:18:51+01:00Mathieu GiraudUtilisation de IGoR sur quelques séquences pour affichage dans le clientDiscuté avec Thierry.
Prendre la probabilité `--Pgen` et éventuellement les scénarios `--scenarios`, en partant des modèles qu'ils proposent (TRA, TRB, IGH).
On pourrait, soit de notre côté, soit avec eux, soit eux :
- déjà fai...Discuté avec Thierry.
Prendre la probabilité `--Pgen` et éventuellement les scénarios `--scenarios`, en partant des modèles qu'ils proposent (TRA, TRB, IGH).
On pourrait, soit de notre côté, soit avec eux, soit eux :
- déjà faire un script wrapper encodant dans un `.vidjil` et
- éventuellement, avoir directement une sortie `.vidjil` à l'intérieur de IGoR.
vdj#513
cc @flothonihttps://gitlab.inria.fr/vidjil/vidjil/-/issues/2790Samples dans plusieurs sample sets et .analysis : documenter2017-11-17T13:30:45+01:00Mathieu GiraudSamples dans plusieurs sample sets et .analysis : documenterUn sample est dans un patient et un run.
Je mets un clone en rouge dans le patient (ou je merge des clones, ou je renomme un clone). Que devient-il dans le run ? Et après un nouveau fuse éventuel du run ?
Je sais qu'on en avait déjà dis...Un sample est dans un patient et un run.
Je mets un clone en rouge dans le patient (ou je merge des clones, ou je renomme un clone). Que devient-il dans le run ? Et après un nouveau fuse éventuel du run ?
Je sais qu'on en avait déjà discuté et décidé quand @RyanHerb et Marc avaient mis en place les sample sets. Il faut peut-être juste bien expliquer ce qu'il se passe et le documenter.
cc @RyanHerb @flothonihttps://gitlab.inria.fr/vidjil/vidjil/-/issues/2726Faire un "compare" sur un seul sample2020-11-20T21:18:14+01:00Ryan HerbertFaire un "compare" sur un seul sampleAnne m'a parlé d'un cas de figure où leurs données sont analisés en NGS deux fois. Elle aimerait pouvoir ajouter les samples dans le même patient sans pour autant avoir la vue du suivi.
Une solution pourrait être de simplement réduire l...Anne m'a parlé d'un cas de figure où leurs données sont analisés en NGS deux fois. Elle aimerait pouvoir ajouter les samples dans le même patient sans pour autant avoir la vue du suivi.
Une solution pourrait être de simplement réduire le graphe et naviguer entre les samples avec les flèches. Mais un changement de sample par click ou raccourci clavier accidentel pourrait passer inappercu assez facilement. Je me demandais donc s'il serait judicieux de permettre un compare sur un seul sample. Ou encore avec des configs qui ne fusent pas (mais produirait beaucoup d'entrées dans la liste des résultats...).
Actuellement, elle créé deux patients avec le même nom et utilise la recherche texte. Je lui ai donc proposé d'utiliser des tags pour accélérer légèrement la recherche, mais la solution n'avait pas l'air satisfaisante.https://gitlab.inria.fr/vidjil/vidjil/-/issues/2537Échecs de process Vidjil et Fuse2017-06-20T14:44:33+02:00Mikaël SalsonÉchecs de process Vidjil et FuseJe viens de voir dans le `vidjil-debug.log` des échecs pour Prague :
```
2017-06-20 12:27:19 <> None ERROR task.py:534 [26142] c2: 'fuse' FAILED - /mnt/data/prod/result/tmp/out-026142//026142-24015.fused
[…]
2017-06-20 12:27:08 ...Je viens de voir dans le `vidjil-debug.log` des échecs pour Prague :
```
2017-06-20 12:27:19 <> None ERROR task.py:534 [26142] c2: 'fuse' FAILED - /mnt/data/prod/result/tmp/out-026142//026142-24015.fused
[…]
2017-06-20 12:27:08 <> None ERROR task.py:232 [26141] c2: Vidjil FAILED - /mnt/data/prod/result/tmp/out-026141/
```
Peux-tu regarder @flothoni ?
De manière générale, n'hésite pas à jeter un œil au vidjil-debug régulièrement, voir si tout va bien (ça m'arrive aussi de cliquer aléatoirement sur un échantillon pour regarder s'il n'y a rien de bizarre).https://gitlab.inria.fr/vidjil/vidjil/-/issues/2312La cloneDB est très lente quand il y a beaucoup d'occurrences2018-04-17T12:27:49+02:00Mikaël SalsonLa cloneDB est très lente quand il y a beaucoup d'occurrencesActuellement la CloneDB renvoit beaucoup d'informations. À terme on aura peut-être les idées plus claires sur ce qui nous semble pertinent. Si, dans la plupart des cas, il s'agit juste de renvoyer un nombre d'occurrences ça pourrait être...Actuellement la CloneDB renvoit beaucoup d'informations. À terme on aura peut-être les idées plus claires sur ce qui nous semble pertinent. Si, dans la plupart des cas, il s'agit juste de renvoyer un nombre d'occurrences ça pourrait être beaucoup plus rapide (surtout avec ce que fait @Cyanael).
Bref, lancer la cloneDB sur tous les clones côté client peut être une mauvaise idée ! (à voir si on le fait dans le fuse.py).
cc @magiraudhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/2269Affichage limité à 16 sample dans la vue d'un run2017-03-22T14:39:20+01:00Thonier FlorianAffichage limité à 16 sample dans la vue d'un runmail de Aurelie Caillault
>>>
1 . Nous avons mis 17 échantillons dans le run 53_LAL et visuellement nous ne pouvons en voir que 16. Au départ nous pensions pouvoir utiliser l’épingle à droite pour y placer les échantillons qu’on avai...mail de Aurelie Caillault
>>>
1 . Nous avons mis 17 échantillons dans le run 53_LAL et visuellement nous ne pouvons en voir que 16. Au départ nous pensions pouvoir utiliser l’épingle à droite pour y placer les échantillons qu’on avait regardés et ainsi accéder au 17ème échantillon non visible. Mais à place de l’épingle nous avons 3 petits points et du coup on ne peut rien faire. Est-ce lié au nombre trop grand d’échantillons ? Notre idée de départ n’est-elle pas possible ?
>>>
Je viens de vérifier, et en effet, on a seulement l'affichage de 16 samples.
De plus, même lors de l'utilisation du "compare sample", il n'y a que 16 points visualisables. Le point manquant est le dernier de la liste des échantillons (sample88.ionXpress...)
Je me demande si il n'y a pas un bug avec la commande fuse qui supprimerai le dernier sample, comme une boucle avec un length-1 par exemple.
Je viens de trouver comment accéder au données brut (le run a été crée par Anne-Sophie BLANCHIS, et c'est la seul à pouvoir télécharger le resultat .dat brut), encore fallait-il savoir qui avait creer le 'run'. (affiché dans le log du report sample).
Pour finir donc, le fichier loadé par le serveur est en effet bien limité à 16 sample, donc le dernier est en dehors.Web 2017.03https://gitlab.inria.fr/vidjil/vidjil/-/issues/2240Fournir un module python qui sait lire, vérifier et générer des fichiers vidjil2019-06-12T11:47:19+02:00Ryan HerbertFournir un module python qui sait lire, vérifier et générer des fichiers vidjilPour encourager nos utilisateurs à développer des wrappers pour de nouveaux logiciels externes.
L'idée serait d'avoir un module qui fourni par exemple une classe Clone ainsi qu'un module capable de générer un fichier vidjil à partir d'u...Pour encourager nos utilisateurs à développer des wrappers pour de nouveaux logiciels externes.
L'idée serait d'avoir un module qui fourni par exemple une classe Clone ainsi qu'un module capable de générer un fichier vidjil à partir d'une liste d'instances de Clone.https://gitlab.inria.fr/vidjil/vidjil/-/issues/2103Supprimer les fichiers résultats lorsqu'on ré-uploade un fichier de séquences2017-05-22T14:41:14+02:00Mikaël SalsonSupprimer les fichiers résultats lorsqu'on ré-uploade un fichier de séquencesLorsqu'une utilisatrice lance un processus sur un fichier puis le réuploade, le contrôleur `get_data` pense que le fichier de séquences d'origine a été supprimé (ce qui n'est pas complètement faux).
Que faire dans ce cas-là ? Supprime...Lorsqu'une utilisatrice lance un processus sur un fichier puis le réuploade, le contrôleur `get_data` pense que le fichier de séquences d'origine a été supprimé (ce qui n'est pas complètement faux).
Que faire dans ce cas-là ? Supprimer le fichier fused ne suffit pas puisque les résultats restent attachés au même `sequence_file` (ce n'est que le `data_file` qui a changé dans le `sequence_file`, l'identifiant reste le même). Faut-il supprimer tous les fichiers résultats associés à ce fichier de séquence ?
Ou alors faut-il prévenir l'utilisatrice que le fichier ré-uploadé est le même que le fichier d'origine ? Mais comment le faire (sans attendre la fin de l'upload) ? Avec un SHA256 ? Côté client ?
Un ~"wont-fix" peut aussi être une solution. Il suffit de le savoir (et le documenter).
Problème identifié avec @RyanHerb et @flothoni dans le cadre de #2101.
@magiraudRyan HerbertRyan Herberthttps://gitlab.inria.fr/vidjil/vidjil/-/issues/2036Afficher sur la page patient/sample_set les résultats/configs lancés2023-11-09T11:04:57+01:00Mathieu GiraudAfficher sur la page patient/sample_set les résultats/configs lancésSuite à #2035, @flothoni propose :
Ajouter une valeur dans la colonne si une analyse est en cours ou programmé (ex : "clonalité (computing)" ou "waiting" ) Cette valeur devrait etre grisée ou formattée pour la mettre en évidence par rap...Suite à #2035, @flothoni propose :
Ajouter une valeur dans la colonne si une analyse est en cours ou programmé (ex : "clonalité (computing)" ou "waiting" ) Cette valeur devrait etre grisée ou formattée pour la mettre en évidence par rapport aux autres, de plus, ne pas etre cliquable.
Faire coucou à Aurélie si on fait cela.
@mikael-s @RyanHerbhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1726Évolution clonale : changement de V (V switch), similarité VDJ-aware2022-06-17T12:39:29+02:00Vidjil TeamÉvolution clonale : changement de V (V switch), similarité VDJ-awareEuh ? Demander à Bruxelles ?
***
Je ne me souviens plus des détails, mais c'était venu à Zurich lors d'une discussion avec Marleen ~"BRU-Bruxelles" et Hélène ~"PAR-Debré". Les relancer avant, ou au pire en discuter lors du VW.
***
Disc...Euh ? Demander à Bruxelles ?
***
Je ne me souviens plus des détails, mais c'était venu à Zurich lors d'une discussion avec Marleen ~"BRU-Bruxelles" et Hélène ~"PAR-Debré". Les relancer avant, ou au pire en discuter lors du VW.
***
Discuté au VW. Mail de Cristina ~"PAR-Debré" :
> voici l'URL correspondant au patient que nous avons regardé tout à l'heure (locus IgH oligoclonal), passé sur le Miseq en V3 avec le kit LymphoTrack FR1 : http://app.vidjil.org/browser/?patient=1292&config=25. Il s'agit d'un VH4DH3JH6 et d'un VH6DH3JH6, partageant donc le même D-J.
***
Faire un calcul de similarité V/D/J-aware, capable de dire : "oh, ces séquences sont très similaires avec une certaine e-valeur car N2/J similaire"... Et le lancer par exemple via le browser comme "plot by similarity"
(Problème: sera dépendant du seuil de détection de D.)
En lien aussi avec modèle de proba d'une recombinaison (Bristol fait cela).
***
- soit un calcul de similarité directement sur la représentation sortie du FineSegmenter
- soit, plus précis, on fait cela directement en programmation dynamique, aligner deux séquences en connaissant leur AligBox, et avoir un score différent pour les N.
***
@magiraud @mikael-shttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1636fuse.py, similarity et chemins relatifs2016-11-29T14:38:51+01:00Vidjil Teamfuse.py, similarity et chemins relatifs2460d41: les tests ne passaient plus parce que fuse.py ne trouvait pas similarity.
Du coup, je me demande si cela va passer sur le serveur: j'imagine que fuse.py n'est pas lancé du bon répertoire...
(mais, pour tsne, comme on relance sim...2460d41: les tests ne passaient plus parce que fuse.py ne trouvait pas similarity.
Du coup, je me demande si cela va passer sur le serveur: j'imagine que fuse.py n'est pas lancé du bon répertoire...
(mais, pour tsne, comme on relance similarity par cgi, cela ne devrait pas poser de problèmes...)
***
toujours d'actualité ?
***
On va dire que non, a priori ces chemins relatifs peuvent être bons partout.
***
@Duezhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1608python, import et modules2022-06-20T11:10:58+02:00Vidjil Teampython, import et modulesDernier mail de P. Wu :
File "fuse.py", line 37, in <module>
from utils import *
ImportError: No module named utils
Je ne sais pas si cela vient de cela, mais avons-nous besoin d'une meilleure architecture python ? Actuellement, de...Dernier mail de P. Wu :
File "fuse.py", line 37, in <module>
from utils import *
ImportError: No module named utils
Je ne sais pas si cela vient de cela, mais avons-nous besoin d'une meilleure architecture python ? Actuellement, des scripts sont dans germline, tools, et algo/tests. Mais on aimerait pouvoir faire des import dans tous les sens.
Faut-il faire un module quelque part (juste un __init__.py ?) et que cela marche sans installation ?
***
@nobodyhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1441fuse.py: si le fichier .vidjil est malformé, erreur propre2022-11-30T16:53:45+01:00Vidjil Teamfuse.py: si le fichier .vidjil est malformé, erreur propre
***
@nobody
***
@nobody