vidjil issueshttps://gitlab.inria.fr/vidjil/vidjil/-/issues2021-11-26T15:51:22+01:00https://gitlab.inria.fr/vidjil/vidjil/-/issues/4612Implement --post for fuse2021-11-26T15:51:22+01:00Mathieu GiraudImplement --post for fuseFollows #3647. In !367 we did only `--pre`
Après le `-t 100` ? Truc intermédaire avec un autre `-t` ?Follows #3647. In !367 we did only `--pre`
Après le `-t 100` ? Truc intermédaire avec un autre `-t` ?https://gitlab.inria.fr/vidjil/vidjil/-/issues/4579Comment relancer les fuse sur un serveur2020-11-23T13:37:35+01:00Thonier FlorianComment relancer les fuse sur un serveurJ'ai mis à jour fuse pour qu'il remonte un nouveau warning (#4566).
Ce nouveau warning peut avoir une incidence non nul sur une interprétation. Comment est-il possible de relancer les fuse sur un certain nombre d'analyses récentes ? Dan...J'ai mis à jour fuse pour qu'il remonte un nouveau warning (#4566).
Ce nouveau warning peut avoir une incidence non nul sur une interprétation. Comment est-il possible de relancer les fuse sur un certain nombre d'analyses récentes ? Dans ce cas, faut-il aussi avoir la version spécifique du fuse disponible quelque part ? Comment être certain que l'analyse que l'on regarde ait inclut cette fonction lors du fuse ?
* La technique actuellement serait possiblement de conseiller de relancer au moins une analyse puisque l'on sait que le fuse se fera automatiquement une fois celle-ci finit.
* Ne serait-il pas possible de le faire automatiquement ? Dans ce cas, on crash ou on obstrue le serveur car il y en aurait pour très longtemps (et ce n'est pas pour aller en s'améliorant.
* Ne lancer que sur les XXX analyses les plus récentes ?
* Avoir un bouton spécifique dans la page du set sans avoir a relancer une analyse ? Ce bouton ne serait disponible que si la version du fuse est différente par exemple ?
cc @magiraud @mikael-shttps://gitlab.inria.fr/vidjil/vidjil/-/issues/4578Warnings, avoir un nouveau warning si un clone a plusieurs productivité sur d...2021-02-23T10:33:35+01:00Thonier FlorianWarnings, avoir un nouveau warning si un clone a plusieurs productivité sur différents samplesEn lien avec #4566. Nous avons d'autre cas pour lequel c'est la productivité qui varie.
D'une manière générale, quels sont les champs pour lesquels nous devons lever une alerte ? Quel niveau ? Pour l'instant j'ai mis `warn/jaune`, mais...En lien avec #4566. Nous avons d'autre cas pour lequel c'est la productivité qui varie.
D'une manière générale, quels sont les champs pour lesquels nous devons lever une alerte ? Quel niveau ? Pour l'instant j'ai mis `warn/jaune`, mais il faudrait possiblement mettre un niveau plus élevé pour le faire ressortir (en attendant une meilleur gestion du bruit des warnings).
De plus, comment faire ressortir que c'est le sample 3 qui présente la divergence sur les XXX présent ? E tque c'est les samples 3 et 5 sur les YYY présent ?
Il faudrait faire des fusions des warning pour permettre d'extraire l'information et la fusionner au besoin au sein d'une seule entrée plus lisible.
cc @magiraud @mikael-shttps://gitlab.inria.fr/vidjil/vidjil/-/issues/4454Index d'overlaps: une seule fonction dans fuse.py ?2020-09-03T17:21:27+02:00Mathieu GiraudIndex d'overlaps: une seule fonction dans fuse.py ?Voir https://gitlab.inria.fr/vidjil/vidjil/-/merge_requests/465#note_370823
@mikael-s, ton avis ?
cc @flothoniVoir https://gitlab.inria.fr/vidjil/vidjil/-/merge_requests/465#note_370823
@mikael-s, ton avis ?
cc @flothonihttps://gitlab.inria.fr/vidjil/vidjil/-/issues/3986Arrondis et distributions2019-11-26T14:37:30+01:00Mathieu GiraudArrondis et distributionsÉvoqué plusieurs fois ces derniers temps à propos de #3902/!515 avec @flothoni et @mikael-s.
Pour l'instant, `average length` est arrondi à 1.0 (mais des valeurs telles que 0.1 pourraient être envisageables).
`GC content` pourrait l'êtr...Évoqué plusieurs fois ces derniers temps à propos de #3902/!515 avec @flothoni et @mikael-s.
Pour l'instant, `average length` est arrondi à 1.0 (mais des valeurs telles que 0.1 pourraient être envisageables).
`GC content` pourrait l'être par exemple à 0.001 / 0.1%.
Si on a arrondi un axe à 1.0, il manque des infos pour l'afficher à 0.5 dans le client.
Mais est-ce bien le scatterplot / ~"client-responsive" qui choisit la largeur des barres ? Et en cas de zoom/focus ?
On peut déjà faire !515 en prenant 1.0 pour `average length`, et y réfléchir plus en détail après.https://gitlab.inria.fr/vidjil/vidjil/-/issues/3983Average length différents suivant les points ?2019-10-23T10:37:07+02:00Mathieu GiraudAverage length différents suivant les points ?Évoqué dans le cadre de !515.
@flothoni : "Pour l'instant, `average length`, `coverage` et `coverage info` sont individuels par sample. Cela peut donner des infos". Lien aussi avec #3970 ? Si on a choisi une séquence, pourquoi garde-t-o...Évoqué dans le cadre de !515.
@flothoni : "Pour l'instant, `average length`, `coverage` et `coverage info` sont individuels par sample. Cela peut donner des infos". Lien aussi avec #3970 ? Si on a choisi une séquence, pourquoi garde-t-on cela ? Et pas d'autres choses ?
Dans !585, est-ce que ce cela implique de refaire des calculs à chaque changement de point ? Bof.
cc @flothonihttps://gitlab.inria.fr/vidjil/vidjil/-/issues/3971Définition des axes dans fuse.py2023-06-29T15:12:23+02:00Mathieu GiraudDéfinition des axes dans fuse.pyDans https://gitlab.inria.fr/vidjil/vidjil/merge_requests/503/diffs#9bd873768c2aee285edc7e9c0ba05f8c2125ca47_126_156, voir dans `fuse.py`, la fonction `get_value()` et la suivante :
```
if axe == "seg3":
retu...Dans https://gitlab.inria.fr/vidjil/vidjil/merge_requests/503/diffs#9bd873768c2aee285edc7e9c0ba05f8c2125ca47_126_156, voir dans `fuse.py`, la fonction `get_value()` et la suivante :
```
if axe == "seg3":
return self.d["seg"]["3"]["name"]
if axe == "lenSeq":
return len(self.d["sequence"])
if axe == "evalue":
return self.d["evalue"]["val"]
if axe == "seg5_delRight":
return self.d["seg"]["5"]["delRight"]
...
```
Beaucoup de choses donc codées en dur, @flothoni, on avait évoqué un jour ces choses. Il y a une partie de ~bikeshedding, mais pas que... si j'ai bien compris, c'est le pendant de `js/axes.js` et on a besoin de cela pour construire les distributions. Est-ce indispensable ? Comme c'est très gros, mettre déjà cela dans un fichier séparé `axes.py` ? (Mais c'est une méthode de `Clone`...)https://gitlab.inria.fr/vidjil/vidjil/-/issues/3970fuse.py: quelle séquence conserver ? plus grande, meilleur top, plus de reads ?2022-05-20T11:45:37+02:00Thonier Florianfuse.py: quelle séquence conserver ? plus grande, meilleur top, plus de reads ?Un utilisateur [compare deux protocoles](https://app.vidjil.org/browser/index.html?custom=60329&custom=60331&clone=0) IGH: FR1 et primer leader.
Mais lors du fuse, nous conservons par défaut la séquence de la première analyse, à priori...Un utilisateur [compare deux protocoles](https://app.vidjil.org/browser/index.html?custom=60329&custom=60331&clone=0) IGH: FR1 et primer leader.
Mais lors du fuse, nous conservons par défaut la séquence de la première analyse, à priori sans considération sur la taille, qui est pourtant bien plus significative dans le second cas.
Nous devrions rajouter une vérification dans le script.https://gitlab.inria.fr/vidjil/vidjil/-/issues/3855Comparaison / overlap de répertoires : combien de clones ?2019-04-08T14:13:20+02:00Mathieu GiraudComparaison / overlap de répertoires : combien de clones ?@mikael\-s : "savoir les clones qu'on retrouve, mais aussi les gènes V".
Très clairement certaines des réponses pourraient être via ~"app\-stats", dès qu'on est plus sur des distributions stats#242. Discussion sur l'aspect client dans #...@mikael\-s : "savoir les clones qu'on retrouve, mais aussi les gènes V".
Très clairement certaines des réponses pourraient être via ~"app\-stats", dès qu'on est plus sur des distributions stats#242. Discussion sur l'aspect client dans #3857, ici discussion sur le nombre de clones : combien en faut-il pour étudier `A\B` et `B\A`, `A or B`, `A and B`, voire `A xor B` ?
https://gitlab.inria.fr/vidjil/vidjil/-/issues/3853Comment calculer les informations à stocker pour des données pairées ou singl...2019-03-20T18:10:54+01:00Mikaël SalsonComment calculer les informations à stocker pour des données pairées ou single-cell ?Dans #2344 on parle de la manière de stocker les données. Mais qui produit ce fichier ? et comment ?
Pour un fuse sur ce type de données que veut dire un `-t 100` ? Si on a des chaines pairées on n'a pas envie de ne se retrouver qu'avec...Dans #2344 on parle de la manière de stocker les données. Mais qui produit ce fichier ? et comment ?
Pour un fuse sur ce type de données que veut dire un `-t 100` ? Si on a des chaines pairées on n'a pas envie de ne se retrouver qu'avec un seul clone de la paire (parce que le second ne serait pas dans le top 100). En gros on voudrait les 100 meilleures paires.
Mais avec du single cell, c'est différent. On ne veut pas les clones des 100 "meilleures" cellules. Que veut-on ? Le top X de toutes les cellules ?
Et qui produit le fichier ? Si on a 1000 cellules, c'est 1000 lancement de Vidjil-algo. Et donc c'est le fuse qui se charge de produire un fichier .vidjil final à partir des 1000 .vidjil ? (je ne parle volontairement pas des données pairées ici car je ne sais même pas sous quelle forme sont les données)https://gitlab.inria.fr/vidjil/vidjil/-/issues/3181Lancer CloneDB depuis fuse.py ou en offline2019-02-14T18:19:54+01:00Mathieu GiraudLancer CloneDB depuis fuse.py ou en offlineExtrait de #2312 et clonedb#1 :
> Lancer la cloneDB sur tous les clones côté client peut être une mauvaise idée ! (à voir si on le fait dans le `fuse.py`).
Pourquoi pas... mais dans ce cas, pas de check sur la contamination intra-run #...Extrait de #2312 et clonedb#1 :
> Lancer la cloneDB sur tous les clones côté client peut être une mauvaise idée ! (à voir si on le fait dans le `fuse.py`).
Pourquoi pas... mais dans ce cas, pas de check sur la contamination intra-run #1744 (qui pourrait être fait séparément).
À voir aussi comment on indique que cela a été fait "à une certain moment" (et donc, si on revient plus tard, pas forcément à jour). Et/ou relancer périodiquement CloneDB sur le serveur ?https://gitlab.inria.fr/vidjil/vidjil/-/issues/3111Inclure les données de diversité dans le resultat de fuse2018-03-30T10:07:17+02:00Thonier FlorianInclure les données de diversité dans le resultat de fuseLes données de diversité ne sont pas inclussent dans le résultat du fuse. Il faudrait les prendre en compte.
Vous validez ?
@magiraud @mikael-sLes données de diversité ne sont pas inclussent dans le résultat du fuse. Il faudrait les prendre en compte.
Vous validez ?
@magiraud @mikael-sThonier FlorianThonier Florianhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/2602Ajouter un clone et relance de fuse2021-11-26T13:45:56+01:00Mathieu GiraudAjouter un clone et relance de fuseEn discutant de #1921 avec Aurélie ~"LIL-Lille", une motivation pour ajouter un clone serait de voir s'il n'est pas plus loin que le top 100... on voit bien l'intérêt côté bio, vérifier si un séquence Sanger est bien absente ou pas.
Cel...En discutant de #1921 avec Aurélie ~"LIL-Lille", une motivation pour ajouter un clone serait de voir s'il n'est pas plus loin que le top 100... on voit bien l'intérêt côté bio, vérifier si un séquence Sanger est bien absente ou pas.
Cela impliquerait de relancer ~"server-fuse" avec des séquences forcées. Pas facile... et surtout #1921 pouvait sinon se voir comme une fonctionnalité sans connexion à la ~"server-database".
Faire déjà #1921 sans cela ?https://gitlab.inria.fr/vidjil/vidjil/-/issues/2479Mettre un verrou tant que des fichiers sont en cours de run/upload pour ne pa...2021-11-26T11:38:50+01:00Mikaël SalsonMettre un verrou tant que des fichiers sont en cours de run/upload pour ne pas lancer fuse ?Comme l'illustre #2472 : on lance beaucoup fuse.py, et inutilement.
@RyanHerb se demande si on ne pourrait pas poser un verrou pour ne pas lancer fuse tant que des fichiers sont encore en train d'être analysés (voire en cours d'upload)....Comme l'illustre #2472 : on lance beaucoup fuse.py, et inutilement.
@RyanHerb se demande si on ne pourrait pas poser un verrou pour ne pas lancer fuse tant que des fichiers sont encore en train d'être analysés (voire en cours d'upload). Cela permettrait de ne lancer qu'un seul fuse, une bonne fois pour toute plutôt que de lancer un fuse à la suite de chaque lancement (c'est aussi une réponse possible à #2011).
Inconvénient : on ne peut pas commencer à voir des résultats partiels.https://gitlab.inria.fr/vidjil/vidjil/-/issues/2344Stocker les informations de pairage des chaînes / de single cell2019-12-13T12:23:51+01:00Mikaël SalsonStocker les informations de pairage des chaînes / de single cell#2318 parle de données avec des chaînes pairées mais nous n'avons pas de moyen de conserver le pairage dans le fichier (et ensuite dans l'affichage).
Il faut donc réfléchir à la manière d'adapter le format dans ce but.
cc @magiraud#2318 parle de données avec des chaînes pairées mais nous n'avons pas de moyen de conserver le pairage dans le fichier (et ensuite dans l'affichage).
Il faut donc réfléchir à la manière d'adapter le format dans ce but.
cc @magiraudhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1996Afficher certaines séquences particulières, même en-dessous du -t2020-06-11T11:26:37+02:00Vidjil TeamAfficher certaines séquences particulières, même en-dessous du -tLorsque des séquences d'intérêt sont en dessous du -t 100 de fuse.py on veut qu'elles finissent malgré tout dans le fichier final. Quelle solution retenir ?
* Les passer explicitement en paramètre du fuse.py ? Pas très simple pour notre...Lorsque des séquences d'intérêt sont en dessous du -t 100 de fuse.py on veut qu'elles finissent malgré tout dans le fichier final. Quelle solution retenir ?
* Les passer explicitement en paramètre du fuse.py ? Pas très simple pour notre serveur de faire ça
* Avoir un champ dans le fichier .vidjil qui dise au fuse.py « prends-moi » ? Les champs correspondants aux clones sont assez descriptifs. Là on ajouterait un champ purement « computationnel ». Ça polluerait un peu le fuse…
***
Le champ dans le `.vidjil` pourrrait être un "label", qui ne serait pas forcément oui/non mais pourrait ajouter de la sémantique (comme on faisait il y a longtemps avec l'option "-l"). C'est donc descriptif. (On a déjà "name", qu'on utilise pas comme cela.)
Dans un premier temps, fuse.py pourrait tout simplement garder les séquences avec label. Dans un deuxième, fuse pourrait avoir des paramètres pour spécifiquement garder/ignorer certains labels.
***
Au fait, dans #1007, un vieux commentaire disait :
> "un flag faisant qu'il prend le nom des fichiers fasta comme "name" dans le `.vidjil` (et sort `top: 0`, ou, mieux, un nouveau flag ?)"
On peut effectivement déjà forcer avec `top: 0`. Utiliser "name" ne me semble pas une bonne idée maintenant.
***
Forcer le top : bof, on perd l'info.
Je pense que la situation était différente dans l'autre tâche puisqu'il n' s'agit pas de séquences appartenant réellement au jeu de données. Ce qui n'est pas notre cas ici.
***
nouvelle option `--label` (édité, ancienneemnt `-W`) + d332792 : on a le `label`
***
@magiraud @mikael-shttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1949Quand on a le choix entre plusieurs points, choisit-on vraiment la représenta...2019-08-20T10:39:36+02:00Vidjil TeamQuand on a le choix entre plusieurs points, choisit-on vraiment la représentative la plus pertinente ?Sur ce patient : http://rbx.vidjil.org/browser/index.html?patient=2206&config=26
La représentative affichée pour le 2è clone au diagnostic est une séquence de 112bp. Il s'agit de la séquence trouvée au premier point de suivi (et non au d...Sur ce patient : http://rbx.vidjil.org/browser/index.html?patient=2206&config=26
La représentative affichée pour le 2è clone au diagnostic est une séquence de 112bp. Il s'agit de la séquence trouvée au premier point de suivi (et non au diag). Pourquoi est-elle prise ? Car ce clone est le top 1 au fu1, alors qu'il est top 2 au diag. Mais le fu1 est très peu segmenté et donc ce top 1 représente 91 reads au fu1 contre plus de 20 000 au diag.
Devrait-on prendre la représentative du point avec le plus de reads ? avec la représentative la plus longue ?
***
0d40d04 point avec le plus de reads
***
Tâche rouverte, le commit a été réverté (8d6525b)
***
@Duez @RyanHerb @mikael-s @magiraudhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1185Distribution/histogramme des longueurs des séquences segmentées (ou non)2017-03-11T07:08:35+01:00Vidjil TeamDistribution/histogramme des longueurs des séquences segmentées (ou non)On pourrait un jour étendre core/stats.cpp pour stocker la distribution des reads (attention à ce que ne cela ralentisse pas l'algo), puis afficher cette distribution dans le browser
***
déjà fait
***
@magiraud @DuezOn pourrait un jour étendre core/stats.cpp pour stocker la distribution des reads (attention à ce que ne cela ralentisse pas l'algo), puis afficher cette distribution dans le browser
***
déjà fait
***
@magiraud @Duezhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1029Réécrire fuse.py : .py, node.js, .js, c++ ?2023-06-29T14:41:59+02:00Vidjil TeamRéécrire fuse.py : .py, node.js, .js, c++ ?https://gitlab.inria.fr/vidjil/vidjil/-/issues/1009Voir les séquences manquantes par rapport à un fichier d'intérêt2020-12-11T12:55:06+01:00Vidjil TeamVoir les séquences manquantes par rapport à un fichier d'intérêt
***
#1007
***
#1007