vidjil issueshttps://gitlab.inria.fr/vidjil/vidjil/-/issues2023-03-02T08:42:20+01:00https://gitlab.inria.fr/vidjil/vidjil/-/issues/1431Galaxy2023-03-02T08:42:20+01:00Vidjil TeamGalaxy?
***
il faut juste que je les recontacte... Rotterdam, pas de nouvelle. Je baisse.
***
@magiraud?
***
il faut juste que je les recontacte... Rotterdam, pas de nouvelle. Je baisse.
***
@magiraudhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/3049Mettre en json structué des infos pour l'instant dans le log2022-07-26T09:51:51+02:00Mathieu GiraudMettre en json structué des infos pour l'instant dans le log@flothoni dans #2235 :
> Discuté hier: pose la question d'avoir les données au format structuré dans le json et non plus en string.@flothoni dans #2235 :
> Discuté hier: pose la question d'avoir les données au format structuré dans le json et non plus en string.json-exporthttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1968Fichiers avec plus de 2G reads et int overflow2022-06-20T18:18:26+02:00Vidjil TeamFichiers avec plus de 2G reads et int overflowRayan a testé un jeu de 150M reads (fichier de ~40 GB), ce qui a mené à 37c5597e pour corriger un int overflow.
Le C++ actuel devrait pouvoir tenir jusqu'à 2^31 ~ 2G reads (quand "int" se compile comme "long"). Vu l'évolution des séquen...Rayan a testé un jeu de 150M reads (fichier de ~40 GB), ce qui a mené à 37c5597e pour corriger un int overflow.
Le C++ actuel devrait pouvoir tenir jusqu'à 2^31 ~ 2G reads (quand "int" se compile comme "long"). Vu l'évolution des séquenceurs, on devrait tenir quelques mois, mais pas plus :-) Après, il faudra mettre en `unsigned long long` un certain nombre de `int` dans `fasta.{h,c}`, `stats.{h,c}` et ailleurs...
Au passage, c'est désagréable à tester :-)
@magiraud @mikael-shttps://gitlab.inria.fr/vidjil/vidjil/-/issues/43270-based / 1-based2021-12-07T18:39:44+01:00Mathieu Giraud0-based / 1-basedSuite à remarque de @flothoni sur !715.
Je pense qu'on est, pour nos usagers, pour les sorties du ~cpp, et pour le ~client, partout 1-based. Probablement il faut le dire mieux dans la ~doc.
(très anciennes issues: #1942, #1958, #1869)...Suite à remarque de @flothoni sur !715.
Je pense qu'on est, pour nos usagers, pour les sorties du ~cpp, et pour le ~client, partout 1-based. Probablement il faut le dire mieux dans la ~doc.
(très anciennes issues: #1942, #1958, #1869)
Par contre, je pense qu'on est 0-based en *interne* du ~cpp. Mais est-ce systématique ? (Je vois par exemple "JUNCTIONstart is 1-based"). Faut-il progresser vers quelque chose de plus systématique ?https://gitlab.inria.fr/vidjil/vidjil/-/issues/4156Zone de commentaire par clone sur le rapport et/ou le panel info d'un clone2021-11-19T11:06:57+01:00Thonier FlorianZone de commentaire par clone sur le rapport et/ou le panel info d'un clone~"REN-Rennes" n'utilise pour le moment pas la génération de rapport depuis l'interface. ils copient/collent les exports fasta, font leur design d'amorce dans un fichier texte.
Une solution serait d'avoir la possibilité d'ouvrir une zone...~"REN-Rennes" n'utilise pour le moment pas la génération de rapport depuis l'interface. ils copient/collent les exports fasta, font leur design d'amorce dans un fichier texte.
Une solution serait d'avoir la possibilité d'ouvrir une zone de texte associée à chaque clone présent dans le rapport. Pour ne pas encombrer inutilement le rapport, nous pourrions imaginer un bouton"`+` ou autre à la fin de la ligne clone qui permettrai d'ajouter une zone de texte en dessous de chaque clone pour que les utilisateurs puissent y coller ce genre d'informations supplémentaires.
Point bonus; ces informations doivent-elles être sauvegardées dans le `.analysis` ? Dans ce cas quelle serait le meilleur endroit pour les rentrer ? Depuis le panel info d'un clone via une zone texte ?https://gitlab.inria.fr/vidjil/vidjil/-/issues/3154Récupérer des infos des pré-process : mécanisme2021-10-07T16:17:55+02:00Mathieu GiraudRécupérer des infos des pré-process : mécanismeVoir #2875 et #2247.
Chaque ~"server-pre-process" pourrait générer un `.json` comme le `.vidjil` (mais sans section `clones` ni ...).
Avec en particulier des warnings #2247 et des variables de qualité #2875.Voir #2875 et #2247.
Chaque ~"server-pre-process" pourrait générer un `.json` comme le `.vidjil` (mais sans section `clones` ni ...).
Avec en particulier des warnings #2247 et des variables de qualité #2875.https://gitlab.inria.fr/vidjil/vidjil/-/issues/4846"not analyzed" depuis le cpp2021-09-17T10:19:56+02:00Mathieu Giraud"not analyzed" depuis le cppDans `germline.h`:
```
#define PSEUDO_NOT_ANALYZED "not analyzed"
```
J'ai été tenté de mettre `not designated`, mais rien fait pour l'instant, vérifier dans quels cas c'est utilisé dans l'algo et ensuite les implications sur le ...Dans `germline.h`:
```
#define PSEUDO_NOT_ANALYZED "not analyzed"
```
J'ai été tenté de mettre `not designated`, mais rien fait pour l'instant, vérifier dans quels cas c'est utilisé dans l'algo et ensuite les implications sur le ~client.https://gitlab.inria.fr/vidjil/vidjil/-/issues/1473Axes génériques, depuis .json (coverage, evalue...)2021-07-12T16:09:41+02:00Vidjil TeamAxes génériques, depuis .json (coverage, evalue...)Être capable d'afficher n'importe quelle donnée passée dans le .json.
Notons que l'auto-découverte (comme pour le segmenter) peut ne pas être toujours très robuste et faire du bruit dans certains cas. Une solution acceptable pourrait êt...Être capable d'afficher n'importe quelle donnée passée dans le .json.
Notons que l'auto-découverte (comme pour le segmenter) peut ne pas être toujours très robuste et faire du bruit dans certains cas. Une solution acceptable pourrait être de demander à l'utilisateur de fournir une liste "axis" indiquant les axes à considérer (et en profiter pour demander le type entier / flottant / ..., ce qui peut être difficile à deviner).
***
Après réflexion, oui, il faudrait vraiment un mécanisme générique pour qu'on puisse spécifier quels axes on veut et ce qu'ils signifient (et on peut en profiter pour passer une chaîne d'aide) :
En ce moment, on aimerait pouvoir afficher
_coverage, en float, entre 0 et 1, "Coverage of the representative"
seg._evalue, en float, en échelle log, "E-value (number of k-mers)"
***
ping
***
Revenu au goût du jour le mois dernier avec "productive".
"Axes" veut dire x, y, et aussi couleur.
***
@nobodyRyan HerbertRyan Herberthttps://gitlab.inria.fr/vidjil/vidjil/-/issues/2068Faire que la liste des clones et l'aligneur soient copiables en texte2021-04-01T18:56:52+02:00Mathieu GiraudFaire que la liste des clones et l'aligneur soient copiables en texteOn peut presque copier la liste des clones et faire un coller texte ailleurs, mais pour l'instant ce n'est pas très bien formaté.
On devrait pouvoir avoir des choses "compatible Fasta" du type :
`>IGHV3-7 1/7/10 D2-21 8//6 J4 [IGH] ...On peut presque copier la liste des clones et faire un coller texte ailleurs, mais pour l'instant ce n'est pas très bien formaté.
On devrait pouvoir avoir des choses "compatible Fasta" du type :
`>IGHV3-7 1/7/10 D2-21 8//6 J4 [IGH] 18.60%`
Ce serait particulièrement utile pour #2066, mais aussi en lien avec l'export.
Si on fait pareil dans le segmenteur, on pourrait avoir en plus la séquence (voire les annotations dans un certain format) ?
@tydax @mikael-s @RyanHerbmarc duezmarc duezhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/4719Récupérer un clone ou quelques clones en .json2021-03-31T14:52:45+02:00Mathieu GiraudRécupérer un clone ou quelques clones en .jsonSuggestion de @flothoni
En filtrant le `save` (mais on n'a pas de `save` sur tout le .vidjil ?) ?Suggestion de @flothoni
En filtrant le `save` (mais on n'a pas de `save` sur tout le .vidjil ?) ?https://gitlab.inria.fr/vidjil/vidjil/-/issues/4724Se souvenir du nombre de reads initial avant filtrage2021-03-17T15:46:46+01:00Mathieu GiraudSe souvenir du nombre de reads initial avant filtrageSuite à !906/!915, pourrait-on avoir un moyen de se souvenir combien il y avait de reads avant l'application d'un `--filter-reads`.
En fait on a ces infos dans le .vidjil du filtrage, mais bon, on ne l'a pas quand le résultat du filtre ...Suite à !906/!915, pourrait-on avoir un moyen de se souvenir combien il y avait de reads avant l'application d'un `--filter-reads`.
En fait on a ces infos dans le .vidjil du filtrage, mais bon, on ne l'a pas quand le résultat du filtre est juste le fasta... mettre un commentaire type `# Filtered: XXXX` au début du fasta ? (Voire d'autres choses). (Hum, ne serait plus compatible avec autre chose que vidjil...).
Me fait penser aussi à !691 (mais là ce n'est pas le cas).https://gitlab.inria.fr/vidjil/vidjil/-/issues/4676vidjil-format.md : mieux tester / linter / verrouiller2021-02-03T19:43:49+01:00Mathieu Giraudvidjil-format.md : mieux tester / linter / verrouiller`vidjil-format.md` est déjà partiellement testé, via `org-babel-tangle`
Au passage, le format s'appelle `2016b`... mais qu'est-ce que cela signifie ? On a rajouté des champs au fur et à mesure, et je ne suis pas sûr qu'un truc de 2016 pa...`vidjil-format.md` est déjà partiellement testé, via `org-babel-tangle`
Au passage, le format s'appelle `2016b`... mais qu'est-ce que cela signifie ? On a rajouté des champs au fur et à mesure, et je ne suis pas sûr qu'un truc de 2016 passe encore.
Quelques réflexions en vrac:
- rajouter un tangle+test sur le gros bloc `clones` list
- faire un "linter" de fichier `.vidjil` ? Qui lève des warnings si un champ est inconnu ?
- quand cela est fait, ce sera plus simple de donner un nouveau "nom de format" ?
(voir aussi #4570)https://gitlab.inria.fr/vidjil/vidjil/-/issues/4570Documenter comment travailler sur un format .vidjil2021-02-03T18:52:47+01:00Mathieu GiraudDocumenter comment travailler sur un format .vidjilIl serait intéressant d'encourager les bioinformaticiens à utiliser le format vidjil, plus riche que des exports comme l'export CSV du ~client.
Dans `doc/vidjil-format`, rajouter un script python simple d'exemple pour itérer sur des cl...Il serait intéressant d'encourager les bioinformaticiens à utiliser le format vidjil, plus riche que des exports comme l'export CSV du ~client.
Dans `doc/vidjil-format`, rajouter un script python simple d'exemple pour itérer sur des clones d'un .vijdil multi-sample.
Voir également, côté API, #4207 et #1589.Mathieu GiraudMathieu Giraudhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/3591AIRR pour la plateforme web2021-01-15T09:19:20+01:00Mathieu GiraudAIRR pour la plateforme webPrend la suite de #3457.
Conversion/entrée via fuse.py #3673, natif depuis le .js #3967 ?
cc @flothoniPrend la suite de #3457.
Conversion/entrée via fuse.py #3673, natif depuis le .js #3967 ?
cc @flothonihttps://gitlab.inria.fr/vidjil/vidjil/-/issues/2049Features à l'extérieur d'une séquence2020-10-14T11:29:53+02:00Mikaël SalsonFeatures à l'extérieur d'une séquenceSi une feature se trouve en dehors de notre séquence, on peut vouloir le préciser malgré tout. Cela signifie que les positions pourront être négatives ou supérieures à la longueur de la séquence. C'est une amélioration de ce qui sera réa...Si une feature se trouve en dehors de notre séquence, on peut vouloir le préciser malgré tout. Cela signifie que les positions pourront être négatives ou supérieures à la longueur de la séquence. C'est une amélioration de ce qui sera réalisé dans #2043.
Il ne faut pas non plus que ça fasse planter le segmenteur.
@flothoni @magiraudhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/4452Sample metadata: How could we specify in a .vidjil file that a sample is a di...2020-08-05T15:10:21+02:00Mathieu GiraudSample metadata: How could we specify in a .vidjil file that a sample is a diagnosis sample?Or that it has other tags/properties ?
@flothoni : "see also !654"Or that it has other tags/properties ?
@flothoni : "see also !654"https://gitlab.inria.fr/vidjil/vidjil/-/issues/4317Faire évoluer vidjil_format ?2020-06-11T22:18:16+02:00Mathieu GiraudFaire évoluer vidjil_format ?
Actuellement `vidjil_format_version` est toujours `2016b`. Est-on vraiment compatible avec les champs que l'on sortait il y a quatre ans ?
On a ajouté des choses (normalisations, distributions, ...), comme on n'a rien cassé est-ce norm...
Actuellement `vidjil_format_version` est toujours `2016b`. Est-on vraiment compatible avec les champs que l'on sortait il y a quatre ans ?
On a ajouté des choses (normalisations, distributions, ...), comme on n'a rien cassé est-ce normal qu'on n'ait pas changé le numéro de version ? Mais... si quelqu'un avait fait un script qui parsait tout `2016b` il y a quatre ans, désormais il ne parserait pas tout...
Rien de pressé, mais y-a-t-il des choses à faire évoluer ? #4316
Enfin notre ~doc là-dessus est peut-être moins complète que sur d'autres points. Rajouter des `tangle` ?
cc @flothonihttps://gitlab.inria.fr/vidjil/vidjil/-/issues/4316evalue D et autres dans .vidjil2020-06-03T19:51:25+02:00Mathieu Giraudevalue D et autres dans .vidjilAcutellement, on a `seg.evalue_{left,right}`.
1) Renomme-t-on cela en `seg.{5,3}.evalue` ? C'est un breaking change du format.
2) Ajoute-t-on un `seg.4.evalue` ? C'est un champ de AIRR #3569, pour l'instant on ne le sort pas. D'autant ...Acutellement, on a `seg.evalue_{left,right}`.
1) Renomme-t-on cela en `seg.{5,3}.evalue` ? C'est un breaking change du format.
2) Ajoute-t-on un `seg.4.evalue` ? C'est un champ de AIRR #3569, pour l'instant on ne le sort pas. D'autant que la e-valeur sur D peut-être informative #2002https://gitlab.inria.fr/vidjil/vidjil/-/issues/1841VidjilFieldExtractor, extract : autres infos, FR1234/CDR1232020-05-28T13:08:28+02:00Vidjil TeamVidjilFieldExtractor, extract : autres infos, FR1234/CDR123https://mixcr.readthedocs.org/en/latest/export.html#default-anchor-point-positions
On devrait aussi récupérer FR1, CDR1, FR2, CDR2, FR3, CDR3, FR4, à chaque fois avec start et stop.
***
@RyanHerbhttps://mixcr.readthedocs.org/en/latest/export.html#default-anchor-point-positions
On devrait aussi récupérer FR1, CDR1, FR2, CDR2, FR3, CDR3, FR4, à chaque fois avec start et stop.
***
@RyanHerbhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1773clones : null si pas de clones2020-02-03T16:25:09+01:00Vidjil Teamclones : null si pas de clonesVoir "Problème avec fuse ? Nombreux fuse failed"
Le C++ ne devrait pas sortir "null" de toute façon.
Mais bon, maintenant ce n'est plus urgent.
***
@magiraudVoir "Problème avec fuse ? Nombreux fuse failed"
Le C++ ne devrait pas sortir "null" de toute façon.
Mais bon, maintenant ce n'est plus urgent.
***
@magiraud