vidjil issueshttps://gitlab.inria.fr/vidjil/vidjil/-/issues2020-07-30T20:49:08+02:00https://gitlab.inria.fr/vidjil/vidjil/-/issues/3795Pertinence du format .vdj.fa et documentation2020-07-30T20:49:08+02:00Mathieu GiraudPertinence du format .vdj.fa et documentationLa ~doc du ~cpp a une grande partie, plutôt historique, sur `.vdj`. (Elle est certes après celle sur AIRR... mais par contre le `.vidjil` n'est pas décrit dans cette doc.)
Est-ce que ces infos sur `.vdj` sont toujours à jour ? Je doute ...La ~doc du ~cpp a une grande partie, plutôt historique, sur `.vdj`. (Elle est certes après celle sur AIRR... mais par contre le `.vidjil` n'est pas décrit dans cette doc.)
Est-ce que ces infos sur `.vdj` sont toujours à jour ? Je doute de leur pertinence vu, d'un côté, le `.vidjil`, et, de l'autre, le AIRR. Nous n'avons maintenant pas vraiment envie que des bioinfos construisent des pipelines en s'appuyant dessus, non ?
Supprimer cela ? Le réduire fortement ?Algo 2020.08https://gitlab.inria.fr/vidjil/vidjil/-/issues/3785Combo -FaW obsolète2019-03-12T14:08:29+01:00Mathieu GiraudCombo -FaW obsolèteC'est une conséquence malheureuse de !434 (peut-être la plus pénible sur l'ensemble des tests changés): la combo `-FaW` devient `--out-reads --label-filter --label`... c'est lourd (et même si on mettait `--filter` au lieu de `--label-fil...C'est une conséquence malheureuse de !434 (peut-être la plus pénible sur l'ensemble des tests changés): la combo `-FaW` devient `--out-reads --label-filter --label`... c'est lourd (et même si on mettait `--filter` au lieu de `--label-filter`).
Voir #3305, et la combo est aussi mentionnée ou utilisée dans `vidjil-algo.md` et dans `task.py` pour #1469.
On pourrait faire aussi un raccourci pour ces trois options, mais je ne suis pas sûr que cela aide à la compréhension de l'ensemble. Bref tant pis ?Algo 2018.12https://gitlab.inria.fr/vidjil/vidjil/-/issues/3778Déploiement 2019.03, -c designations et options names2019-03-15T20:00:51+01:00Mathieu GiraudDéploiement 2019.03, -c designations et options namesAprès !429 et #3766
- [ ] synchroniser le déploiement du ~server et de ~"app\-analyze" recompilé (d'ailleurs, quelle est la version actuelle de ~"app\-analyze" ? #3776).
- [x] vérifier si des ~"server\-config" ne sont pas à mettre égalem...Après !429 et #3766
- [ ] synchroniser le déploiement du ~server et de ~"app\-analyze" recompilé (d'ailleurs, quelle est la version actuelle de ~"app\-analyze" ? #3776).
- [x] vérifier si des ~"server\-config" ne sont pas à mettre également à jourhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/3774Les tests fonctionnels client ne plantent pas lorsqu'un test échoue2020-06-18T18:20:51+02:00Mikaël SalsonLes tests fonctionnels client ne plantent pas lorsqu'un test échoueJ'ai [fait un test ici](https://gitlab.inria.fr/vidjil/vidjil/-/jobs/274544).
Le job passe alors que des tests ont échoué.J'ai [fait un test ici](https://gitlab.inria.fr/vidjil/vidjil/-/jobs/274544).
Le job passe alors que des tests ont échoué.https://gitlab.inria.fr/vidjil/vidjil/-/issues/3773Aho et stanford-no-cd.should-get2019-03-05T15:52:43+01:00Mathieu GiraudAho et stanford-no-cd.should-getSuite à !78 (ping #2900).Suite à !78 (ping #2900).https://gitlab.inria.fr/vidjil/vidjil/-/issues/3772-c designations2019-03-06T11:44:04+01:00Mathieu Giraud-c designations```
-c COMMAND command
clones locus detection, window extraction, clone clustering (default command, most efficient, all outputs)
windows locus detection, window extraction
segment ...```
-c COMMAND command
clones locus detection, window extraction, clone clustering (default command, most efficient, all outputs)
windows locus detection, window extraction
segment detailed V(D)J designation (not recommended)
germlines statistics on k-mers in different germlines
```
Remplace-t-on `segment` par ce qui suit ?
```
designate detailed V(D)J designation, without prior clustering (not as efficient)
```
Et l'avertissement :
```
* WARNING: vidjil-algo was run with '-c segment' option
* vidjil-algo efficientl extracts windows overlapping the CDR3
* to cluster reads into clones ('-c clones').
* Computing accurate V(D)J designations for many sequences ('-c segment' or large '-z' values)
* is slow and should be done only on small datasets or for testing purposes.
* More information is provided in the 'doc/vidjil-algo.md' file.
```
Avant-dernière ligne, à la place :
```
* is not as efficient as the default '-c clones' command
```
Et on enlève "should be done only on small datasets or for testing purposes" ?
Voir aussi #3295.Algo 2018.12https://gitlab.inria.fr/vidjil/vidjil/-/issues/3770Documenter les besoins mémoire de vidjil-algo2024-02-05T15:37:43+01:00Mathieu GiraudDocumenter les besoins mémoire de vidjil-algoDepuis https://gitlab.inria.fr/vidjil/vidjil/issues/3652#note_179079.
Ajouter les CD, du même ordre de grandeur que les IGHV (100 kbp), pourrait mettre à plat certaines machines sur ~"dev\-ci"... alors que le même job s'éxécute en 2 sec...Depuis https://gitlab.inria.fr/vidjil/vidjil/issues/3652#note_179079.
Ajouter les CD, du même ordre de grandeur que les IGHV (100 kbp), pourrait mettre à plat certaines machines sur ~"dev\-ci"... alors que le même job s'éxécute en 2 secondes sur un portable. Est-ce parce que les CD ont une structure particulière (beaucoup plus de k-mers que les IGH dans leur ensemble, donc plus de ~"cpp\-mem") ? Il suffit qu'on passe au-dessus d'une limite et on swappe.
Indépendamment des CD, cela pose la question de l'efficacité et de ce qu'on conseille comme machines.
`server.md` indique :
> vidjil-algo typically uses approx. 1.2GB of RAM to run on a 1GB `.fastq` and will take approx. 5+ minutes.
> Therefore in order to process requests from a single user with a few samples,
> any standard multi-core processor with 2GB RAM will be enough.
Est-ce à mettre à jour après !78 ? Ces infos devraient être aussi dans `vidjil-algo.md`.
Enfin, si on conseille 2GB de RAM et si nos slaves ont 1GB de RAM, c'est tout à notre honneur, on teste dans des conditions plus difficiles... mais est-ce que ~"tests\-speed" serait amélioré avec des slaves qui auraient tous 2GB ?https://gitlab.inria.fr/vidjil/vidjil/-/issues/3768Mettre Jenkins sur une autre branche que dev ?2020-08-27T11:33:12+02:00Mathieu GiraudMettre Jenkins sur une autre branche que dev ?Ce serait parfois souhaitable de tester des choses pour Jenkins ailleurs que sur `dev`. #3652
Pourrait-on lancer Jenkins sur une autre branche ? (Quitte à le lancer deux fois ?)
Ping #2900.Ce serait parfois souhaitable de tester des choses pour Jenkins ailleurs que sur `dev`. #3652
Pourrait-on lancer Jenkins sur une autre branche ? (Quitte à le lancer deux fois ?)
Ping #2900.https://gitlab.inria.fr/vidjil/vidjil/-/issues/3767CloneDB : mise à jour sur vdb et lil2022-01-07T16:36:57+01:00Mathieu GiraudCloneDB : mise à jour sur vdb et lilPar crontab ou autre.
A priori moins de 24h.Par crontab ou autre.
A priori moins de 24h.2019-04-05https://gitlab.inria.fr/vidjil/vidjil/-/issues/3762Retirer VIDJIL_DEFAULT_OPTIONS2019-04-26T15:59:14+02:00Mathieu GiraudRetirer VIDJIL_DEFAULT_OPTIONS@mikael\-s : "introduit par 99f9172, pas sûr qu'on s'en serve souvent"
On aurait pu s'en servir pour !412.
Bref, deux solutions pour passer des arguments à `vidjil-algo`:
- `should.py --extra=...` (mais demande un `EXTRA` à la bonne p...@mikael\-s : "introduit par 99f9172, pas sûr qu'on s'en serve souvent"
On aurait pu s'en servir pour !412.
Bref, deux solutions pour passer des arguments à `vidjil-algo`:
- `should.py --extra=...` (mais demande un `EXTRA` à la bonne place quand ce n'est pas la première + une gestion des 8 cas non vidjil-algo 91053f4c... qui pourraient être dans un autre répertoire)
Peut être pris en charge par )
- `should.py --var VIDJIL_DEFAULT_OPTIONS=...` (et demande un `VIDJIL_DEFAULT_OPTIONS` à la bonne place partout, comme actuellement)
Modifie-t-on !412 pour la deuxième solution, ou prend-on la première solution et efface-t-on `VIDJIL_DEFAULT_OPTIONS` partout ? On pourrait dans ce cas renommer `EXTRA` en quelque chose de plus explicite, `EXTRA_OPTIONS` ou même `DEFAULT_OPTIONS` ?Mathieu GiraudMathieu Giraudhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/3751Mettre à jour web2py2021-12-17T11:10:57+01:00Mikaël SalsonMettre à jour web2pyIci : https://gitlab.inria.fr/vidjil/vidjil/-/jobs/270146 (branche tirée de `dev`).
Alors qu'ils passaient il y a 3 jours sur `dev`, sur le même commit : https://gitlab.inria.fr/vidjil/vidjil/-/jobs/267019
Une modification dans web2py ?Ici : https://gitlab.inria.fr/vidjil/vidjil/-/jobs/270146 (branche tirée de `dev`).
Alors qu'ils passaient il y a 3 jours sur `dev`, sur le même commit : https://gitlab.inria.fr/vidjil/vidjil/-/jobs/267019
Une modification dans web2py ?https://gitlab.inria.fr/vidjil/vidjil/-/issues/3740Identifier quel est le test should-vdj loupé au milieu d'un lancement groupé2022-02-16T16:22:00+01:00Mathieu GiraudIdentifier quel est le test should-vdj loupé au milieu d'un lancement groupéAvec !413, lorsqu'un test loupe, on ne sait pas d'où il vient. On peut faire des `grep` mais c'est peu pratique.
Avec e6f187f79, on peut ramener cette info si elle est présente.
Serait-ce possible, avec `awk` d'ajouter quelque chose ty...Avec !413, lorsqu'un test loupe, on ne sait pas d'où il vient. On peut faire des `grep` mais c'est peu pratique.
Avec e6f187f79, on peut ramener cette info si elle est présente.
Serait-ce possible, avec `awk` d'ajouter quelque chose type ` @0443-lil-TRA+D.should-vdj.fa` à la fin de chaque ligne de header ?https://gitlab.inria.fr/vidjil/vidjil/-/issues/3729Libération de la mémoire à la fin de Aho2019-03-04T15:52:18+01:00Mathieu GiraudLibération de la mémoire à la fin de AhoActuellement, on a 5-10 secondes pour libérer la mémoire à la fin de `vidjil-algo`.
Pourrait-on ne pas le faire et faire que la mémoire se libère toute seule d'un coup ?
Dans ce cas, y aurait-il une directive pour que Valgrind ignore un...Actuellement, on a 5-10 secondes pour libérer la mémoire à la fin de `vidjil-algo`.
Pourrait-on ne pas le faire et faire que la mémoire se libère toute seule d'un coup ?
Dans ce cas, y aurait-il une directive pour que Valgrind ignore uniquement l'objet en question ?https://gitlab.inria.fr/vidjil/vidjil/-/issues/3728"Unknown nucleotide" dans les tests should-vdj2019-02-12T22:22:36+01:00Mathieu Giraud"Unknown nucleotide" dans les tests should-vdjJ'ai plusieurs `Unknown nucleotide : '#'` par `make shouldvdj_with_rc_merged`. Probablement des retours à la ligne inexistants entre plusieurs fichiersJ'ai plusieurs `Unknown nucleotide : '#'` par `make shouldvdj_with_rc_merged`. Probablement des retours à la ligne inexistants entre plusieurs fichiershttps://gitlab.inria.fr/vidjil/vidjil/-/issues/3719Tutoriel : ajouter les choses spécifiques à la CLL2019-03-15T09:33:34+01:00Mikaël SalsonTutoriel : ajouter les choses spécifiques à la CLLOn a des fonctionnalités plus spécifiques à la CLL, elles devraient apparaître dans le tutoriel. Voire avoir une partie plus LAL et une partie plus CLL ?On a des fonctionnalités plus spécifiques à la CLL, elles devraient apparaître dans le tutoriel. Voire avoir une partie plus LAL et une partie plus CLL ?https://gitlab.inria.fr/vidjil/vidjil/-/issues/3715CloneDB : afficher le nombre d'échantillons total2019-11-21T17:22:35+01:00Mikaël SalsonCloneDB : afficher le nombre d'échantillons totalAvoir une liste c'est bien, mais quand elle est longue, on aimerait bien savoir combien d'échantillons sont concernés.
Cela pourrait être pertinent d'avoir un axe sur le nombre d'échantillons également (et posera moins de problème que #3...Avoir une liste c'est bien, mais quand elle est longue, on aimerait bien savoir combien d'échantillons sont concernés.
Cela pourrait être pertinent d'avoir un axe sur le nombre d'échantillons également (et posera moins de problème que #3504).https://gitlab.inria.fr/vidjil/vidjil/-/issues/3714Pouvoir supprimer les primers des séquences2021-11-22T13:49:42+01:00Thonier FlorianPouvoir supprimer les primers des séquencesEn lien plsu ou moins direct avec #1253, #2820 et #3152.
~"REN\-Rennes" me demande si il est possible de supprimer des séquences les portions correspondantes aux primers. La présence des primers fausse les observations d'homologie.
Pour...En lien plsu ou moins direct avec #1253, #2820 et #3152.
~"REN\-Rennes" me demande si il est possible de supprimer des séquences les portions correspondantes aux primers. La présence des primers fausse les observations d'homologie.
Pour ce faire , il faudrait déjà avoir accès aux primers. Pour le moment, les nouveaux primers ne sont pas publiques. On ne peux en théorie pas les inclure en dur dnas le code.
il faut donc imaginer un moyen de charger un fichier de primer non ?
Cela doit-il passer par le cpp ou bien uniquement par le serveur, en live sur les données ?
@magiraud et @mikael\-shttps://gitlab.inria.fr/vidjil/vidjil/-/issues/3706Versionnage des versions de compilateurs utilisés dans l'algo2020-06-19T21:38:54+02:00Mathieu GiraudVersionnage des versions de compilateurs utilisés dans l'algoActuellement, on a un `for CXX in $COMPILERS`
Même motivation que dans #3701 : avoir un moyen d'exposer publiquement / de tracer les versions des compilateurs testés et "officiellement supportés". Voir cependant https://gitlab.inria.fr/...Actuellement, on a un `for CXX in $COMPILERS`
Même motivation que dans #3701 : avoir un moyen d'exposer publiquement / de tracer les versions des compilateurs testés et "officiellement supportés". Voir cependant https://gitlab.inria.fr/vidjil/vidjil/merge_requests/400#note_172876 : un développeur doit pouvoir facilement mettre ce qu'il veut pour faire des tests sur sa machine.
- la liste en dur dans `.gitlab-ci.yml` ?
- un fichier `tested-compilers` ?
- un mix des deux: si `$COMPILERS` est défini, écrase (ou complémente) `tested-compilers` ?https://gitlab.inria.fr/vidjil/vidjil/-/issues/3702Plus rien n'apparaît dans la liste2019-03-25T13:11:51+01:00Mathieu GiraudPlus rien n'apparaît dans la listecc @flothonicc @flothonihttps://gitlab.inria.fr/vidjil/vidjil/-/issues/3701FUNCTIONAL_CLIENT_BROWSER_PATH et navigateurs officiellement supportés2019-03-05T18:24:39+01:00Mathieu GiraudFUNCTIONAL_CLIENT_BROWSER_PATH et navigateurs officiellement supportésDepuis #3695 :
> `$FUNCTIONAL_CLIENT_BROWSER_PATH` est-il identique pour tous les slaves ?
Oui, c'est une variable d'environnement de ~"dev\-ci", actuellement `/home/gitlab-runner/firefox/v45/firefox` et `/home/gitlab-runner/firefox/v3...Depuis #3695 :
> `$FUNCTIONAL_CLIENT_BROWSER_PATH` est-il identique pour tous les slaves ?
Oui, c'est une variable d'environnement de ~"dev\-ci", actuellement `/home/gitlab-runner/firefox/v45/firefox` et `/home/gitlab-runner/firefox/v32/firefox`.
Mais, contrairement aux autres variables d'environnement, celle-ci dit quelque chose de très fort sur notre code, à savoir quels navigateurs sont testés. Une information si forte devrait être versionnée, en lien avec les décisions de #1077.
Proposition: avoir un fichier versionné quelque part avec:
```
firefox/v45/firefox
firefox/v32/firefox
```
et ne garder que `/home/gitlab-runner/` dans `$FUNCTIONAL_CLIENT_BROWSER_PATH`Mathieu GiraudMathieu Giraud