vidjil issueshttps://gitlab.inria.fr/vidjil/vidjil/-/issues2024-02-01T06:04:02+01:00https://gitlab.inria.fr/vidjil/vidjil/-/issues/5129Provide information when marked_pos (CDR3) is not found2024-02-01T06:04:02+01:00Mikaël SalsonProvide information when marked_pos (CDR3) is not foundIt may happen that we don't find the CDR3 because there are too many deletions either in the V or the J genes that go beyond the marked_pos.
In such a case the CDR3 will not be found and no reason will be provided for that.
More generall...It may happen that we don't find the CDR3 because there are too many deletions either in the V or the J genes that go beyond the marked_pos.
In such a case the CDR3 will not be found and no reason will be provided for that.
More generally if the marked_pos is not set in the germline, the user doesn't have that information. The user can only see that no CDR3 was found with no reason given for that (which is not the case for productivity).
We should give some information about it.
Here is an example where the marked_pos is deleted (appears in position 277/290 of the V gene but we have 16 deletions in the V).
```
GCTGTCATCTCTCAAAAGCCAAGCAGGGATATCTGTCAACGTGGAACCTCCCTGACGATCCAGTGTCAAGTCGATAGCCAAGTCACCATGATGTTCTGGTACCGTCAGCAACCTGGACAGAGCCTGACACTGATCGCAACTGCAAATCAGGGCTCTGAGGCCACATATGAGAGTGGATTTGTCATTGACAAGTTTCCCATCAGCCGCCCAAACCTAACATTCTCAACTCTGACTGTGAGCAACATGAGCCCTGAAGACAGCAGCATAAATCCCCTTGGGGGTCCCTATAATTCACCCCTCCACTTTGGGAACGGGACCAGGCTCACTGTGACAGGTATGGGGGCTCCACTCTTGACTCGGGGGTGCCTGGGTTTGACTG
```Algo 2024.04https://gitlab.inria.fr/vidjil/vidjil/-/issues/4985Mettre à jour vidjil-alpha2024-02-01T06:07:44+01:00Mathieu GiraudMettre à jour vidjil-alphavidjil-alpha est notre solution pour le [pre-filtering](https://www.vidjil.org/doc/workflow/#pre-filtering-of-large-datasets), et on l'a maintenant releasé il y a plus d'un an, avec deux releases depuis de vijdil-algo.
J'ai vérifié dans...vidjil-alpha est notre solution pour le [pre-filtering](https://www.vidjil.org/doc/workflow/#pre-filtering-of-large-datasets), et on l'a maintenant releasé il y a plus d'un an, avec deux releases depuis de vijdil-algo.
J'ai vérifié dans le CHANGELOG, pour l'instant rien de critique n'a été mis depuis, mais bon, il y a eu du refactor (des germlines), d'autres sont à venir (!1129), bref cela vaudrait probablement le coup de ne pas trop diverger.
Rebaser ou remerger la bonne MR (c'est d'ailleurs !410 ou !881 ?) et republier un vidjil-alpha à jour ?
cc @mikael-sAlgo 2024.04https://gitlab.inria.fr/vidjil/vidjil/-/issues/5237Don't take into account upstream or downstream regions for the start/end posi...2024-02-02T09:52:32+01:00Mikaël SalsonDon't take into account upstream or downstream regions for the start/end positions of the geneWe use upstream of downstream sequences to improve the sensitivity for small genes, however they are added to the reference as a normal sequence. They should be differentiated in order to provide the correct start/end positions of the ge...We use upstream of downstream sequences to improve the sensitivity for small genes, however they are added to the reference as a normal sequence. They should be differentiated in order to provide the correct start/end positions of the gene (that don't have to take into account upstream or downstream sequence).
See an example of such an issue here #5235Algo 2024.04https://gitlab.inria.fr/vidjil/vidjil/-/issues/4678Reproductibilité valgrind_functional / gzip2024-02-06T07:47:44+01:00Mathieu GiraudReproductibilité valgrind_functional / gzip
Voir https://gitlab.inria.fr/vidjil/vidjil/-/merge_requests/884#note_460619
Actuellement on a `allow_failure: true` pour #4460, mais à terme ce serait bien de ne plus l'avoir
Comprendre ce qui loupe. Éventuellement récupérer cela avec...
Voir https://gitlab.inria.fr/vidjil/vidjil/-/merge_requests/884#note_460619
Actuellement on a `allow_failure: true` pour #4460, mais à terme ce serait bien de ne plus l'avoir
Comprendre ce qui loupe. Éventuellement récupérer cela avec should pour qu'un test du par exemple à un timeout soit simplement marqué `skip` et qu'on puisse se focaliser sur les vrais problèmes décelés par `valgrind`.Algo 2022.04https://gitlab.inria.fr/vidjil/vidjil/-/issues/4731Mettre à jour (encore) les germlines2024-02-06T08:21:58+01:00Mathieu GiraudMettre à jour (encore) les germlinesAprès !885, on pourra tenter de reprendre la dernière germline (sur !885, c'est 2021-01-25). Peu de [modifications](http://www.imgt.org/IMGTgenedbdoc/dataupdates.html) sur Homo Sapiens, mais autant être à jour, actuellement on est chaud ...Après !885, on pourra tenter de reprendre la dernière germline (sur !885, c'est 2021-01-25). Peu de [modifications](http://www.imgt.org/IMGTgenedbdoc/dataupdates.html) sur Homo Sapiens, mais autant être à jour, actuellement on est chaud sur les modifications que cela peut impliquer (mais je ne le fais pas maintenant sur !885 car cela peut remettre le bazar partout).
Cela se fera probablement en même temps/après !478 et cochonAlgo 2024.04https://gitlab.inria.fr/vidjil/vidjil/-/issues/5242VDJaffine avec gaps multiples de 32024-02-06T09:51:29+01:00Mathieu GiraudVDJaffine avec gaps multiples de 3
C'est probablement pertinent de favoriser les indels multiples de 3.
Implémentable par trois matrices de gap_extension au lieu d'une, je ne sais pas s'il y a un truc pour faire plus simple.
Bien après #2768.
C'est probablement pertinent de favoriser les indels multiples de 3.
Implémentable par trois matrices de gap_extension au lieu d'une, je ne sais pas s'il y a un truc pour faire plus simple.
Bien après #2768.https://gitlab.inria.fr/vidjil/vidjil/-/issues/5241Avoir une gestion plus fine/rigoureuse du succès/échec des should-vdj2024-02-06T09:56:14+01:00Mathieu GiraudAvoir une gestion plus fine/rigoureuse du succès/échec des should-vdj
Actuellement, on ne vérifie que le nombre de failed.
Ce n'est pas génial, si on a un +1/-1 qui s'équilibrent.
À voir comment on utilise les BUG/TODO: on a probablement quasiment déjà le mécanisme pour écrire en dur que certains tests n...
Actuellement, on ne vérifie que le nombre de failed.
Ce n'est pas génial, si on a un +1/-1 qui s'équilibrent.
À voir comment on utilise les BUG/TODO: on a probablement quasiment déjà le mécanisme pour écrire en dur que certains tests ne passent pas, pour pouvoir suivre tout changement de comportement.Algo 2022.04https://gitlab.inria.fr/vidjil/vidjil/-/issues/5243Speed up users page2024-02-06T12:01:30+01:00CHESNIN ClementSpeed up users pagePour le moment, l'ouverture de la page users sur app met 30s...
Quelques idées :
- voir si on peut optimiser les requêtes sb
- paginer la réponse (cf ce qu'on a fait pour les sample_sets)
- avoir un chargement dynamique des infos sur les...Pour le moment, l'ouverture de la page users sur app met 30s...
Quelques idées :
- voir si on peut optimiser les requêtes sb
- paginer la réponse (cf ce qu'on a fait pour les sample_sets)
- avoir un chargement dynamique des infos sur les users
- ...Web 2024.04https://gitlab.inria.fr/vidjil/vidjil/-/issues/5224Avoir un codemeta.json + dépôt sur HAL2024-02-06T12:37:24+01:00Mathieu GiraudAvoir un codemeta.json + dépôt sur HAL
https://www.softwareheritage.org/faq/#54_What_is_the_codemetajson_file_why_should_I_use_it
https://codemeta.github.io/
> > - [ ] mis un codemeta.json en utilsant https://codemeta.github.io/codemeta-generator/
> > - [x] vérifié/ajouté ...
https://www.softwareheritage.org/faq/#54_What_is_the_codemetajson_file_why_should_I_use_it
https://codemeta.github.io/
> > - [ ] mis un codemeta.json en utilsant https://codemeta.github.io/codemeta-generator/
> > - [x] vérifié/ajouté AUTHORS, LICENSE, README en suivant https://doc.archives-ouvertes.fr/deposer/deposer-le-code-source/
> > - [ ] sur SWH, demandé "save again" pour qu'il rafraichisse (c'est fait en quelques minutes)
> > - [ ] puis sur HAL, import à partir d'un identifiant SWH (pas de .zip)... et, magie, plusieurs champs de HALhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/5246Code formatting2024-02-06T16:22:11+01:00CHESNIN ClementCode formattingPour avoir un code plus homogène / faciliter la lecture, beaucoup de projets utilisent des formatters de code. Pour le moment, ce n'est pas le cas dans vidjil. La problématique de ce genre de discussion est que c'est un peu une question ...Pour avoir un code plus homogène / faciliter la lecture, beaucoup de projets utilisent des formatters de code. Pour le moment, ce n'est pas le cas dans vidjil. La problématique de ce genre de discussion est que c'est un peu une question de "religion" et que chacun·e peut avoir ses habitudes...
Côté python, on pourrait regarder du côté de [black](https://github.com/psf/black) + [isort](https://pycqa.github.io/isort/), [ruff](https://astral.sh/ruff), autopep8, ...
A coupler/réfléchir avec #5245 ? (cf par example ruff)https://gitlab.inria.fr/vidjil/vidjil/-/issues/2526Discordance de productivité2024-02-06T16:46:02+01:00Mathieu GiraudDiscordance de productivitéAurélie ~"LIL-Lille" (par mail, réévoqué ce matin en direct) :
> Le clone majoritaire (...) est dit non productif par Vidjil alors que IMGT et IgBlast disent qu’il est productif.
>
> http://app.vidjil.org/?sample_set_id=23871&config=3...Aurélie ~"LIL-Lille" (par mail, réévoqué ce matin en direct) :
> Le clone majoritaire (...) est dit non productif par Vidjil alors que IMGT et IgBlast disent qu’il est productif.
>
> http://app.vidjil.org/?sample_set_id=23871&config=35
>
> Let's look on the following clones:
> >IGHV3-7*01 1/GGAAGCCC/21 IGHJ6*01 338 nt, 607 958 reads (89.48%)
> AGGAGTCGGGGGGAGGCTTGGTCCAGGCCGGGGGGTCCCTGAGACTCTCATGCGTCGGCCACGGATTGAGTTTGAAGAAGGATTGGATGAGTTGGGTCCGCCAGGCTCCAGGGGAGGGGCTGGAGTGGGTGGCCTACATAAAGGAAGATGGAAATGGGAAACACTATGTGGACTCTGTGAAGGGCCGATTCATCATCTTCAGAGACGACGCCAAGAACTCACTATATCTGGAAATGAACAGCCTGAGAGTCGAGGACACGGCTATGTATTATTGTGTGAGA
>
> GGGAAGCC
> CTGGGCGTTTGGGGGCCAAGGGACATCGGTCACCGTCTCCTCAGGTAAG
cc @flothoniLille-LAL-nexthttps://gitlab.inria.fr/vidjil/vidjil/-/issues/4069Afficher les index de diversité en statistiques patient/run/set2024-02-06T16:58:36+01:00Mathieu GiraudAfficher les index de diversité en statistiques patient/run/setDemande de @Anne, initialement dans #4038 :
> Est-ce que ça serait possible d'avoir un bouton sur la page du run ou du set ? Qui donnerait cette valeur pour tous les patients du run/set. Ce serait super d'avoir un tableau récapitulatif ...Demande de @Anne, initialement dans #4038 :
> Est-ce que ça serait possible d'avoir un bouton sur la page du run ou du set ? Qui donnerait cette valeur pour tous les patients du run/set. Ce serait super d'avoir un tableau récapitulatif avec ces infos, ainsi que le % de reads appariés et le % de reads abalysés.
Voir #3171, #3496... toute la partie sur les ~"server-qc-stats" fait partie d'un point qui va être traité par @RyanHerb, entre janvier et mars 2020.Web 2024.04https://gitlab.inria.fr/vidjil/vidjil/-/issues/2768Gaps affines pour le FineSegmenter2024-02-06T17:27:21+01:00Mathieu GiraudGaps affines pour le FineSegmenter#1368 s'est conclu fin 2016 par :
> Les gaps affines ne sont pas utilisés pour le FineSegmenter (...). Mais on n'en veut pas nécessairement : le FineSegmenter fait déjà les gaps de délétion à la fin.
Cette justification me semble désor...#1368 s'est conclu fin 2016 par :
> Les gaps affines ne sont pas utilisés pour le FineSegmenter (...). Mais on n'en veut pas nécessairement : le FineSegmenter fait déjà les gaps de délétion à la fin.
Cette justification me semble désormais fumeuse. Si on a des gaps affines, on pourrait aussi s'en servir pour les délétions qui ne sont pas aux extrémités dans le FineSegmenteur. En particulier, on pourrait avoir des délétions de 3 nucléotides ou d'autres choses qui apparaissent.https://gitlab.inria.fr/vidjil/vidjil/-/issues/4299TOOL_SIMILARITY in fuse.py2024-02-07T14:18:39+01:00Mathieu GiraudTOOL_SIMILARITY in fuse.pyReported by a user:
> The python script tools/fuse.py seems to use a path that does not exist. The error is the following:
>
> `! failed: ../algo/tools/similarity`
>
> The cause is the following variable / the broken link in ../algo/too...Reported by a user:
> The python script tools/fuse.py seems to use a path that does not exist. The error is the following:
>
> `! failed: ../algo/tools/similarity`
>
> The cause is the following variable / the broken link in ../algo/tools -> ./tools/:
>
> `TOOL_SIMILARITY = "../algo/tools/similarity"`
>
> It works without the error massage when switching to the following line:
>
> `TOOL_SIMILARITY = "./similarity.cgi`
The `algo` path does not exist in releases (contrary to the git).
The error does not stop fuse.py, but we should perhaps remove that or put this under an option.
see #1990 #3019https://gitlab.inria.fr/vidjil/vidjil/-/issues/5197CI; gain some time by using some pre-updated image server/client2024-02-07T14:19:38+01:00THONIER FlorianCI; gain some time by using some pre-updated image server/clientI was thinking to a way to increase our time of CI.
Major part of the build time is taken by apt-get update & installation of third-party softwares as a base image before pull vidjil content.
We could probably split our Dockerfile as...I was thinking to a way to increase our time of CI.
Major part of the build time is taken by apt-get update & installation of third-party softwares as a base image before pull vidjil content.
We could probably split our Dockerfile as base/top image that we will be able to speed up build time.
Problem is that if we change content of dockerfile, we will have error. We could probably use branch name to take that into account.
* build a first image for that, push it as vidjil/vidjil-{client/server}:latest-base
* have a new branche type `docker` that will launch a job to build a new base image and propagate it to his derived CI jobs to ensure that everything work well
* Other branch will use default latest-base image
* When merge in dev, we could [detect a change in file](https://forum.gitlab.com/t/how-to-trigger-a-job-when-specific-files-have-changed-at-any-commit-in-the-branch/89945) to launch jobs to build latest-base images.
... Something like that I think...Dev-cihttps://gitlab.inria.fr/vidjil/vidjil/-/issues/5248Y aurait-il des doctests qui ne seraient pas lancés ?2024-02-07T14:34:21+01:00Mathieu GiraudY aurait-il des doctests qui ne seraient pas lancés ?cc @fthoniercc @fthonierhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/5247Utiliser FineSegmenter pour l'aligneur2024-02-07T14:35:08+01:00Mathieu GiraudUtiliser FineSegmenter pour l'aligneur
Suite de #1368
Après !218
Suite de #1368
Après !218https://gitlab.inria.fr/vidjil/vidjil/-/issues/5222Get rid of python2.7 for the algorithm and switch to Python32024-02-07T19:18:15+01:00Mikaël SalsonGet rid of python2.7 for the algorithm and switch to Python3This is becoming a limiting factor at least for the CI but probably for the distribution of Vidjil-algo (at least for the accompanying scripts).
Just specifying python2 everywhere is not enough: python2 cannot be installed easily anymore...This is becoming a limiting factor at least for the CI but probably for the distribution of Vidjil-algo (at least for the accompanying scripts).
Just specifying python2 everywhere is not enough: python2 cannot be installed easily anymore on recent distributions.
We need to convert:
* [ ] Scripts in `germline/` #5031 !1414
* [ ] fuse.py #4455 (!1221 ?)
* [ ] `should-vdj-to-tap.py` !1412
* [ ] `repseq_vdj.py` !1412
(and potentially others)Algo 2024.04https://gitlab.inria.fr/vidjil/vidjil/-/issues/5238Regex "ou" dans should-to-tap.py2024-02-07T19:18:15+01:00Mathieu GiraudRegex "ou" dans should-to-tap.pyDepuis !1412 et le passage en python3 :
```
python should-vdj-to-tap.py -v should-vdj-tests/0000-nck-TRD.should-vdj.fa
```
Le `TRDV1 (5/AC/0 TRDD2 3/CGTGT/0, 5/AC/0 TRDD2 5/TCCCGTGT/0, 5/14/0) TRDJ1*01` ne passe plus. La manière dont...Depuis !1412 et le passage en python3 :
```
python should-vdj-to-tap.py -v should-vdj-tests/0000-nck-TRD.should-vdj.fa
```
Le `TRDV1 (5/AC/0 TRDD2 3/CGTGT/0, 5/AC/0 TRDD2 5/TCCCGTGT/0, 5/14/0) TRDJ1*01` ne passe plus. La manière dont on construit les regex me semble obscure.
a0b75bf3e dans !1412 contourne cela en simplifiant le test, mais ce serait mieux de comprendre ce qu'il se passe et d'avoir un traitement robuste de ces regex, bref de refaire marcher cela en revertant a0b75bf3e.Algo 2024.04https://gitlab.inria.fr/vidjil/vidjil/-/issues/5255Add a direct download icon to config result on set page2024-02-13T12:48:37+01:00THONIER FlorianAdd a direct download icon to config result on set pageTo download result of fuse for a given configuration, add a down arrow to result button to easily download all conf results
![Screenshot_20240213_124613](/uploads/e3955fac8c275ad8c476f65a040a2fbe/Screenshot_20240213_124613.png)To download result of fuse for a given configuration, add a down arrow to result button to easily download all conf results
![Screenshot_20240213_124613](/uploads/e3955fac8c275ad8c476f65a040a2fbe/Screenshot_20240213_124613.png)Web 2024.04