vidjil issueshttps://gitlab.inria.fr/vidjil/vidjil/-/issues2021-04-08T16:32:58+02:00https://gitlab.inria.fr/vidjil/vidjil/-/issues/4584My Account/Usage: inclure les tags des sets ?2021-04-08T16:32:58+02:00Mathieu GiraudMy Account/Usage: inclure les tags des sets ?Ne bloque pas #4562
Pour l'instant la page affiche uniquement les tags des samples.
Cela peut convenir à certains usagers, mais pas à d'autres qui utilisent les tags sur des sets.Ne bloque pas #4562
Pour l'instant la page affiche uniquement les tags des samples.
Cela peut convenir à certains usagers, mais pas à d'autres qui utilisent les tags sur des sets.https://gitlab.inria.fr/vidjil/vidjil/-/issues/4620Sous-espèces et germlines (quasi-)dupliquées2021-04-08T16:09:54+02:00Mathieu GiraudSous-espèces et germlines (quasi-)dupliquéesVu à l'occasion de https://gitlab.inria.fr/vidjil/vidjil/-/merge_requests/839#note_428910:
> @mikael-s
> > Est-ce que ces différentes sous-espèces ont bien des noms de gènes différents ? Autrement dit est-ce que, par exemple, on ne va ...Vu à l'occasion de https://gitlab.inria.fr/vidjil/vidjil/-/merge_requests/839#note_428910:
> @mikael-s
> > Est-ce que ces différentes sous-espèces ont bien des noms de gènes différents ? Autrement dit est-ce que, par exemple, on ne va pas se retrouver avec deux IGHV1\*01 chez *Sus scrofa* ?
> @flothoni
> > On a pire que ça: on a plusieurs fois les mêmes entrées pour un même combo segment/allèle/sous-espèce.
> (...)
mais au final
> > On voit que le problème ne concerne donc que les fichiers des classes et pas les germlines directement. Cependant, les séquences ne sont pas les mêmes lorsqu'il y a des duplications...
Qu'en est-il pour Mus Musculus et les autres déjà présentes ?
Que faire s'il y a vraiment une ambiguïté ?https://gitlab.inria.fr/vidjil/vidjil/-/issues/4523Refonte de l'aligneur2021-04-08T08:39:05+02:00Mathieu GiraudRefonte de l'aligneur
@duez, nous discutons en ce moment d'une refonte globale de l'aligneur. J'imagine que tu as déjà regardé pas mal d'issues ~"client-aligner", je me permets ici de remettre une liste qui pourra éclairer notre réflexion.
- Inspirations: r...
@duez, nous discutons en ce moment d'une refonte globale de l'aligneur. J'imagine que tu as déjà regardé pas mal d'issues ~"client-aligner", je me permets ici de remettre une liste qui pourra éclairer notre réflexion.
- Inspirations: revoir les solutions existantes de #2137
- Fonctionalités
- highlights/infos sur séquence #2135 #4409 #3814 #2599 #3537 #2356 #1412 #4522 ou à l'extérieur #2049, y compris quantitatives #2313
- modes d'affichage de séquence #2140 #3164 (à fusionner avec point précédent ?)
- séquences annexes (#1408 #2354 #2355 #3731) ou virtuelles #3960
- colonnes d'info/métadonnées #2392 #3543 #2388 #2066
- contrôles #2664 #2136 #4522
- export #2068
- ajax (align, imgt...)
- Bugs (qui pourraient tomber d'eux-mêmes sur version nouvelle) #4144 #4235 #4062 #1982 #1565 #3835
- Désagréments/efficacité (idem) #4117 #4085 #2676 (je ne retrouve pas les expériences de Ryan, où sont-elles ?)
- Formats de données et modèle #2174, et ce qui est déjà dans [vidjil-format.md](http://www.vidjil.org/doc/vidjil-format/#clones-list-with-read-count-tags-vdj-designation-and-other-sequence-features)https://gitlab.inria.fr/vidjil/vidjil/-/issues/4085Améliorer l'efficacité de l'aligneur2021-04-08T08:31:50+02:00Mikaël SalsonAméliorer l'efficacité de l'aligneurLorsqu'on sélectionne beaucoup de clones, le segmenteur rame pour les ajouter.
@duez a des idées pour améliorer cela. L'idée serait de précharger toutes les séquences dans le segmenteur (le volume de données et la quantité de tags me fa...Lorsqu'on sélectionne beaucoup de clones, le segmenteur rame pour les ajouter.
@duez a des idées pour améliorer cela. L'idée serait de précharger toutes les séquences dans le segmenteur (le volume de données et la quantité de tags me fait un peu peur, mais Marc a l'air serein !) pour éviter d'avoir à ajouter (et supprimer) plein de choses à la volée.
Des tests à mener, déjà pour voir si une machine modeste tient bien le choc en insérant tout d'un coup.https://gitlab.inria.fr/vidjil/vidjil/-/issues/3835Demander plusieurs alignement successifs fait planter le segmenteur2021-04-08T08:30:43+02:00Mikaël SalsonDemander plusieurs alignement successifs fait planter le segmenteurÉvoqué par ~"LIL\-Lille".
Apparemment spammer un peu le bouton align peut faire planter le segmenteur qui le laisse alors dans un état grisé avec spinner. L'application est encore utilisable.
Pas réussi à reproduire.Évoqué par ~"LIL\-Lille".
Apparemment spammer un peu le bouton align peut faire planter le segmenteur qui le laisse alors dans un état grisé avec spinner. L'application est encore utilisable.
Pas réussi à reproduire.https://gitlab.inria.fr/vidjil/vidjil/-/issues/4409Afficher dans l'aligneur les résultats d'IMGT s'ils sont présents2021-04-08T08:28:24+02:00Mikaël SalsonAfficher dans l'aligneur les résultats d'IMGT s'ils sont présentsLorsqu'on récupère les résultats depuis IMGT et qu'on sauve une analyse, ceux-ci sont sauvegardés avec l'analyse.
Pourtant au rechargement de la page, les résultats d'IMGT n'apparaissent plus dans l'aligneur quand on sélectionne un clon...Lorsqu'on récupère les résultats depuis IMGT et qu'on sauve une analyse, ceux-ci sont sauvegardés avec l'analyse.
Pourtant au rechargement de la page, les résultats d'IMGT n'apparaissent plus dans l'aligneur quand on sélectionne un clone pour lequel on avait rappatrié les infos d'IMGT.
Exemple avec ce clone : http://app.vidjil.org/?set=3241&config=25&clone=1 (les infos d'IMGT sont bien présentes quand on ouvre la fenêtre d'info du clone).https://gitlab.inria.fr/vidjil/vidjil/-/issues/4631Follow-up from "Resolve "Avoir les données germline du cochon (Sus Scrofa)""2021-04-06T15:06:29+02:00Thonier FlorianFollow-up from "Resolve "Avoir les données germline du cochon (Sus Scrofa)""The following discussion from !839 should be addressed:
- [ ] @mikael-s started a [discussion](https://gitlab.inria.fr/vidjil/vidjil/-/merge_requests/839#note_428910): (+5 comments)
> Est-ce que ces différentes sous-espèces ont bien d...The following discussion from !839 should be addressed:
- [ ] @mikael-s started a [discussion](https://gitlab.inria.fr/vidjil/vidjil/-/merge_requests/839#note_428910): (+5 comments)
> Est-ce que ces différentes sous-espèces ont bien des noms de gènes différents ? Autrement dit est-ce que, par exemple, on ne va pas se retrouver avec deux IGHV1*01 chez *Sus scrofa* ?
```
IGHC=G1.fa:>M81770|IGHG1*02|Sus scrofa_Minnesota miniature swine|F|CH1|3..296|294 nt|1| | | | |294+72=366| | |
IGHC=G1.fa:>M81770|IGHG1*02|Sus scrofa_Minnesota miniature swine|F|H|297..332|36 nt|1| | | | |36+0=36| | |
IGHC=G1.fa:>M81770|IGHG1*02|Sus scrofa_Minnesota miniature swine|F|CH2|333..659|327 nt|1| | | | |327+51=378| | |
IGHC=G1.fa:>M81770|IGHG1*02|Sus scrofa_Minnesota miniature swine|F|CH3-CHS|660..986|327 nt|1| | | | |327+66=393| | |
```
>Ces 4 séquences correspondent en fait à une même séquence d'identifiant M81770 mais ce sont des régions différentes de la séquence (comme l'indiquent les positions : 3 à 296, puis 297 à 332 puis 333 à 659, et enfin 660 à 986). Bref il faudrait certainement clarifier cela, mais ça n'a pas l'air si grave qu'elles aient le même nom… puisque c'est la même séquence.https://gitlab.inria.fr/vidjil/vidjil/-/issues/996k-mers interdits, distance 12021-04-06T14:59:34+02:00Vidjil Teamk-mers interdits, distance 1Ping. Une des plus anciennes tâches ouvertes (2014).
***
@nobodyPing. Une des plus anciennes tâches ouvertes (2014).
***
@nobodyhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/4036Taille des .vidjil en -y all2021-04-06T11:17:00+02:00Mathieu GiraudTaille des .vidjil en -y allvdj#921
Sur LIL-L3-1 :
- .fastq.gz 330M
- .vidjil habituel, `-z 100`, 51M
- .vidjil `-y all`, **395M**
- .vidjil après ~"server-fuse", 200k
Pour 1 clone en `-y all` sans `-z`, il y a... `1.9 ko` dans le `.vidjil` ! En plus de `se...vdj#921
Sur LIL-L3-1 :
- .fastq.gz 330M
- .vidjil habituel, `-z 100`, 51M
- .vidjil `-y all`, **395M**
- .vidjil après ~"server-fuse", 200k
Pour 1 clone en `-y all` sans `-z`, il y a... `1.9 ko` dans le `.vidjil` ! En plus de `sequence`, on a `quality`, `affectSigns`, `affectValues`... Beaucoup pour quelque chose qui va juste être un +1 dans une distribution...
- Calculer certaines distributions dans ~cpp ? Faisable, mais pas très générique, et demande ensuite des changements dans ~"server-fuse" pour lire les distributions
- Limiter au maximum ces sorties (voir aussi #3911) ? Par exemple, au-delà du `-z`, ne mettre que l'`id` et la `sequence`. Relativement simple, devrait réduire déjà la taille d'un facteur 3-4.
- Ne rien faire, tant pis pour la place, de toute façon cela se compresse bien ?
- Ne rien faire, car de toute façon le but est un jour de faire `-z all`, et on aura encore plus de choses ? (voire AIRR pour tout ?)
```
{
"_average_read_length": [
377.0
],
"_coverage": [
1.0
],
"_coverage_info": [
"377 bp (100% of 377.0 bp)"
],
"germline": "IGH",
"id": "AAAAAGTGGGAACTACTTCGGGCGGCGCCCCACCTAGGCTACTGGGGGCC",
"reads": [
1
],
"seg": {
"affectSigns": {
"seq": "+++++++ + +++++++++++++++++++++++++++++++++++++ + + ++++++++++++++ +++ + +++++++++++++++++++++++ + ++++ + ++ + + +++++++++++++++++++++++ + ++++++++++++++++++++++++++++++++++++++++++++++++++++++++++ +++++++++++++++ ",
"start": 1,
"stop": 377
},
"affectValues": {
"seq": "HHHHHHH______H______HHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHH___H__H___HHHHHHHHHHHHHH?HHH______H____HHHHHHHHHHHHHHHHHHHHHHH_________H?HHHH________________H______HH______H_________________H______HHHHHHHHHHHHHHHHHHHHHHH______H______HHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHH_________________________________________________________________hhhhhhhhhhhhhhh_____________",
"start": 1,
"stop": 377
},
"evalue": {
"val": "2.012178e-46"
},
"evalue_left": {
"val": "0.000000e+00"
},
"evalue_right": {
"val": "2.012178e-46"
},
"quality": {
"seq": "!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!::::*:999+85883446878/--'-----'334933-36;665999+95!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!",
"start": 1,
"stop": 377
}
},
```
cc @flothoni @duezAlgo -- Importanthttps://gitlab.inria.fr/vidjil/vidjil/-/issues/4453Tester les index d'overlap dans algo-then-fuse.should (S22)2021-04-06T09:40:41+02:00Mathieu GiraudTester les index d'overlap dans algo-then-fuse.should (S22)depuis https://gitlab.inria.fr/vidjil/vidjil/-/merge_requests/465#note_369575 :
> à voir si ce serait l'occasion de modifier le test algo `algo-then-fuse.should`
>
> avec un truc type:
>
```
head -n 100 ../demo/Stanford_S22.fasta > ../...depuis https://gitlab.inria.fr/vidjil/vidjil/-/merge_requests/465#note_369575 :
> à voir si ce serait l'occasion de modifier le test algo `algo-then-fuse.should`
>
> avec un truc type:
>
```
head -n 100 ../demo/Stanford_S22.fasta > ../demo/Stanford_S22-begin.fasta
```
> @flothoni : "si c'est le cas, nouvelle branche" après !465
rien d'urgent !https://gitlab.inria.fr/vidjil/vidjil/-/issues/4747Internaliser un retry sur le NetTimeout du old-chrome2021-04-02T14:58:14+02:00Mathieu GiraudInternaliser un retry sur le NetTimeout du old-chromeVoir #4592.
Suggestion de @mikael-s
(comme on a internalisé le retry sur gpg #3610)Voir #4592.
Suggestion de @mikael-s
(comme on a internalisé le retry sur gpg #3610)https://gitlab.inria.fr/vidjil/vidjil/-/issues/2068Faire que la liste des clones et l'aligneur soient copiables en texte2021-04-01T18:56:52+02:00Mathieu GiraudFaire que la liste des clones et l'aligneur soient copiables en texteOn peut presque copier la liste des clones et faire un coller texte ailleurs, mais pour l'instant ce n'est pas très bien formaté.
On devrait pouvoir avoir des choses "compatible Fasta" du type :
`>IGHV3-7 1/7/10 D2-21 8//6 J4 [IGH] ...On peut presque copier la liste des clones et faire un coller texte ailleurs, mais pour l'instant ce n'est pas très bien formaté.
On devrait pouvoir avoir des choses "compatible Fasta" du type :
`>IGHV3-7 1/7/10 D2-21 8//6 J4 [IGH] 18.60%`
Ce serait particulièrement utile pour #2066, mais aussi en lien avec l'export.
Si on fait pareil dans le segmenteur, on pourrait avoir en plus la séquence (voire les annotations dans un certain format) ?
@tydax @mikael-s @RyanHerbmarc duezmarc duezhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/4730Plus de STRAND avec nouvelles germlines dans des cas qui devraient être too f...2021-04-01T17:38:13+02:00Mathieu GiraudPlus de STRAND avec nouvelles germlines dans des cas qui devraient être too few V/JPrend la suite de #2107 dans le cadre de !885.
Sur `bug2107.fa`, on a sur !885
```
UNSEG strand -> 5
UNSEG too few V/J -> 9
UNSEG only V/5' -> 1
```
là où avant on avait
```
UNSEG strand -...Prend la suite de #2107 dans le cadre de !885.
Sur `bug2107.fa`, on a sur !885
```
UNSEG strand -> 5
UNSEG too few V/J -> 9
UNSEG only V/5' -> 1
```
là où avant on avait
```
UNSEG strand -> 3
UNSEG too few V/J -> 11
UNSEG only V/5' -> 1
```https://gitlab.inria.fr/vidjil/vidjil/-/issues/4728Nouvelles germlines, séquence hors locus passant de too_few en only_V2021-04-01T17:38:13+02:00Mathieu GiraudNouvelles germlines, séquence hors locus passant de too_few en only_V`segmentation-2.fa` (tous les `L` sont des `-L`, ping #4727)
```
# Sequences outside any V(D)J locus
>too_few_vj-2
GCCTCAGGCCAGCCTTCCGCTCCTTGAAGCTGGTCTCCGCACAGTGCTGGTTCCGTCACCCCCACCCAGGGAAGCAGGTCTGAGCAGCTTGTCCTGGCTG
_L__________________...`segmentation-2.fa` (tous les `L` sont des `-L`, ping #4727)
```
# Sequences outside any V(D)J locus
>too_few_vj-2
GCCTCAGGCCAGCCTTCCGCTCCTTGAAGCTGGTCTCCGCACAGTGCTGGTTCCGTCACCCCCACCCAGGGAAGCAGGTCTGAGCAGCTTGTCCTGGCTG
_L___________________L__________L___________________________L___LLL__________L______________________
==================.=====
# 8 ! seed IGL UNSEG only V/5' 6.300249e+01 6.300000e+01/2.490249e-03
```
Cela fait beaucoup de k-mers pour quelque chose d'aléatoire, avec probablement un match d'au moins 18nt à la suitehttps://gitlab.inria.fr/vidjil/vidjil/-/issues/3275Gaps affine pour deletion_end pour de très grandes délétions2021-04-01T17:37:10+02:00Mathieu GiraudGaps affine pour deletion_end pour de très grandes délétionsLié à #3165.
Il serait apparament simple de changer la fonction qui utilise `deletion_end` :
`if (mode == LocalEndWithSomeDeletions) tbest += cost.deletion_end*(n-j); `
Faudrait-il un gap affine (ou même autre chose) pour permettre ...Lié à #3165.
Il serait apparament simple de changer la fonction qui utilise `deletion_end` :
`if (mode == LocalEndWithSomeDeletions) tbest += cost.deletion_end*(n-j); `
Faudrait-il un gap affine (ou même autre chose) pour permettre de très grandes délétions ?https://gitlab.inria.fr/vidjil/vidjil/-/issues/4723Identifier le V dans les séquences non mergées2021-04-01T15:56:33+02:00Anne de SeptenvilleIdentifier le V dans les séquences non mergéesPour certains samples particuliers, j'ai un faible % de reads mergés. J'en connais la raison : des produits PCR trop grand mais néanmoins séquencés. Généralement il s'agit bien de mon clone de LLC mais amplifié avec le J suivant dans l'A...Pour certains samples particuliers, j'ai un faible % de reads mergés. J'en connais la raison : des produits PCR trop grand mais néanmoins séquencés. Généralement il s'agit bien de mon clone de LLC mais amplifié avec le J suivant dans l'ADN, probablement à cause d'une mutation empêchant une amplification correct par le J utilisé dans le réarrangement VDJ.
J'aimerais pour ces samples identifier le V dans les séquences non mergées. Est-ce que cela serait possible avec Vidjil ? Avec un autre outil ? Cela me permettrait d'être sûre que je me trouve dans le cas ci dessus : de grands produits PCR tous issus d'un même réarrangement VDJ dont j'identifie la séquence sur 15-30% des reads.https://gitlab.inria.fr/vidjil/vidjil/-/issues/4054UNSEG strand sur >5% des reads2021-03-31T17:26:04+02:00Mathieu GiraudUNSEG strand sur >5% des reads
Sur un jeu probablement ~"bio-capture", avec 0.01% détecté, on a > 90% de `too few V/J` (normal), mais 5-10% de `UNSEG strand`: http://app.vidjil.org/index.html?sample_set_id=34726&config=25
Est-ce habituel sur de tels jeux ?
Est-ce...
Sur un jeu probablement ~"bio-capture", avec 0.01% détecté, on a > 90% de `too few V/J` (normal), mais 5-10% de `UNSEG strand`: http://app.vidjil.org/index.html?sample_set_id=34726&config=25
Est-ce habituel sur de tels jeux ?
Est-ce vraiment des affectations mixtes +/-, ou un seuil mal mis où on devrait plutôt mettre `too few V/J` ?
#978 et #1273
cc @flothoni @duezhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/4740"Unknown" tant qu'on n'a pas envoyé sur IMGT ?2021-03-31T15:24:00+02:00Mathieu Giraud"Unknown" tant qu'on n'a pas envoyé sur IMGT ?The following discussion from !836 should be addressed:
- [ ] @mikael-s started a [discussion](https://gitlab.inria.fr/vidjil/vidjil/-/merge_requests/836#note_498331): (+1 comment)
> C'est voulu le point (et la zone verte #4737) l...The following discussion from !836 should be addressed:
- [ ] @mikael-s started a [discussion](https://gitlab.inria.fr/vidjil/vidjil/-/merge_requests/836#note_498331): (+1 comment)
> C'est voulu le point (et la zone verte #4737) lorsqu'on n'a pas les informations d'IMGT sur la productivité et le % d'identité ? Quand on a passe la souris au dessus du point on a un popup nous affichant « unknown ».
>
> ![aligner](/uploads/855c08725c89447119f426ea398f0758/aligner.png)
Mais bon, que mettre d'autre ? Rien au lieu de "unknown" ?https://gitlab.inria.fr/vidjil/vidjil/-/issues/4739Templates .js2021-03-31T15:17:01+02:00Mathieu GiraudTemplates .jsThe following discussion from !836 should be addressed:
- [ ] @mikael-s started a [discussion](https://gitlab.inria.fr/vidjil/vidjil/-/merge_requests/836#note_477951):
> J'avais évoqué l'idée de stocker le template dans un .js plu...The following discussion from !836 should be addressed:
- [ ] @mikael-s started a [discussion](https://gitlab.inria.fr/vidjil/vidjil/-/merge_requests/836#note_477951):
> J'avais évoqué l'idée de stocker le template dans un .js plutôt que de devoir l'inclure dans chaque fichier HTML, ce qui est error-prone (mauvaise recopie, modification d'un fichier, oubli d'un fichier…).
>
> @duez a dit qu'il faudrait échapper tous les caractères problématiques si on le met dans une chaîne JS. Certes, mais ça ne me semble pas être un gros problème. On pourrait même ajouter une commande dans le Makefile qui prend le fichier HTML dans le répertoire template et qui en fait un JS qui va bien.
>
> Il y avait également le problème du chargement, qui doit se faire avant que l'aligneur se charge. C'est vrai mais on a déjà cette contrainte avec d'autres composants. Là non plus je n'ai pas l'impression que ce soit bloquant.
>
> Ça me semble quand même bien plus robuste d'avoir un Makefile qui produit le .js à partir du template HTML, .js qui est ensuite chargé par tous les fichiers nécessaires (index.html, segmenter_page.html, test_QUnit.html, d'autres ?).
@duez : "les templates, cela ne fonctionne pas en ce moment, pour avoir les choses en local"
Bref, revoir tout cela en avril après le freeze voir quelle direction on se donne pour la suite.https://gitlab.inria.fr/vidjil/vidjil/-/issues/4719Récupérer un clone ou quelques clones en .json2021-03-31T14:52:45+02:00Mathieu GiraudRécupérer un clone ou quelques clones en .jsonSuggestion de @flothoni
En filtrant le `save` (mais on n'a pas de `save` sur tout le .vidjil ?) ?Suggestion de @flothoni
En filtrant le `save` (mais on n'a pas de `save` sur tout le .vidjil ?) ?