vidjil issueshttps://gitlab.inria.fr/vidjil/vidjil/-/issues2018-07-23T13:53:48+02:00https://gitlab.inria.fr/vidjil/vidjil/-/issues/3236fuse.py / ijson: merge de gros fichiers en O(top) en mémoire2018-07-23T13:53:48+02:00Mathieu Giraudfuse.py / ijson: merge de gros fichiers en O(top) en mémoireAprès #3235, on pourra implémenter fuse en deux passes (quand besoin pour des gros fichiers):
- une passe lire tous les top 100 de tous les points
- on fusionne ces tops
- une autre passe pour récupérer/fusionner tous les clones de c...Après #3235, on pourra implémenter fuse en deux passes (quand besoin pour des gros fichiers):
- une passe lire tous les top 100 de tous les points
- on fusionne ces tops
- une autre passe pour récupérer/fusionner tous les clones de cette liste, encore dans tous les points
cc @RyanHerbhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/3235Chargement partiel de .vidjil avec ijson2018-08-07T10:31:05+02:00Mathieu GiraudChargement partiel de .vidjil avec ijsonDiscuté ensemble : plus raffiné que #3234, charger un gros fichier de clones, mais ne garder que les clones
- qui ont `top` en-dessous de 100 (note: il peut y en avoir plus/moins que 100).
Cas d'usage (pour plus tard) : #3236
Voir...Discuté ensemble : plus raffiné que #3234, charger un gros fichier de clones, mais ne garder que les clones
- qui ont `top` en-dessous de 100 (note: il peut y en avoir plus/moins que 100).
Cas d'usage (pour plus tard) : #3236
Voir #2240.Ryan HerbertRyan Herberthttps://gitlab.inria.fr/vidjil/vidjil/-/issues/3234Chargement total de .vidjil avec ijson2018-08-07T10:31:04+02:00Mathieu GiraudChargement total de .vidjil avec ijson#2240
Cela pourra presque être pluggé directement dans ~"server\-fuse".#2240
Cela pourra presque être pluggé directement dans ~"server\-fuse".Ryan HerbertRyan Herberthttps://gitlab.inria.fr/vidjil/vidjil/-/issues/3229Nomenclature ERG2020-05-20T16:40:19+02:00Mathieu GiraudNomenclature ERGMême question que #3165 pour ERG: d'où vient la nomenclature `ERG-2F` ?
`ERG-R(3'5') ERG-Init-R` : il va s'arrêter à l'espace.
-> plutôt `ÈRG-Init-R`et `ERG-Seq-R` ? D'où viennent ces nomenclatures ?
Peut-on enlever les `(5'3')` parto...Même question que #3165 pour ERG: d'où vient la nomenclature `ERG-2F` ?
`ERG-R(3'5') ERG-Init-R` : il va s'arrêter à l'espace.
-> plutôt `ÈRG-Init-R`et `ERG-Seq-R` ? D'où viennent ces nomenclatures ?
Peut-on enlever les `(5'3')` partout : `ERG-2F`... ?
cc @flothoniAlgo -- Importanthttps://gitlab.inria.fr/vidjil/vidjil/-/issues/3227Filtrage des germlines : évaluer le temps pris par l'alignement2018-06-06T16:54:51+02:00Mikaël SalsonFiltrage des germlines : évaluer le temps pris par l'alignementAprès #3217 et pour évaluer si #3225 est nécessaire il faudra connaître le temps pris par l'alignement dans le cadre du lancement global d'un `vidjil-algo -c segment`. Est-ce toujours l'étape prépondérante ?
Ce test se fera avec une (ou...Après #3217 et pour évaluer si #3225 est nécessaire il faudra connaître le temps pris par l'alignement dans le cadre du lancement global d'un `vidjil-algo -c segment`. Est-ce toujours l'étape prépondérante ?
Ce test se fera avec une (ou plusieurs) valeur de N réaliste décidée en fonction des résultats de #3223.
Pour mesurer le temps pris par les différentes étapes de l'algorithme, [voir ceci](https://baptiste-wicht.com/posts/2011/09/profile-c-application-with-callgrind-kcachegrind.html).Cyprien BoréeCyprien Boréehttps://gitlab.inria.fr/vidjil/vidjil/-/issues/3226Ne plus générer de paquets Debian2021-04-15T09:44:28+02:00Mathieu GiraudNe plus générer de paquets Debianproposé par @RyanHerb
En lien avec #2940.proposé par @RyanHerb
En lien avec #2940.https://gitlab.inria.fr/vidjil/vidjil/-/issues/3215Controleur qui renvoie ou met à disposition un .zip de tous les fastq + métad...2018-05-11T10:13:03+02:00Mathieu GiraudControleur qui renvoie ou met à disposition un .zip de tous les fastq + métadonnéesPourrait étendre #3041.Pourrait étendre #3041.https://gitlab.inria.fr/vidjil/vidjil/-/issues/3214La recherche de recombinaisons inattendues n'utilise pas les version +up et +...2020-05-20T16:21:42+02:00Mikaël SalsonLa recherche de recombinaisons inattendues n'utilise pas les version +up et +down des germlinesDans un problème remonté par Aurélie (cf. https://serveur-vidjil.chrul.net/browser/index.html?set=32653&config=25) on a un réarrangement `+TRDV2 -TRDD2` ce qui devrait être trouvé comme étant unexpected. Sauf que, pour les unexpected, on...Dans un problème remonté par Aurélie (cf. https://serveur-vidjil.chrul.net/browser/index.html?set=32653&config=25) on a un réarrangement `+TRDV2 -TRDD2` ce qui devrait être trouvé comme étant unexpected. Sauf que, pour les unexpected, on n'utilise pas les parties amont et aval des gènes. Du coup il n'y a pas assez de signal pour détecter le TRDD2 (surtout qu'il n'y a que la partie intronique !).
Il faudrait donc les intégrer à la recherche de recombinaison unexepected. Dans ce cas j'imagine qu'il ne faudra prendre que les versions amont ou aval et pas du tout les versions restreintes aux gènes pour éviter des conflits (ce qui conduirait à des ambiguous).Algo -- Importanthttps://gitlab.inria.fr/vidjil/vidjil/-/issues/3211Cas d'usages et tests avant nouvelle feautre2018-04-27T11:01:54+02:00Mathieu GiraudCas d'usages et tests avant nouvelle feautreComment faire pour éviter un nouveau #3199 ? Ce cas est particulièrement intriguant : comment ce bug a pu nous échapper, à 4 testeurs ?
Discussion avec @RyanHerb : pour de telles features, on pourrait lister les cas d'usage... et les re...Comment faire pour éviter un nouveau #3199 ? Ce cas est particulièrement intriguant : comment ce bug a pu nous échapper, à 4 testeurs ?
Discussion avec @RyanHerb : pour de telles features, on pourrait lister les cas d'usage... et les revérifier ensuite. Cela passe bien sûr par des tests (#3201). Normalement c'est bien ce qu'on fait... À surveiller la prochaine fois, notamment pour #3171 :-)https://gitlab.inria.fr/vidjil/vidjil/-/issues/3206Repasser sur les tests .should en bénéficiant des nouvelles syntaxes2020-08-21T12:21:35+02:00Mathieu GiraudRepasser sur les tests .should en bénéficiant des nouvelles syntaxesEn particulier
- Viser un mode par défaut exact, ne mettre `r` et `b` que quand souhaité
- Enlever `z`
- Quand c'est possible, limiter les commandes enchaînées/pipées et voir si on ne peut pas utiliser `l` ou autre
- Rendre les tests...En particulier
- Viser un mode par défaut exact, ne mettre `r` et `b` que quand souhaité
- Enlever `z`
- Quand c'est possible, limiter les commandes enchaînées/pipées et voir si on ne peut pas utiliser `l` ou autre
- Rendre les tests plus lisibles en mettant les commandes successives sur plusieurs lignes
- Utiliser `j` (et enlever `format-json`)
En profiter pour se demander si on aimerait tester d'autres choses (y compris des fonctionnalités non encore implémentées dans `should`).https://gitlab.inria.fr/vidjil/vidjil/-/issues/3205Fail de should ?2018-04-20T14:58:07+02:00Mathieu GiraudFail de should ?should#6 : as-tu une ligne de commande particulière ?
Est-ce que cela bloque !185/!190 ?should#6 : as-tu une ligne de commande particulière ?
Est-ce que cela bloque !185/!190 ?https://gitlab.inria.fr/vidjil/vidjil/-/issues/3198Timeout de certains jobs should-get-tests en raison d'une grosse stdout2018-04-20T09:57:15+02:00Mathieu GiraudTimeout de certains jobs should-get-tests en raison d'une grosse stdout5 fichiers sont skipped à cause d'un timeout (2 minutes !): https://gitlab.inria.fr/vidjil/vidjil/-/jobs/90330
`doc-examples.should-get`, `stanford-fuse.should-get`, `stanford-w100.should-get`, `stanford-vidjil-to-fasta.should-get`, `sta...5 fichiers sont skipped à cause d'un timeout (2 minutes !): https://gitlab.inria.fr/vidjil/vidjil/-/jobs/90330
`doc-examples.should-get`, `stanford-fuse.should-get`, `stanford-w100.should-get`, `stanford-vidjil-to-fasta.should-get`, `stanford-json.should-get`. Ces fichiers ne mettent pas échec le build. https://gitlab.inria.fr/vidjil/vidjil/-/jobs/90293
Vérifier si ce n'est pas une interaction avec certains lancements de `subprocess.Popen()` qui bloque alors que c'est fini.https://gitlab.inria.fr/vidjil/vidjil/-/issues/3196.vidjil: better document `top` and/or make it optionnal2019-07-23T10:03:08+02:00Mathieu Giraud.vidjil: better document `top` and/or make it optionnalIn https://github.com/ablab/y-tools/commit/41687407b738436b2c05615afa24548f83fbc595#diff-dfa29d568694d4d8189ce3e61b44972dR79
@eodus assigns a `"top": 1` for every clone. We are doing almost the same in `vidjil-algo` (`json_clone["top"] =...In https://github.com/ablab/y-tools/commit/41687407b738436b2c05615afa24548f83fbc595#diff-dfa29d568694d4d8189ce3e61b44972dR79
@eodus assigns a `"top": 1` for every clone. We are doing almost the same in `vidjil-algo` (`json_clone["top"] = 0`).
It looks like that the actual `top` value used in the ~client is then computed by fuse.py. We should investigate and better document the value.https://gitlab.inria.fr/vidjil/vidjil/-/issues/3194Pouvoir visualiser, sans télécharger, un fichier (texte) faisant partie de la...2018-04-18T19:30:47+02:00Mathieu GiraudPouvoir visualiser, sans télécharger, un fichier (texte) faisant partie de la sortie d'un répertoire tmp/ d'analyseDans "Output files for process"Dans "Output files for process"https://gitlab.inria.fr/vidjil/vidjil/-/issues/3185Requêtes SQL imbriquées2018-04-17T13:36:59+02:00Mathieu GiraudRequêtes SQL imbriquéesDepuis https://gitlab.inria.fr/vidjil/vidjil/issues/3169#note_85381 :
> @mikael-s : Il se trouve que le `IN ( SELECT ...` ne semble pas être la solution recommandée. Il vaut mieux préférer des `INNER JOIN` : https://dba.stackexchange.co...Depuis https://gitlab.inria.fr/vidjil/vidjil/issues/3169#note_85381 :
> @mikael-s : Il se trouve que le `IN ( SELECT ...` ne semble pas être la solution recommandée. Il vaut mieux préférer des `INNER JOIN` : https://dba.stackexchange.com/questions/14565/mysql-subquery-slows-down-drastically-but-they-work-fine-independently
Y aurait-il d'autres requêtes de ce type que !189 dans notre code ?
cc @RyanHerbhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/3183Un sample devrait appartenir à au plus un patient et au plus un run2018-06-18T10:49:11+02:00Mathieu GiraudUn sample devrait appartenir à au plus un patient et au plus un runVu de la db, les patients/runs/sets sont la même chose. Pas pour les utilisateurs et le ~"bio-control".
On pourrait limiter l'appartenance d'un set à au plus un patient et un run.
Cette limitation ne serait pas "dure" dans la DB (on ne ...Vu de la db, les patients/runs/sets sont la même chose. Pas pour les utilisateurs et le ~"bio-control".
On pourrait limiter l'appartenance d'un set à au plus un patient et un run.
Cette limitation ne serait pas "dure" dans la DB (on ne change pas les tables), uniquement soft sur les formulaires qui font l'assignation (voire sur les contrôleurs derrière).https://gitlab.inria.fr/vidjil/vidjil/-/issues/3173Pagination par défaut de la reqûete patients2020-06-18T16:52:44+02:00Mathieu GiraudPagination par défaut de la reqûete patientsDepuis !186 :
> > @magiraud: En voyant les différents commits où on a "oublié" d'appeler la pagination, ne pourrait-on pas faire que `'page': 0` soit la valeur par défaut lorsqu'on ne met rien (et un `'page': None` ferait une requête no...Depuis !186 :
> > @magiraud: En voyant les différents commits où on a "oublié" d'appeler la pagination, ne pourrait-on pas faire que `'page': 0` soit la valeur par défaut lorsqu'on ne met rien (et un `'page': None` ferait une requête non paginée) ?
> @mikael-s : si, c'est ce que je me suis dit aussi, mais je ne suis pas sûr des endroits à modifierhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/3170Pre-process: stocker le log en fichier et non pas en texte brut2018-04-13T17:34:07+02:00Mathieu GiraudPre-process: stocker le log en fichier et non pas en texte brut@mikael-s : être cohérent avec ce qu'on fait pour les process principaux@mikael-s : être cohérent avec ce qu'on fait pour les process principauxhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/3166should: erreur Unicode : mettre les slaves en UTF-82018-04-12T18:07:35+02:00Mathieu Giraudshould: erreur Unicode : mettre les slaves en UTF-8https://gitlab.inria.fr/vidjil/vidjil/-/jobs/87335
```
File "../../../should/src/should.py", line 494, in test
print(''.join(test_lines[:MAX_DUMP_LINES]))
UnicodeEncodeError: 'latin-1' codec can't encode character '\u2013' in pos...https://gitlab.inria.fr/vidjil/vidjil/-/jobs/87335
```
File "../../../should/src/should.py", line 494, in test
print(''.join(test_lines[:MAX_DUMP_LINES]))
UnicodeEncodeError: 'latin-1' codec can't encode character '\u2013' in position 2312: ordinal not in range(256)
```
Comme quoi, python3 ne résoud pas tout d'un coup :-). A priori un decode/encode bien placé devrait suffire.https://gitlab.inria.fr/vidjil/vidjil/-/issues/3165Ikaros : les séquences communiquées sont trop longues, voir ce qu'il faut garder2020-05-20T16:25:46+02:00Mikaël SalsonIkaros : les séquences communiquées sont trop longues, voir ce qu'il faut garderLa région 3'UTR communiquée par ~"PAR-Debré" est grande (près de 800nt) et il est impossible qu'un read couvre toute la région (plus un autre intron).
Cela pose des problèmes d'analyse (#3066), à cause du grand nombre de délétions, des ...La région 3'UTR communiquée par ~"PAR-Debré" est grande (près de 800nt) et il est impossible qu'un read couvre toute la région (plus un autre intron).
Cela pose des problèmes d'analyse (#3066), à cause du grand nombre de délétions, des séquences moins pertinentes peuvent-être préférées.
Même si idéalement ça serait mieux de garder toute la séquence on peut prévoir de n'en garder qu'une partie ou de la couper en plusieurs morceaux.
D'après les documents de ~"PAR-Debré" il y a souvent un point de cassure pas très loin de la fin du 3'UTR (autour d'une centaine de nt) et les exemples qu'ils nous ont donné correspondent à ce point de cassure. Dans leur document il y a un autre point de cassure beaucoup plus lointain dans le 3'UTR qui ne peut jamais être atteint par un read en ayant une amorce à la fin du 3'UTR.
Et en fait la question se pose également pour l'intron 1 et l'intron 1 var (entre 600 et 700nt de long).
Ça serait bien de voir avec ~"PAR-Debré" ce qu'il en est : peut-on on couper en plusieurs morceaux ? ne garder qu'une partie des séquences ? y a-t-il d'autres points de cassure qui sont possibles ?Algo -- ImportantThonier FlorianThonier Florian