vidjil issueshttps://gitlab.inria.fr/vidjil/vidjil/-/issues2018-12-28T08:13:10+01:00https://gitlab.inria.fr/vidjil/vidjil/-/issues/3645Extend normalization with custom normalized_reads2018-12-28T08:13:10+01:00Mathieu GiraudExtend normalization with custom normalized_readsAter #3644, implement `normalized_reads` handling in `normalize()`Ater #3644, implement `normalized_reads` handling in `normalize()`Thonier FlorianThonier Florianhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/3644Refactor normalisation2018-12-28T08:13:43+01:00Mathieu GiraudRefactor normalisationTalked with @mikael\-s et @flothoni
Proposed solution:
- model.js: normalize() looks directly to `m.norm`
- clone.js: a new `getNormalizedReads()` *always* calls `m.normalize()`
- clone.js: all `get*Size()` functions call `getNormalize...Talked with @mikael\-s et @flothoni
Proposed solution:
- model.js: normalize() looks directly to `m.norm`
- clone.js: a new `getNormalizedReads()` *always* calls `m.normalize()`
- clone.js: all `get*Size()` functions call `getNormalizedReads()`
Thonier FlorianThonier Florianhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/3642vmi: div data en bas à gauche de la liste déborde2018-12-21T17:30:37+01:00Mathieu Giraudvmi: div data en bas à gauche de la liste débordeConfirmé par @flothoni, avec éléments qui glissent sous la barre.
https://vdb.vidjil.org/browser/?set=28977&config=25&plot=allele_v,allele_j,gridConfirmé par @flothoni, avec éléments qui glissent sous la barre.
https://vdb.vidjil.org/browser/?set=28977&config=25&plot=allele_v,allele_j,gridhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/3641Les étiquettes en abscisse de la grille peuvent être rognées2018-12-06T09:09:54+01:00Mikaël SalsonLes étiquettes en abscisse de la grille peuvent être rognéesC'est particulièrement le cas avec les noms de gènes, surtout quand il y a beaucoup de gènes. Exemple ici : http://app.vidjil.org/index.html?set=28977&config=25
![trimmed-genes](/uploads/6a0938c11c697d9bda04e8c211e4d6b4/trimmed-genes.png)C'est particulièrement le cas avec les noms de gènes, surtout quand il y a beaucoup de gènes. Exemple ici : http://app.vidjil.org/index.html?set=28977&config=25
![trimmed-genes](/uploads/6a0938c11c697d9bda04e8c211e4d6b4/trimmed-genes.png)Amiens-nexthttps://gitlab.inria.fr/vidjil/vidjil/-/issues/3638Docker : Ne pas modifier les permissions sur les répertoires2018-12-03T19:33:15+01:00Mikaël SalsonDocker : Ne pas modifier les permissions sur les répertoiresLe backup incrémental peut ne pas fonctionner correctement car dès que l'on fait un `docker-compose up` les fichiers qui sont dans `/mnt/data/prod` ont pour heure de modification l'heure à laquelle `docker-compose` a été lancé. Dans ces ...Le backup incrémental peut ne pas fonctionner correctement car dès que l'on fait un `docker-compose up` les fichiers qui sont dans `/mnt/data/prod` ont pour heure de modification l'heure à laquelle `docker-compose` a été lancé. Dans ces conditions il est impossible de savoir quel fichier a été modifié récemment et doit être sauvegardé.
Par exemple :
```
stat /mnt/data/prod/result/results/results_file.data_file.827e7925471f01d8.XXXXXX.txt
File: '/mnt/data/prod/result/results/results_file.data_file.827e7925471f01d8.XXXXX.txt'
Size: 2427078 Blocks: 4744 IO Block: 4096 regular file
Device: fd11h/64785d Inode: 99790894 Links: 1
Access: (0644/-rw-r--r--) Uid: ( 33/www-data) Gid: ( 33/www-data)
Access: 2018-11-29 19:56:44.756165603 +0100
Modify: 2018-05-24 13:40:22.564383085 +0200
Change: 2018-11-29 19:27:39.185893048 +0100
Birth: -
```
La date `Modify` est correcte mais pas celle de `Change`, or c'est celle-ci qui semble faire foi pour `tar`, pour le backup incrémental. À noter que la date est même modifiée à l'extérieur du conteneur. Je ne sais pas comment Docker fait car il y a quand même quelques dizaines de milliers de fichiers…
C'est important car en attendant ça va nous obliger à diminuer le rythme des backups.https://gitlab.inria.fr/vidjil/vidjil/-/issues/3637sucess si pear assemble des fichiers de tailles différentes2018-11-27T16:56:56+01:00Thonier Floriansucess si pear assemble des fichiers de tailles différentesPour tester la nouvelle release, j'ai créé un patient, ajouté de nombreux fichiers, et testé d'en ajouter qui seront assemblés avec pear.
J'ai pioché dans un set de fichiers qui sont des résultats de `head -n` de différentes tailles qu...Pour tester la nouvelle release, j'ai créé un patient, ajouté de nombreux fichiers, et testé d'en ajouter qui seront assemblés avec pear.
J'ai pioché dans un set de fichiers qui sont des résultats de `head -n` de différentes tailles que j'utilise souvent pour ce genre d'occasions.
Aujourd'hui, j'ai voulu tester de mixer 2 fichiers de tailles différentes.
Je m'attendais à avoir un échec. Pourtant, nous avons vu un success et le processus vidjil a continuer normalement.
L'erreur de pear:
```
Computing empirical frequencies....: 1 Problem, number of reads does not match! n1 = 1000 n2 = 0
```
@magiraud @mikael\-shttps://gitlab.inria.fr/vidjil/vidjil/-/issues/3636docker: ajouter une segmenter page dans conf.js2018-12-04T12:43:59+01:00Ryan Herbertdocker: ajouter une segmenter page dans conf.jsTout est dans le titre. Ajouter dans les fichiers de config par défaut de docker (conf.js et conf_http.js) un lien par défaut vers la segmenter pageTout est dans le titre. Ajouter dans les fichiers de config par défaut de docker (conf.js et conf_http.js) un lien par défaut vers la segmenter pagehttps://gitlab.inria.fr/vidjil/vidjil/-/issues/3635url : `c/` par défaut + règle compatibilité `browser/`2018-12-04T12:44:50+01:00Mathieu Giraudurl : `c/` par défaut + règle compatibilité `browser/`!109!109Ryan HerbertRyan Herberthttps://gitlab.inria.fr/vidjil/vidjil/-/issues/3634url : liens (bouton central) dans liste des patients et see results2018-12-04T12:45:14+01:00Mathieu Giraudurl : liens (bouton central) dans liste des patients et see results!109!109Ryan HerbertRyan Herberthttps://gitlab.inria.fr/vidjil/vidjil/-/issues/3633Pouvoir désactiver le lancement de runs dans defs.py2019-12-13T10:53:16+01:00Mathieu GiraudPouvoir désactiver le lancement de runs dans defs.pyDiscussion avec @RyanHerb et @mikael\-s vdj#719
Pourrait-on avoir un flag dans `defs.py` ou ailleurs pour désactiver le lancement de runs ? Uniquement, ou aussi la création de workers ? Cela permettrait que deux serveurs tapent sur la b...Discussion avec @RyanHerb et @mikael\-s vdj#719
Pourrait-on avoir un flag dans `defs.py` ou ailleurs pour désactiver le lancement de runs ? Uniquement, ou aussi la création de workers ? Cela permettrait que deux serveurs tapent sur la base live en même temps, un étant "read only", et pourrait favoriser des migrations ou des tests.
Mais même "read only", un serveur touche la bd pour le login/logout.
(@RyanHerb : mais peut-être même que les schedulers de deux serveurs pourraient s'enregistrer ?)https://gitlab.inria.fr/vidjil/vidjil/-/issues/3631Utiliser .gitlab/route-map.yml ?2018-11-26T07:48:45+01:00Mathieu GiraudUtiliser .gitlab/route-map.yml ?On pourrait avoir des liens à la "View app" plus flexible... mais pas sûr que cela nous serve, on n'a pas facilement une correspondance un fichier / une url à reviewer.
https://docs.gitlab.com/ce/ci/environments.html#go-directly-from-so...On pourrait avoir des liens à la "View app" plus flexible... mais pas sûr que cela nous serve, on n'a pas facilement une correspondance un fichier / une url à reviewer.
https://docs.gitlab.com/ce/ci/environments.html#go-directly-from-source-files-to-public-pages-on-the-environmenthttps://gitlab.inria.fr/vidjil/vidjil/-/issues/3630gitlab-ci.yml, `parallel` voire `matrix`2021-10-20T12:16:16+02:00Mathieu Giraudgitlab-ci.yml, `parallel` voire `matrix`Depuis 11.5.
https://docs.gitlab.com/ce/ci/yaml/#parallel
Ce serait à nous de dire quoi faire en fonction de `CI_NODE_INDEX`.Depuis 11.5.
https://docs.gitlab.com/ce/ci/yaml/#parallel
Ce serait à nous de dire quoi faire en fonction de `CI_NODE_INDEX`.https://gitlab.inria.fr/vidjil/vidjil/-/issues/3629Compilation sous Fedora2018-11-23T21:10:50+01:00Mathieu GiraudCompilation sous FedoraJenkins met des warnings depuis au moins juillet.Jenkins met des warnings depuis au moins juillet.https://gitlab.inria.fr/vidjil/vidjil/-/issues/3628Tests dockers : rm: cannot remove '*/S.gpg-agent.browser': No such file or di...2021-10-15T09:37:52+02:00Mikaël SalsonTests dockers : rm: cannot remove '*/S.gpg-agent.browser': No such file or directoryUne partie des tests fonctionnels serveurs échouent à cause de cette erreur non reproductible ([il y a quelques exemples ici](https://gitlab.inria.fr/vidjil/vidjil/-/jobs/203307)). À quoi est-ce dû ? Comment peut-on la prévenir ?Une partie des tests fonctionnels serveurs échouent à cause de cette erreur non reproductible ([il y a quelques exemples ici](https://gitlab.inria.fr/vidjil/vidjil/-/jobs/203307)). À quoi est-ce dû ? Comment peut-on la prévenir ?https://gitlab.inria.fr/vidjil/vidjil/-/issues/3627Checksum des fichiers uploadés et autres ?2021-11-19T11:06:57+01:00Mathieu GiraudChecksum des fichiers uploadés et autres ?Réflexion lancée par @mikael\-sRéflexion lancée par @mikael\-shttps://gitlab.inria.fr/vidjil/vidjil/-/issues/3626`compute_extra` plante s'il n'y a pas de clone2018-11-13T18:11:20+01:00Mikaël Salson`compute_extra` plante s'il n'y a pas de clone```
Traceback (most recent call last):
File "/home/vidjil/git/server/vidjil/server/web2py/gluon/scheduler.py", line 501, in executor
result = dumps(_function(*args, **vars))
File "applications/vidjil/models/task.py", line 331, in...```
Traceback (most recent call last):
File "/home/vidjil/git/server/vidjil/server/web2py/gluon/scheduler.py", line 501, in executor
result = dumps(_function(*args, **vars))
File "applications/vidjil/models/task.py", line 331, in run_vidjil
compute_extra(id_file, id_config, 5)
File "applications/vidjil/models/task.py", line 111, in compute_extra
for clone in d["clones"]:
TypeError: 'NoneType' object is not iterable
```https://gitlab.inria.fr/vidjil/vidjil/-/issues/3624Garder les fichiers bruts tels qu'uploadés ?2021-03-17T09:35:49+01:00Mikaël SalsonGarder les fichiers bruts tels qu'uploadés ?Beaucoup de tâches FAILED ces derniers temps : une hypothèse serait des problèmes avec Pear. Le problème c'est qu'après le pre-process on n'a plus accès aux fichiers d'origine pour reproduire un éventuel problème.
Faudrait-il conserver ...Beaucoup de tâches FAILED ces derniers temps : une hypothèse serait des problèmes avec Pear. Le problème c'est qu'après le pre-process on n'a plus accès aux fichiers d'origine pour reproduire un éventuel problème.
Faudrait-il conserver les fichiers tels qu'ils ont été uploadés ? Au moins quelques jours pour éviter de saturer l'espace disque ?https://gitlab.inria.fr/vidjil/vidjil/-/issues/3623Coûts environnementaux et économiques d'un serveur Vidjil2022-06-16T11:25:26+02:00Mathieu GiraudCoûts environnementaux et économiques d'un serveur VidjilEst-ce le CPU, le disque, le réseau qui est dominant ? Quel ordre de grandeur ?
Aiderait à préciser l'importance de #3397.Est-ce le CPU, le disque, le réseau qui est dominant ? Quel ordre de grandeur ?
Aiderait à préciser l'importance de #3397.https://gitlab.inria.fr/vidjil/vidjil/-/issues/3622set_token est présent à trop d'endroits2018-11-13T17:09:41+01:00Mikaël Salsonset_token est présent à trop d'endroitsDepuis #3533 `set_token` est utilisé plus largement. Mais un peu trop car certains endroits ne sont pas adaptés pour recevoir un span.
Il est notamment présent sur la page d'un sample set, au niveau du lien “See results”, ce qui lui do...Depuis #3533 `set_token` est utilisé plus largement. Mais un peu trop car certains endroits ne sont pas adaptés pour recevoir un span.
Il est notamment présent sur la page d'un sample set, au niveau du lien “See results”, ce qui lui donne une tête bizarre. Il est également présent dans le lien de téléchargement du `.vidjil`, ce qui donne au fichier un nom non désiré. Il est également présent dans le menu *patients* (tout en haut), si jamais on a visité plusieurs patients différents.
J'imagine qu'il y a peut-être d'autres endroits.https://gitlab.inria.fr/vidjil/vidjil/-/issues/3621Ne pas lancer des fuse sans fichier2018-11-21T16:11:12+01:00Mathieu GiraudNe pas lancer des fuse sans fichiervdj#754
Discussion avec @mikael\-s, @flothoni, @RyanHerb : le `files` de ~"server-task.py" est vide dans certains cas:
https://gitlab.inria.fr/vidjil/vidjil/blob/dev/server/web2py/applications/vidjil/models/task.py#L628
car si on a sup...vdj#754
Discussion avec @mikael\-s, @flothoni, @RyanHerb : le `files` de ~"server-task.py" est vide dans certains cas:
https://gitlab.inria.fr/vidjil/vidjil/blob/dev/server/web2py/applications/vidjil/models/task.py#L628
car si on a supprimé des fichiers, y compris tout, on relance.
- ne pas relancer un `fuse` si on a supprimé tout... mais difficile à détecter ?
- dans tous les cas (et peut-être cela suffira) failsafe dans `run_fuse`, si `files` est vide