vidjil issueshttps://gitlab.inria.fr/vidjil/vidjil/-/issues2021-02-12T12:59:50+01:00https://gitlab.inria.fr/vidjil/vidjil/-/issues/4695Indice de diversité; affiché les noms complets dans le panel information de l...2021-02-12T12:59:50+01:00Thonier FlorianIndice de diversité; affiché les noms complets dans le panel information de l'échantillonPour l'instant on a des abréviations et pas le nom clair des indicesPour l'instant on a des abréviations et pas le nom clair des indices2021-03-05https://gitlab.inria.fr/vidjil/vidjil/-/issues/4619test update_radius dans test_scatterplot échoue sur meccano2021-02-12T08:31:46+01:00Mikaël Salsontest update_radius dans test_scatterplot échoue sur meccanoVoir par exemple le job [#903604](https://gitlab.inria.fr/vidjil/vidjil/-/jobs/903604).
```
1) Failure:
TestScatterplot#test_03_update_radius [functional/test_scatterplot.rb:98]:
>> clone 2 should NOT be visible in scatterplot at time ...Voir par exemple le job [#903604](https://gitlab.inria.fr/vidjil/vidjil/-/jobs/903604).
```
1) Failure:
TestScatterplot#test_03_update_radius [functional/test_scatterplot.rb:98]:
>> clone 2 should NOT be visible in scatterplot at time 1
```
@flothoni [a remarqué](https://gitlab.inria.fr/vidjil/vidjil/-/merge_requests/838#note_428632) que le test passe sur kapla ou sur lego mais pas sur meccano.
À corriger car très gênant pour la reproductibilité des pipelines.https://gitlab.inria.fr/vidjil/vidjil/-/issues/4495Erreurs lors d'un cluster by V; cluster_clone undefined2021-02-11T08:00:05+01:00Thonier FlorianErreurs lors d'un cluster by V; cluster_clone undefinedDans le tuto, si l'on fait cluster by V, nous avons une erreur `cluster_clone_undefined`.
C'est reproductible.Dans le tuto, si l'on fait cluster by V, nous avons une erreur `cluster_clone_undefined`.
C'est reproductible.https://gitlab.inria.fr/vidjil/vidjil/-/issues/3169La liste patients met beaucoup trop de temps à se charger2021-02-11T08:00:05+01:00Mikaël SalsonLa liste patients met beaucoup trop de temps à se chargerElle peut mettre 1 minute, y compris pour des utilisateurs, ce qui est énorme.
```
2018-04-13 12:23:01 DEBUG sample_set.py:202 patient list (38.680s)
2018-04-13 12:23:00 DEBUG sample_set.py:202 patient list (58.206s)
```
C...Elle peut mettre 1 minute, y compris pour des utilisateurs, ce qui est énorme.
```
2018-04-13 12:23:01 DEBUG sample_set.py:202 patient list (38.680s)
2018-04-13 12:23:00 DEBUG sample_set.py:202 patient list (58.206s)
```
Cela nous rappelle de vieux souvenirs (#1542), mais dans un ordre de grandeur.
Cela pose des problèmes : #3139, #2294, #2494.
@RyanHerb avait proposé de remanier le modèle pour accélérer cela : #2747.
Voir si, en attendant, on ne peut pas faire quelque chose pour accélérer le traitement.https://gitlab.inria.fr/vidjil/vidjil/-/issues/2880Tester le tutorial + CI2021-02-11T08:00:05+01:00Mathieu GiraudTester le tutorial + CISi on était pervers du test, on pourrait mettre des commandes dans le tutorial pour lancer des tests ~"dev-tests-watir" qui feraient le tutorial (ou bien avoir un test ~"dev-tests-watir", avec des commentaires, qui, une fois extraits, do...Si on était pervers du test, on pourrait mettre des commandes dans le tutorial pour lancer des tests ~"dev-tests-watir" qui feraient le tutorial (ou bien avoir un test ~"dev-tests-watir", avec des commentaires, qui, une fois extraits, donnent le tutorial).
Pas sûr que cela apporte grand chose, normalement toutes les fonctionnalités sont déjà testées par ailleurs.https://gitlab.inria.fr/vidjil/vidjil/-/issues/3385Liste des `SEG_METHOD_*`2021-02-10T20:17:07+01:00Mathieu GiraudListe des `SEG_METHOD_*`Sans parler d'algo trop précis ni de technique (#3377, #2968, #2655)...
Quelque part un inventaire de situations bios.
- (no implémenté) `_ZERO`: Rien de connu `(_)`, mais significativement rien (`_` suffisament long, ce n'est pas exa...Sans parler d'algo trop précis ni de technique (#3377, #2968, #2655)...
Quelque part un inventaire de situations bios.
- (no implémenté) `_ZERO`: Rien de connu `(_)`, mais significativement rien (`_` suffisament long, ce n'est pas exactement comme `UNSEG_TOO_FEW_ZERO`
- `_ONE`: Colinéaire génome `(*, 1, *)` (dans cet esprit `(1)` serait souhaitable ?).
- `_53`: Recombinaison VJ, ou autre,`(5, *, 3)`.
- Notons qu'il n'y a pas de `*` sur le côté, ce qui a nécessité J+down #3008
- Cela suggère d'ailleurs (non implémenté) `_543C` #2993
- Le `*` pose #2656 #1878
- `_12`: Recombinaison inattendue xxx, `(1, *, 2)`, cas particulier de `(5, *, 3)`.
- `_1U`: Recombinaison inattendue / translocation xxx, `(1, _)`, avec `_` "sufisament long"
- `_543`: Recombinaison VDJ `(5, *, 4+, *, 3)` Le `4+` est regardé uniquement par le FineSegmenter. Il est optionnel.
- (non implémenté) `_5K43`: Recombinaison VDJ `(5, *, 4+, *, 3)` Le `4+` (ou déjà un `4?`) serait aussi considéré par le KmerSegmenter #2654
- (non implémenté) `_u543d`: Recombinaison VDJ `(up, 5, *, 4+, *, 3, down)` avec up/down stream indexé séparément #XXXX (et aussi #2138)
- (non implémenté) `_123`: Cas complexes `(*, 1, *, 2, *, 3, *)` #3376https://gitlab.inria.fr/vidjil/vidjil/-/issues/2643SEG_METHOD_ONE: mettre un minimizer pour extraire une fenêtre normalisée2021-02-10T19:47:40+01:00Mathieu GiraudSEG_METHOD_ONE: mettre un minimizer pour extraire une fenêtre normaliséeActuellement, quand `SEG_METHOD_ONE` réussit, on extrait la fenêtre au milieu, bref cela ne clustérise pas si des reads sont légèrement décalées. Une solution serait d'extraire la fenêtre par minimisation.
- minimisation sur toutes les ...Actuellement, quand `SEG_METHOD_ONE` réussit, on extrait la fenêtre au milieu, bref cela ne clustérise pas si des reads sont légèrement décalées. Une solution serait d'extraire la fenêtre par minimisation.
- minimisation sur toutes les fenêtres possibles ?
- ou bien uniquement sur les k-mers détectés ?
On peut (ou pas) restreindre cela à des positions plutôt centrales pour éviter que la fenêtre ne soit trop au bord... mais est-ce que cela gène vraiment ? Pour les recombinaisons on peut tout à fait avoir une fenêtre au bord.https://gitlab.inria.fr/vidjil/vidjil/-/issues/4684Mise à jour Docker et service de relancement2021-02-10T14:51:50+01:00Mathieu GiraudMise à jour Docker et service de relancement
@duez: down puis `docker pull`, mais est-ce que le service qui relance les containeurs ne pourrait pas courrir et relancer avant des choses ? Bref, Marc propose de couper le service avant. Le documenter dans `server.md` ?
Mais ce servi...
@duez: down puis `docker pull`, mais est-ce que le service qui relance les containeurs ne pourrait pas courrir et relancer avant des choses ? Bref, Marc propose de couper le service avant. Le documenter dans `server.md` ?
Mais ce service de relance est-il uniquement sur lil ? Serait-il intéressant ailleurs, et faut-il le documenter aussi ?https://gitlab.inria.fr/vidjil/vidjil/-/issues/3576Page de connexion sur serveurs externes2021-02-09T18:14:05+01:00Mathieu GiraudPage de connexion sur serveurs externes"You can request an account on this server", et cela ouvre un mail pour support@vidjil.org.
A priori pas de soucis, mais ce serait bien d'avoir au moins le FQDN du serveur pour qu'on renvoie vers la bonne personne."You can request an account on this server", et cela ouvre un mail pour support@vidjil.org.
A priori pas de soucis, mais ce serait bien d'avoir au moins le FQDN du serveur pour qu'on renvoie vers la bonne personne.https://gitlab.inria.fr/vidjil/vidjil/-/issues/3921Avoir une image OVF/OVA2021-02-09T18:02:43+01:00Thonier FlorianAvoir une image OVF/OVAL'équipe IT de Bruxelles demande si nous avons une image vmware pour plus de simplicité.L'équipe IT de Bruxelles demande si nous avons une image vmware pour plus de simplicité.https://gitlab.inria.fr/vidjil/vidjil/-/issues/3797Docker vidjil/client : les fichiers de configuration de l'hôte sont-ils pris ...2021-02-09T18:01:40+01:00Mikaël SalsonDocker vidjil/client : les fichiers de configuration de l'hôte sont-ils pris en compte ?J'ai mis à jour ce matin le conteneur `vidjil/client` sur `vdb` avec un `docker pull vidjil/client:latest`. Problème : le conteneur ne se relançait plus à cause d'une erreur Nginx :
```
BIO_new_file("/etc/nginx/ssl/web2py.crt") failed (...J'ai mis à jour ce matin le conteneur `vidjil/client` sur `vdb` avec un `docker pull vidjil/client:latest`. Problème : le conteneur ne se relançait plus à cause d'une erreur Nginx :
```
BIO_new_file("/etc/nginx/ssl/web2py.crt") failed (SSL: error:02001002:system library:fopen:No such file or directory:fopen('/etc/nginx/ssl/web2py.crt','r') error:2006D080:BIO routines:BIO_new_file:no such file)
```
Le conteneur cherchait à charger les certificats par défaut alors que notre config sur `vdb` dans `docker-compose.yml` indique un autre répertoire où charger les certificats :
```yaml
nginx:
image: vidjil/client:latest
depends_on:
- uwsgi
(…)
volumes:
- /opt/vidjil/log/nginx:/var/log/nginx
- /etc/letsencrypt:/etc/nginx/ssl
```
Cela ne semblait donc pas pris en compte, ce qui ne me semble pas normal.
J'ai dû reconstruire le conteneur en local sur la machine pour que cela fonctionne :
```bash
docker build --no-cache -t 'vidjil/client:latest' vidjil-client
```https://gitlab.inria.fr/vidjil/vidjil/-/issues/4509Documenter la migration de données par migrator.sh2021-02-09T17:32:21+01:00Mathieu GiraudDocumenter la migration de données par migrator.sh
@duez est en train de travailler sur la migration des données, et fera au passage de la ~doc pour cela vdj#1085
Approche doc-first : ces instructions iront dans http://www.vidjil.org/doc/server/#migrating-data, est-ce probablement à la...
@duez est en train de travailler sur la migration des données, et fera au passage de la ~doc pour cela vdj#1085
Approche doc-first : ces instructions iront dans http://www.vidjil.org/doc/server/#migrating-data, est-ce probablement à la place du paragraphe "Filtering data" ? Marc, dès que tu as des choses dessus, on testera/affinera cela
cc @flothoni2020-10-08https://gitlab.inria.fr/vidjil/vidjil/-/issues/3676tools/defs.py : ne plus le versionner (et .sample, docker)2021-02-09T17:31:44+01:00Mikaël Salsontools/defs.py : ne plus le versionner (et .sample, docker)tools/defs.py est pour l'instant versionné ce qui n'est pas vraiment souhaitable. On devrait avoir un système similaire à ce qu'on a pour le serveur.
Il faudrait donc :
* [ ] faire un fichier defs.py.sample
* [ ] intégrer un fichier de...tools/defs.py est pour l'instant versionné ce qui n'est pas vraiment souhaitable. On devrait avoir un système similaire à ce qu'on a pour le serveur.
Il faudrait donc :
* [ ] faire un fichier defs.py.sample
* [ ] intégrer un fichier defs.py externe dans le conteneur dockerhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/3445serveur delocalisé; problème à l'installation; job coincés en queue2021-02-09T17:27:33+01:00Thonier Florianserveur delocalisé; problème à l'installation; job coincés en queueUn utilisateur souhaite installer localement le serveur.
Ils font face à un souci dans l’installation puisque toutes leurs analyses restent en `queue`. A distance, il y a malheureusement beaucoup de source d'erreurs possibles, et je ne ...Un utilisateur souhaite installer localement le serveur.
Ils font face à un souci dans l’installation puisque toutes leurs analyses restent en `queue`. A distance, il y a malheureusement beaucoup de source d'erreurs possibles, et je ne suis pas trop au point sur l'aspect serveur.
Cela me fait penser à vdj#631. Je vais leur demander si ils sont passé par la version docker ou non. Mais dans ce cas, l'erreur de vdj#631 devrait être corrigé sur la dernière version non ?
Dans le cas contraire, qu'elles sont les informatiions qui peuvent nous aider ? les logs du serveur, de l'app vidjil ?
cc: @RyanHerb @mikael\-s @magiraud
PS: voici leur mail explicatif:
>Thanks for providing this support email. We managed to install Vidjil
locally, initiated a database, created an admin user and a couple of
ordinary users. But we are facing problems:
>- when the ordinary users log in, create a patient and load a sample, the
"config" drop down list is empty; the admin's "config" list shows more
options, namely: TRG, multi+inc+xxx, multi+inc, multi, IGH,
default+extract_reads
>- even the admin user, when we select "multi+inc+xxx" in the "config"
list, cannot run the analysis. They apparently get stuck in the QUEUED
mode forever.https://gitlab.inria.fr/vidjil/vidjil/-/issues/1871Déployer align.cgi : quand, comment ?2021-02-09T16:38:33+01:00Vidjil TeamDéployer align.cgi : quand, comment ?Maintenant, nginx prend align.cgi dans /var/www/cgi.
J'ai compilé align.cgi depuis dev et fait un
dev ± rbx ~/git/vidjil-algo/browser/cgi> sudo cp * /var/www/cgi/
À voir comment on fait pour la suite.
***
@magiraud @mikael-sMaintenant, nginx prend align.cgi dans /var/www/cgi.
J'ai compilé align.cgi depuis dev et fait un
dev ± rbx ~/git/vidjil-algo/browser/cgi> sudo cp * /var/www/cgi/
À voir comment on fait pour la suite.
***
@magiraud @mikael-shttps://gitlab.inria.fr/vidjil/vidjil/-/issues/2339Table des utilisateurs : mettre des colonnes 'runs' et 'sets'2021-02-09T16:25:08+01:00Mathieu GiraudTable des utilisateurs : mettre des colonnes 'runs' et 'sets'En faisant le tour des utilisateurs, j'ai eu des sueurs froides en voyant un utilisateur avec 375 samples dans 1 seul patient... c'est juste qu'il fait des runs :-)
cc @mikael-s @RyanHerbEn faisant le tour des utilisateurs, j'ai eu des sueurs froides en voyant un utilisateur avec 375 samples dans 1 seul patient... c'est juste qu'il fait des runs :-)
cc @mikael-s @RyanHerbhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1832Meilleur monitoring2021-02-09T16:24:12+01:00Vidjil TeamMeilleur monitoringUne vue par utilisateur ? Utilisateur loggués, qu'est-ce que chacun fait en nb de tâches ?
Un résumé des % de segmentation ? D'autres trucs ?
La question se pose pour le Vidjil morning comme pour l'onglet "admin".
***
@nobodyUne vue par utilisateur ? Utilisateur loggués, qu'est-ce que chacun fait en nb de tâches ?
Un résumé des % de segmentation ? D'autres trucs ?
La question se pose pour le Vidjil morning comme pour l'onglet "admin".
***
@nobodyhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1811Supervision / monitor externe flexible pour déploiement autres serveurs2021-02-09T16:17:12+01:00Vidjil TeamSupervision / monitor externe flexible pour déploiement autres serveursOn pourrait avoir un petit programme / package autonome à mettre sur une autre machine du même réseau (par exemple au CHR ou à Necker) qui fasse une supervision (par exemple consultable sur page web) et qui fasse des actions (par exemple...On pourrait avoir un petit programme / package autonome à mettre sur une autre machine du même réseau (par exemple au CHR ou à Necker) qui fasse une supervision (par exemple consultable sur page web) et qui fasse des actions (par exemple envoyer des mails, ou ping sur notre serveur central) si problème.
Pour mémoire, uptimerobot vérifie actuellement les adresses suivantes :
https://rbx.vidjil.org/admin
http://rbx.vidjil.org/browser/
https://rbx.vidjil.org/vidjil/admin/monitor/ (vérifie que "QUEUED=0")
On pourrait étendre ce controller monitor et vérifier d'autres choses. La place libre sur /mnt/upload, par exemple :-)
et aussi (non pertinent ici) :
http://www.vidjil.org
https://dev.vidjil.org/admin
http://dev.vidjil.org/browser/
https://dev.vidjil.org/vidjil/admin/monitor/ (vérifie que "QUEUED=0")
On pourrait ajouter :
- align.cgi
- IMGT / IgBlast
***
(Rien d'urgent maintenant...)
***
monitor.vidjil.org pointe vers rby
***
Colonnes "résumées" qui pourraient apparaître dès la page d'accueil.
=== ping (ok ou pas)
=== git
server: 03888f
browser: 03888f
=== health
uptime: 1 day
load average: 0.42, 0.71, 0.71
df /upload: 50 GB
=== scheduler
workers: 2
jobs: 0/0/2 (Queued / Assigned / Running)
last_results: CCQCFFFFFC
=== stats
sample sets: 4261
samples: 3105
jobs: 3500
active users: (5, 12) (day, week)
=== errors
last ticket: 2016-04-03 IOError, bla.py:523 (serveur erreur) (idéalement avec lien)
last error: 2016-04-03 I bla.js:12 (erreurs dans vidjil-debug, comme celles de .js) (idem)
***
- Avoir un mécanisme pour faire les colonnes résumées en post-processant (sur monitorserv) les données retour
- Avoir un mécanisme de warning / critique
par exemple: si scheduler.workers < 2, passe en rouge (et notif/mail)
df /upload : warning puis mail en dessous d'uen certaine place
***
sur les stats on pourrait voir l'évolution selon un pas de temps déterminé (avec (+X) à côté des différents nombres, pour montrer l'évolution sur le pas de temps en question).
***
> sur les stats on pourrait voir l'évolution selon un pas de temps déterminé (avec (+X) à côté des différents nombres, pour montrer l'évolution sur le pas de temps en question).
df /upload: 50 (-5)
sample sets: 4261 (+10)
Oui, génial ! Mais peut-être ce sera fait dans un second temps, directement par monitorserv en comparant plusieurs rapports
***
@magiraud @RyanHerbhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/4328Account creation: Retour dans le client si l'adresse mail est déjà utilisée2021-02-09T16:15:37+01:00Thonier FlorianAccount creation: Retour dans le client si l'adresse mail est déjà utiliséeJe viens de me faire avoir a tenter une création de compte d'un utilisateur existant déjà. Lorsque j'ai fait validé, je suis tombé sur l'affichage du dernier compte créé, et comme j'avais switché de fenêtre pour faire le mail, je ne m'e...Je viens de me faire avoir a tenter une création de compte d'un utilisateur existant déjà. Lorsque j'ai fait validé, je suis tombé sur l'affichage du dernier compte créé, et comme j'avais switché de fenêtre pour faire le mail, je ne m'en suis pas aperçu.
Il faudrait avoir le bouton de validation de création de compte grisé si l'ensemble des champs ne sont pas rempli ou si l'adresse mail est déjà utilisée. Pour cela, il faudrait avoir une requête vers le serveur pour savoir si elle est déjà présente dans la base de données.https://gitlab.inria.fr/vidjil/vidjil/-/issues/4559Simplifier voir limiter/interdire la requête SampleSet pour les admins ?2021-02-09T16:11:39+01:00Mathieu GiraudSimplifier voir limiter/interdire la requête SampleSet pour les admins ?Ne bloque pas !832.
Depuis https://gitlab.inria.fr/vidjil/vidjil/-/merge_requests/832#note_405028 :
> en tant qu'admin : 11s (\~1,4s sur app actuellement)
Comme en tant qu'admin on arrive souvent sur cette page, ne pourrait-on pas avo...Ne bloque pas !832.
Depuis https://gitlab.inria.fr/vidjil/vidjil/-/merge_requests/832#note_405028 :
> en tant qu'admin : 11s (\~1,4s sur app actuellement)
Comme en tant qu'admin on arrive souvent sur cette page, ne pourrait-on pas avoir une requête simplifiée pour les admins... voire pas de requête du tout ?
Ou... faire avec !837 que "My Account" soit la page par défaut (à voir combien de temps met la requête...)
Si un admin veut vraiment aller voir des données, il peut faire un impersonnate ?