vidjil issueshttps://gitlab.inria.fr/vidjil/vidjil/-/issues2016-11-29T14:42:27+01:00https://gitlab.inria.fr/vidjil/vidjil/-/issues/1946Erreurs serveurs dans les runs2016-11-29T14:42:27+01:00Vidjil TeamErreurs serveurs dans les runsLorsque, sur la page de la liste des runs, on clique sur le nom d'une config pour ouvrir un résultat → erreur serveur
***
Lorsqu'on clique sur un « completed » pour voir le log de Vidjil → erreur serveur
***
Confirmé. Maintenant que les ...Lorsque, sur la page de la liste des runs, on clique sur le nom d'une config pour ouvrir un résultat → erreur serveur
***
Lorsqu'on clique sur un « completed » pour voir le log de Vidjil → erreur serveur
***
Confirmé. Maintenant que les runs sont en prod, cela va vite se voir :-)
***
hotfix poussée: 32d560d2ba3df03876a et b16d5e1be7865bd
J'ai pull sur dev; et fait un petit test: Le pull n'a pas encore été fait sur prod-server (mais le merge, oui)
***
@RyanHerb @Duezhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1962Erreur la page des logs lorsque connecté en tant que Aurélie2016-11-29T14:42:38+01:00Vidjil TeamErreur la page des logs lorsque connecté en tant que AurélieSe connecter en tant qu'Aurélie, aller sur la page, choisir la table patient… erreur serveur.
***
C'est bon.
***
@RyanHerb @DuezSe connecter en tant qu'Aurélie, aller sur la page, choisir la table patient… erreur serveur.
***
C'est bon.
***
@RyanHerb @Duezhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1970mauvaise récupération des métadonnées sur Demo L42016-11-29T14:42:44+01:00Vidjil Teammauvaise récupération des métadonnées sur Demo L4En faisant la release 2016.08, j'ai testé sur Demo L4 et X5 (cf vdj/doc/vidjil/release.org).
Apparament cela a bien fonctionné (vu les logs, vu les compare patients)...
Mais le lien pour L4, http://rbx.vidjil.org/browser/index.html?pat...En faisant la release 2016.08, j'ai testé sur Demo L4 et X5 (cf vdj/doc/vidjil/release.org).
Apparament cela a bien fonctionné (vu les logs, vu les compare patients)...
Mais le lien pour L4, http://rbx.vidjil.org/browser/index.html?patient=146&config=26 indique, dans son 'info', MiXCR ! De la même manière, celui pour X5 indique un mauvais numéro de version. Est-ce juste l'analysis qui n'est pas le bon ?
***
Peut-être est-ce la même chose que "Lorsque une partie des fichiers est runné, des métadata des mauvais fichiers sont affichés" ?
***
Pour L4, je confirme que c'est juste un problème d'affichage de l'info : les résultats sont corrects et ont bien été obtenus avec Vidjil.
***
Oui, c'est une relique de l'analysis, comme on avait avec le champ log.
J'ai mis en place une hotfix, comme pour le champ log => 09e65aff7f32d79e53 + 7137057aa9030f8a9a00c
La solution est "hacky" mais si on devait faire proprement, ça prendrais beaucoup de temps... On peut en discuter si vous voulez :)
***
Est-ce toujours d'actualité ? La hotfix a été intégrée ?
***
Oui elle est intégrée :)
***
@magiraud @RyanHerb @mikael-s @Duezhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/2008Redirection de / vers /browser en HTTPS2016-11-29T14:43:09+01:00Vidjil TeamRedirection de / vers /browser en HTTPSEn allant sur https://dev.vidjil.org je ne suis pas redirigé vers le /browser, il faut le rentrer à la main dans l'URL.
***
@RyanHerbEn allant sur https://dev.vidjil.org je ne suis pas redirigé vers le /browser, il faut le rentrer à la main dans l'URL.
***
@RyanHerbhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/2009CSS/JS manquant pour l'admin de dev.vidjil.org2016-11-29T14:43:10+01:00Vidjil TeamCSS/JS manquant pour l'admin de dev.vidjil.orgL'interface d'admin Web2py ne trouve pas ses CSS et JS : https://dev.vidjil.org/admin/default/site
Est-ce lié au HTTPS ? Si c'est spécifique à rbx (la machine), pas de souci. On va passer dev sur vda de toute façon.
***
Oui c'est le pass...L'interface d'admin Web2py ne trouve pas ses CSS et JS : https://dev.vidjil.org/admin/default/site
Est-ce lié au HTTPS ? Si c'est spécifique à rbx (la machine), pas de souci. On va passer dev sur vda de toute façon.
***
Oui c'est le passage au https qui a cassé le css de l'interface admin
***
Et c'est réparé
***
Merci :)
Pour l'historique, quel était le problème ?
***
la règle 'static' de http que j'ai migrée en https. En fait les css de admin passaient déjà en https et le nouveau routage introduisait une erreur
***
@RyanHerbhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1527Coding practice: que met-on dans le contrôleur ?2016-11-30T20:36:26+01:00Vidjil TeamCoding practice: que met-on dans le contrôleur ?Il y a des requêtes BDD dans les contrôleurs. Est-ce vraiment leur place ? Ne faudrait-il pas mettre les requêtes dans les modèles ?
Ne faudrait-il pas découper aussi la partie récupération des paramètres (request.vars) du code lui-même...Il y a des requêtes BDD dans les contrôleurs. Est-ce vraiment leur place ? Ne faudrait-il pas mettre les requêtes dans les modèles ?
Ne faudrait-il pas découper aussi la partie récupération des paramètres (request.vars) du code lui-même ? En gros avoir des fonctions indépendantes de request.vars qui pourraient être utilisées indépendamment de requêtes POST/GET (par exemple dans les scripts).
***
“Put stuff in models if:
Have something to do with accessing db data or helpers for visualizing db data
They consist of a one single file with no dependences
The code only makes sense inside a web2py app and I would not be reusing it outside web2py
[…]
Put stuff in modules if:
The do not require access to request, response, cache, session and thus can be used with ot without web2py .
They consist of multiple files
I need them only in some (but not all) controller functions.”
https://web2py.wordpress.com/2010/04/27/web2py-zen/
***
@nobodyhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1545Résultat bizarre sur R1/R22016-12-08T11:36:57+01:00Vidjil TeamRésultat bizarre sur R1/R2Plein d'utilisateurs font du PE → comment les fusionner ? Et avant de savoir comment on fait : le fait-on ?
***
Pour mémoire, mail de Thomas (04/12/2014) :
I think that assembling the paired ends is not so dangerous since Illumina sequen...Plein d'utilisateurs font du PE → comment les fusionner ? Et avant de savoir comment on fait : le fait-on ?
***
Pour mémoire, mail de Thomas (04/12/2014) :
I think that assembling the paired ends is not so dangerous since Illumina sequencing is quite accurate and PEAR (the program I used: http://sco.h-its.org/exelixis/web/software/pear/doc.html) is conservative and should even correct for decreasing base quality reads in Illumina seq.
***
1) on pourrait avoir cette compétence, par exemple comprendre PEAR et voir s'il a des options potables, pour pouvoir nous-même nous en servir si besoin et/ou conseiller nos utilisateurs
2) par contre, savoir si on met cela dans Vidjil... cela risque de ne pas être facile, intégration à trouver avec le serveur bof bof.
***
PEAR: de toute manière on ne peut pas l'intégrer, licence restrictive
***
On a donc eu des questions à ce sujet de Alice, Thomas, Florian, et Manuel.
***
PEAR: http://bioinformatics.oxfordjournals.org/content/30/5/614.long
http://sco.h-its.org/exelixis/web/software/pear/
Cela a l'air solide et efficace.
***
pRESTO : http://clip.med.yale.edu/presto/
... que du pre-processing, dont un assemblage
La license est un chouia mieux que celle de PEAR (ici, c'est du CC Legal Code Attribution-NonCommercial-ShareAlike 3.0), mais ce n'est pas l'idéal non plus (pas si libre...)
***
Même question de Marie.
***
C'est peut-être la question qui revient le plus souvent de nos utilisateurs... il faudra faire quelque chose, au moins conseiller des options.
***
Filip nous a envoyé des trucs sur pRESTO, à regarder
***
presto : licence CC NC-BY
***
Re-évoqué ce soir (Frédéric). Il faudrait planifier cela dans les prochains mois.
***
À discuter tranquillement après le workshop
***
Marc: "vendredi soir, c'est fait" ;-)
***
Simona (Monza) comme Myriam (Paris) veulent être mises au courant quand c'est bon.
***
- prod-server + prod-browser mis sur dev
- runs et pre-process mis en beta-mode, visible sur http://app.vidjil.org/beta
***
Envoyé à Bruxelles
***
Envoyé aussi à Davi/Myriam et à Simona.
***
La Pitié a essayé (patients 2262 à 2265 entre autres). On a des reads de plus de 350bp en IGH :)
http://rbx.vidjil.org/browser/index.html?sample_set_id=7639&config=26 et choisir « Clone average read length » pour x et mettre l'histogramme
***
Nos utilisatrices sont formidables. Jona a uploadé R1 et R2 séparément et a également testé le merge de R1 et R2 (en conservant R2). Résultat ici en IGH : http://rbx.vidjil.org/browser/index.html?patient=2339&config=2 ou ici en IGH + TRG : http://rbx.vidjil.org/browser/?patient=2339&config=32
Petit hic : en IGH il y a moins de reads analysés pour les reads mergés que sur les reads R2. Je ne comprends pas comment cela est possible. Une idée ?
***
Jona a remis des fichiers de ce genre, en testant toutes les combinaisons possibles. Pas de différence en nombre de reads (en prenant en compte les reads discardés par Pear) : http://rbx.vidjil.org/browser/index.html?sample_set_id=16208&config=30
Les autres données ne sont plus accessibles. Considérons le problème résolu.
***
@mikael-shttps://gitlab.inria.fr/vidjil/vidjil/-/issues/2048Visualisation de la liste des pre-process2016-12-14T11:20:57+01:00Mathieu GiraudVisualisation de la liste des pre-processJe ne vois aucun pre-process (alors qu'en impersonnate Mikaël, je les vois bien). J'ai toujours eu ce problème.
Et, même sans être admin, les utilisateurs devraient pouvoir la voir (même si on ne leur donne pas accès pour l'instant, tou...Je ne vois aucun pre-process (alors qu'en impersonnate Mikaël, je les vois bien). J'ai toujours eu ce problème.
Et, même sans être admin, les utilisateurs devraient pouvoir la voir (même si on ne leur donne pas accès pour l'instant, tout comme pour les config)s.
@RyanHerb @mikael-sRyan HerbertRyan Herberthttps://gitlab.inria.fr/vidjil/vidjil/-/issues/2051Avoir une variable DIR_PEAR pour le preprocess pear2017-01-04T16:12:11+01:00Mikaël SalsonAvoir une variable DIR_PEAR pour le preprocess pearOn ne peut pas imposer aux gens d'avoir PEAR installé globalement sur leur système. Pour l'instant le fichier [pear.py](tools/pear.py#L28) référence directement un exécutable pear qui est censé être dans le `PATH`.
On peut ajouter une...On ne peut pas imposer aux gens d'avoir PEAR installé globalement sur leur système. Pour l'instant le fichier [pear.py](tools/pear.py#L28) référence directement un exécutable pear qui est censé être dans le `PATH`.
On peut ajouter une variable `DIR_PEAR`, dans [defs.py](server/web2py/applications/vidjil/modules/defs.py.sample) (comme on a déjà une variable `DIR_VIDJIL` ou `DIR_MIXCR`).
@magiraud @RyanHerbRyan HerbertRyan Herberthttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1179Formulaire admin pour modifier un utilisateur2017-01-04T16:12:11+01:00Vidjil TeamFormulaire admin pour modifier un utilisateurPour l'instant, ajouter un utilisateur se fait toujours par le register caché :)
***
db.call('default/user/register')
***
menu A (Ctrl A) : possible
***
Le formulaire n'est pas un formulaire d'administration et est accessible à tou...Pour l'instant, ajouter un utilisateur se fait toujours par le register caché :)
***
db.call('default/user/register')
***
menu A (Ctrl A) : possible
***
Le formulaire n'est pas un formulaire d'administration et est accessible à tous. Un robot pourrait très bien remplir la BDD avec plein de comptes bidons.
***
merci ! Il ne manque plus que pouvoir modifier ou supprimer un user, mais ce n'est pas urgent
***
Je remets au goût du jour cette tâche. Ne pas pouvoir modifier l'utilisateur peut être bloquant pour les serveurs déployés à l'extérieur. Les responsables ne vont pas forcément s'amuser à taper dans la BD à la main.
***
Tout à fait. Voir aussi #1682
***
@RyanHerb @magiraud @mikael-s https://gitlab.inria.fr/vidjil/vidjil/-/issues/1840Réuploader un fichier existant ne fonctionne pas2017-01-11T15:41:42+01:00Vidjil TeamRéuploader un fichier existant ne fonctionne pasPrendre n'importe quel Sample, "e", rechosir un fichier à uploader. Boum (et laisse l'onglet base de données dans un état curieux).
***
@RyanHerb @DuezPrendre n'importe quel Sample, "e", rechosir un fichier à uploader. Boum (et laisse l'onglet base de données dans un état curieux).
***
@RyanHerb @Duezhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/2114Mode anonyme / impersonate pour utilisateurs (ayant pourtant le droit infos p...2017-01-19T11:04:30+01:00Mathieu GiraudMode anonyme / impersonate pour utilisateurs (ayant pourtant le droit infos personnelles)Demande de Nathalie. On aimerait se balader dans l’application et avoir une vue anonyme, et en particulier faire un « export report » où tout est anonymisé. On pourrait avoir un switch quelque part (pas loin de My Account, voir #1682 ?...Demande de Nathalie. On aimerait se balader dans l’application et avoir une vue anonyme, et en particulier faire un « export report » où tout est anonymisé. On pourrait avoir un switch quelque part (pas loin de My Account, voir #1682 ? ou bien dans le client ?) qui change virtuellement la permission (c'est finalement comme un "Impersonate").
Une autre solution déjà possible serait de créer un autre compte avec profil invité, mais c’est moins pratique pour les utilisateurs.
@RyanHerb @mikael-s @flothoni https://gitlab.inria.fr/vidjil/vidjil/-/issues/1927Sécurité : tout le monde aurait le droit de changer les configs ?2017-01-31T17:37:21+01:00Vidjil TeamSécurité : tout le monde aurait le droit de changer les configs ?En répondant à Shugay, je voulais lui dire de faire un db.call('index/configs') juste pour voir les configs... et, en essayant de mon côté en étant impersonated sur son compte, je me suis rendu compte que je peux *éditer* les configs (al...En répondant à Shugay, je voulais lui dire de faire un db.call('index/configs') juste pour voir les configs... et, en essayant de mon côté en étant impersonated sur son compte, je me suis rendu compte que je peux *éditer* les configs (alors que le droit n'est que de "read" normalement).
***
Ca va meme plus loin, en creusant un peu, je m'apperçois que lancer un db.call avec les bons parametres dans la console affiche la page meme si on n'est pas connecté.
ex: db.call('sample_set/index', {'id' :'62' , 'config_id' : 5 } )
De là, je peux même télécharger le fichier results.
***
J'ai rajouté des vérifications avec la méthode existante dans auth: can_modify_config et j'ai caché les boutons pour les personnes non-admin.
***
Rando 2016: ok pour Ryan. merci !
***
@RyanHerb @Duezhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1536impersonate2017-01-31T17:37:21+01:00Vidjil TeamimpersonateCela serait utile de pouvoir, en tant qu'admin, prendre le rôle d'un utilisateur sans avoir à se délogguer.
De plus, cela permettrait un log plus propre.
***
Priorité remontée. Avoir ce mécanisme permettrait de vérifier que tout fonction...Cela serait utile de pouvoir, en tant qu'admin, prendre le rôle d'un utilisateur sans avoir à se délogguer.
De plus, cela permettrait un log plus propre.
***
Priorité remontée. Avoir ce mécanisme permettrait de vérifier que tout fonctionne avant d'envoyer des mails à nos utilisateurs.
***
Il faut ajouter la permission 'impersonate' sur auth_user (fait à la main dans la DB pour le groupe admin). Faut-il l'automatiser à l'installation ?
Ensuite se rentre à l'adresse https://rbx.vidjil.org/vidjil/default/user/impersonate/ et rentrer l'identifiant de l'utilisateur dont on veut prendre le rôle. Attention les actions (et erreurs) seront loggées avec cet utilisateur.
***
merci à tous les deux
***
@nobodyhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/2077Sur la page d'un utilisateur, voir aussi le groupe "uniquely assigned to user...2017-01-31T17:37:57+01:00Mathieu GiraudSur la page d'un utilisateur, voir aussi le groupe "uniquely assigned to user Xxx"À chaque fois que l'on crée un utilisateur, on va ensuite à la pêche dans la liste des groupes (voir d'ailleurs #2024). Et le groupe de chaque utilisateur est, pour la majorité des utilisateurs, l'endroit principal où l'on va regarder / ...À chaque fois que l'on crée un utilisateur, on va ensuite à la pêche dans la liste des groupes (voir d'ailleurs #2024). Et le groupe de chaque utilisateur est, pour la majorité des utilisateurs, l'endroit principal où l'on va regarder / mettre ses droits.
@mikael-s @RyanHerbhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/2057Formulaire admin pour modifier un groupe2017-01-31T17:37:57+01:00Mikaël SalsonFormulaire admin pour modifier un groupeDiscuté avec @flothoni et @RyanHerb, ce n'est pas pratique de devoir passer par l'interface d'admin de web2py (et on peut vouloir modifier cela sans être admin web2py). Probablement similaire à #1179 dans la réalisation
@magiraudDiscuté avec @flothoni et @RyanHerb, ce n'est pas pratique de devoir passer par l'interface d'admin de web2py (et on peut vouloir modifier cela sans être admin web2py). Probablement similaire à #1179 dans la réalisation
@magiraudhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/2053Des tâches restent en STOPPED, pas toutes2017-02-02T11:35:22+01:00Mikaël SalsonDes tâches restent en STOPPED, pas toutesVu avec @RyanHerb : lorsqu'un preprocess est lancé et non terminé on peut lancer des jobs, qui sont mis en STOPPED (dans la fonction `schedule_run` de [task.py](server/web2py/applications/vidjil/models.task.py)) :
```python
if db.se...Vu avec @RyanHerb : lorsqu'un preprocess est lancé et non terminé on peut lancer des jobs, qui sont mis en STOPPED (dans la fonction `schedule_run` de [task.py](server/web2py/applications/vidjil/models.task.py)) :
```python
if db.sequence_file[id_sequence].pre_process_flag == "WAIT" or db.sequence_file[id_sequence].pre_process_flag == "RUN" :
db.scheduler_task[task.id] = dict(status ="STOPPED")
```
Lorsque le pre-process est terminé, on récupère les jobs en STOPPED pour les relancer.
```python
#resume STOPPED task for this sequence file
stopped_task = db(
(db.results_file.sequence_file_id == sequence_file_id)
& (db.results_file.scheduler_task_id == db.scheduler_task.id)
& (db.scheduler_task.status == "STOPPED")
).select()
for row in stopped_task :
db.scheduler_task[row.scheduler_task.id] = dict(status = "QUEUED")
```
Sauf que ça ne semble pas fonctionner pour tous. Certains restant en STOPPED.
@magiraudhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/2149Upload de gros fichiers impossible sur vda2017-02-14T22:56:53+01:00Mikaël SalsonUpload de gros fichiers impossible sur vdaL'upload de gros fichier échoue. Il semble qu'au cours de l'upload le fichier soit enregistré quelque part sur la partition de la racine. À la fin de l'upload le fichier semble déplacé/copié dans `/tmp` or comme la partition racine est p...L'upload de gros fichier échoue. Il semble qu'au cours de l'upload le fichier soit enregistré quelque part sur la partition de la racine. À la fin de l'upload le fichier semble déplacé/copié dans `/tmp` or comme la partition racine est petite il n'y a pas de place suffisante et c'est probablement ça qui fait échouer l'upload.
Je ne sais pas s'il faut paramétrer nginx ou web2py (ou les deux). J'ai essayé d'ajouter la directive
```
client_body_temp_path /mnt/data/tmp;
proxy_temp_path /mnt/data/tmp;
```
dans la config Nginx, mais sans succès.2017-02-22https://gitlab.inria.fr/vidjil/vidjil/-/issues/2185Fichier prétendument supprimé lorsqu'on visualise les résultats2017-02-17T13:57:01+01:00Mikaël SalsonFichier prétendument supprimé lorsqu'on visualise les résultatsDavid Gonzalez nous signale un fichier qui apparaît comme supprimé, alors qu'il ne semble pas l'avoir réuploadé (contrairement à ce qu'on avait constaté dans #2103).
Voici l'historique :
```
2017-02-14 10:35:07 <David> 143.117.148.13...David Gonzalez nous signale un fichier qui apparaît comme supprimé, alors qu'il ne semble pas l'avoir réuploadé (contrairement à ce qu'on avait constaté dans #2103).
Voici l'historique :
```
2017-02-14 10:35:07 <David> 143.117.148.135 [21580] c39: process requested - None PT2_DJ-39477647.fastq
2017-02-14 10:33:20 <David> 143.117.148.135 /client/: upload completed - PT2_DJ-39477647.fastq
2017-02-14 10:33:19 <> 143.117.148.135 file {17773} upload finished (PT2_DJ-39477647.fastq) (1.73 GB)
2017-02-14 10:29:02 <David> 143.117.148.135 (21515) file {17773} : upload started: PT2_DJ-39477647.fastq
```
Bref quelque chose de très classique : il uploade le fichier et il lance le processus. Pourquoi, lorsqu'on va sur le résultat, le sample information n'apparaît pas prétendument parce que le fichier aurait été supprimé ? http://app.vidjil.org/index.html?sample_set_id=21515&config=39
cc @RyanHerb @magiraudhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/2151Avoir un mécanisme automatique détectant un downtime de la db2017-02-22T17:07:39+01:00Mathieu GiraudAvoir un mécanisme automatique détectant un downtime de la dbDiscussion originale dans vdj#353.
On veut informer les utilisateurs lors d'un downtime. Idéalement on aimerait avoir une notification manuelle (#2152), mais on n'est pas toujours disponible, ne serait-ce que hors des heures de bureau...Discussion originale dans vdj#353.
On veut informer les utilisateurs lors d'un downtime. Idéalement on aimerait avoir une notification manuelle (#2152), mais on n'est pas toujours disponible, ne serait-ce que hors des heures de bureau sur notre fuseau horaire.
@mikael-s :
> Si db.vidjil.org ne répond pas, la notification pourrait apparaître automatiquement. Mais quelle est la définition de « db.vidjil.org ne répond pas » ? Car c'est déjà un peu le rôle du timeout…
> Peut-être un truc qui s'active en utilisant les messages de UptimeRobot ou du monitor Vidjil ?
@magiraud :
> Il peut y avoir un truc automatique disant "down since Xxxx, we will check soon" (éventuellement "More news to come at 9:30am") qui se lance "tout seul" si c'est offline 10/30 minutes de suite...
@RyanHerb