vidjil issueshttps://gitlab.inria.fr/vidjil/vidjil/-/issues2017-05-22T15:26:06+02:00https://gitlab.inria.fr/vidjil/vidjil/-/issues/2341Des pre-process pensent être QUEUED… sans l'être réellement2017-05-22T15:26:06+02:00Mikaël SalsonDes pre-process pensent être QUEUED… sans l'être réellementPatient 5438 : 3 pré-process apparaissent QUEUED (depuis hier soir) alors qu'aucun ne l'est selon l'interface d'admin…
cc @magiraud @flothoniPatient 5438 : 3 pré-process apparaissent QUEUED (depuis hier soir) alors qu'aucun ne l'est selon l'interface d'admin…
cc @magiraud @flothoniWeb 2017.05Ryan HerbertRyan Herberthttps://gitlab.inria.fr/vidjil/vidjil/-/issues/2537Échecs de process Vidjil et Fuse2017-06-20T14:44:33+02:00Mikaël SalsonÉchecs de process Vidjil et FuseJe viens de voir dans le `vidjil-debug.log` des échecs pour Prague :
```
2017-06-20 12:27:19 <> None ERROR task.py:534 [26142] c2: 'fuse' FAILED - /mnt/data/prod/result/tmp/out-026142//026142-24015.fused
[…]
2017-06-20 12:27:08 ...Je viens de voir dans le `vidjil-debug.log` des échecs pour Prague :
```
2017-06-20 12:27:19 <> None ERROR task.py:534 [26142] c2: 'fuse' FAILED - /mnt/data/prod/result/tmp/out-026142//026142-24015.fused
[…]
2017-06-20 12:27:08 <> None ERROR task.py:232 [26141] c2: Vidjil FAILED - /mnt/data/prod/result/tmp/out-026141/
```
Peux-tu regarder @flothoni ?
De manière générale, n'hésite pas à jeter un œil au vidjil-debug régulièrement, voir si tout va bien (ça m'arrive aussi de cliquer aléatoirement sur un échantillon pour regarder s'il n'y a rien de bizarre).https://gitlab.inria.fr/vidjil/vidjil/-/issues/2605Admin: Liste des jobs en attente, en cours depuis l'interface admin2020-11-18T16:50:48+01:00Thonier FlorianAdmin: Liste des jobs en attente, en cours depuis l'interface adminJe vois à l'instant qu'il y a 30 jobs en attente.
De l'autre côté, Aurélie me dit que son job est long a se lancer, et qu'elle est préssée à cause de la fermeture du serveur lundi et mardi.
Cependant, je ne peux pas dire depuis l'inte...Je vois à l'instant qu'il y a 30 jobs en attente.
De l'autre côté, Aurélie me dit que son job est long a se lancer, et qu'elle est préssée à cause de la fermeture du serveur lundi et mardi.
Cependant, je ne peux pas dire depuis l'interface si son jobs va se lancer prochainement ou à la fin de la liste.
@magiraud @mikael-s @RyanHerbhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/2609ajouter information sur les patients ouvert par un utilisateur dans la database2022-06-21T14:05:14+02:00Thonier Florianajouter information sur les patients ouvert par un utilisateur dans la databasePour faire suite aux remarques en #2605, # 2606 et #2607, voici mes petites réflexions initiales :
Il faut pour pouvoir effectuer ces tâches que l’information soit présente dans la base de données.
En y réfléchissant un peu plus, je p...Pour faire suite aux remarques en #2605, # 2606 et #2607, voici mes petites réflexions initiales :
Il faut pour pouvoir effectuer ces tâches que l’information soit présente dans la base de données.
En y réfléchissant un peu plus, je pense que le mieux serait d’avoir l' information pour chaque utilisateur et non pas sur les fichiers, comme ça même si plusieurs membres d'une équipe consulte le même patient (par exemple le tech qui lance le run et vérifie son bon déroulement, et le praticien qui consulte les résultat pour les interpréter) ne se croiserait pas.
Il faut donc que lorsqu'un job se met en attente, tourne ou se termine, il mette à jours ses entrée pour l'ensemble des membre du groupe dans le DB.https://gitlab.inria.fr/vidjil/vidjil/-/issues/3093Sur dev des workers sont présents, mais les tâches restent QUEUED2018-03-22T11:33:19+01:00Mikaël SalsonSur dev des workers sont présents, mais les tâches restent QUEUEDDepuis les problèmes qu'on a eus sur dev.vidjil.org, les tâches ne sont plus attribuées à des workers. Alors qu'il y a pourtant des workers qui existent.
/cc @RyanHerbDepuis les problèmes qu'on a eus sur dev.vidjil.org, les tâches ne sont plus attribuées à des workers. Alors qu'il y a pourtant des workers qui existent.
/cc @RyanHerbhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/3213Éditer un sample qui possède un pre-process empêche de relancer une analyse d...2019-09-24T11:20:32+02:00Mikaël SalsonÉditer un sample qui possède un pre-process empêche de relancer une analyse dessusQuand on édite un fichier possédant un pre-process, le `sequence_file.pre_process_flag` passe à `WAIT` ce qui affiche le pre-process comme étant « `QUEUED` » (ce qui n'est d'ailleurs pas le cas). Cet état empêche ensuite de (re)lancer to...Quand on édite un fichier possédant un pre-process, le `sequence_file.pre_process_flag` passe à `WAIT` ce qui affiche le pre-process comme étant « `QUEUED` » (ce qui n'est d'ailleurs pas le cas). Cet état empêche ensuite de (re)lancer toute analyse sur ce fichier, puisque l'analyse se met en état « STOPPED » attendant que le pre-process se finisse (ce qui n'arrivera jamais… puisqu'aucun pre-process n'a été relancé).
Éditer un fichier avec un pre-process, ne devrait pas toucher à l'état du `pre_process_flag` (à moins qu'on ait vraiment changé des choses sur le pre-process utilisé).https://gitlab.inria.fr/vidjil/vidjil/-/issues/3258Modification d'un sample avec un pre-process2018-07-27T17:29:06+02:00Anne de SeptenvilleModification d'un sample avec un pre-processJ'ai ajouté de nouveaux samples, mais j'ai oublié de les inclure dans un set existant.
C'était avant tout à fait possible d'ajouter un set a posteriori.
J'ai donc ajouté le set dans la page d'édition du sample (sans toucher à rien d'aut...J'ai ajouté de nouveaux samples, mais j'ai oublié de les inclure dans un set existant.
C'était avant tout à fait possible d'ajouter un set a posteriori.
J'ai donc ajouté le set dans la page d'édition du sample (sans toucher à rien d'autre), mais là Vidjil semble vouloir à nouveau faire tourner le pre-process (qui reste affiché comme [queued]). C'est assez embêtant.https://gitlab.inria.fr/vidjil/vidjil/-/issues/3289Un process peut se lancer avant son pre-process si R2 n'a pas fini d'être tél...2018-07-03T09:57:04+02:00Mikaël SalsonUn process peut se lancer avant son pre-process si R2 n'a pas fini d'être téléchargéCela reste encore une hypothèse mais qui explique bien ce qui est observé dans vdj#684.Cela reste encore une hypothèse mais qui explique bien ce qui est observé dans vdj#684.https://gitlab.inria.fr/vidjil/vidjil/-/issues/3452Comment lancer les calculs pour avoir les données pour les widgets ?2018-10-05T19:18:20+02:00Mathieu GiraudComment lancer les calculs pour avoir les données pour les widgets ?Voir #3407.
Constat : on ne peut pas tout recalculer, en tout cas pour des grosses données agrégées.
Pistes évoquées avec @mikael\-s et @RyanHerb :
- 1. vidjil-algo pourrait remplir des choses. Pourquoi pas (et peut-être que certain...Voir #3407.
Constat : on ne peut pas tout recalculer, en tout cas pour des grosses données agrégées.
Pistes évoquées avec @mikael\-s et @RyanHerb :
- 1. vidjil-algo pourrait remplir des choses. Pourquoi pas (et peut-être que certains infos ne sont sortables que dans l'algo), mais cela ne serait pas systématique
- 2a. **task.py, après vidjil, pourrait lancer un autre script .py qui modifierait le `.vidjil` en ajoutant ce qu'il faut.**
- 2b. Ou bien... dans le fichier fuse.
- 3. ou bien faire un fichier supplémentaire `.vidjil-extra`, là encore créé par task.py
- 3a. en DB (mais très peu motivé pour modifier le schéma de la DB pour quelque chose comme cela)
- 3b. léger, à la `out-xxxxxx/` (et si le fichier n'est pas là, tant pis, on n'affiche pas ou on recalcule)Ryan HerbertRyan Herberthttps://gitlab.inria.fr/vidjil/vidjil/-/issues/3606Si les pre-process échouent, les jobs du process restent QUEUED2018-11-07T13:21:52+01:00Mikaël SalsonSi les pre-process échouent, les jobs du process restent QUEUEDÀ l'inverse les jobs devraient échouer.À l'inverse les jobs devraient échouer.https://gitlab.inria.fr/vidjil/vidjil/-/issues/3621Ne pas lancer des fuse sans fichier2018-11-21T16:11:12+01:00Mathieu GiraudNe pas lancer des fuse sans fichiervdj#754
Discussion avec @mikael\-s, @flothoni, @RyanHerb : le `files` de ~"server-task.py" est vide dans certains cas:
https://gitlab.inria.fr/vidjil/vidjil/blob/dev/server/web2py/applications/vidjil/models/task.py#L628
car si on a sup...vdj#754
Discussion avec @mikael\-s, @flothoni, @RyanHerb : le `files` de ~"server-task.py" est vide dans certains cas:
https://gitlab.inria.fr/vidjil/vidjil/blob/dev/server/web2py/applications/vidjil/models/task.py#L628
car si on a supprimé des fichiers, y compris tout, on relance.
- ne pas relancer un `fuse` si on a supprimé tout... mais difficile à détecter ?
- dans tous les cas (et peut-être cela suffira) failsafe dans `run_fuse`, si `files` est videhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/3626`compute_extra` plante s'il n'y a pas de clone2018-11-13T18:11:20+01:00Mikaël Salson`compute_extra` plante s'il n'y a pas de clone```
Traceback (most recent call last):
File "/home/vidjil/git/server/vidjil/server/web2py/gluon/scheduler.py", line 501, in executor
result = dumps(_function(*args, **vars))
File "applications/vidjil/models/task.py", line 331, in...```
Traceback (most recent call last):
File "/home/vidjil/git/server/vidjil/server/web2py/gluon/scheduler.py", line 501, in executor
result = dumps(_function(*args, **vars))
File "applications/vidjil/models/task.py", line 331, in run_vidjil
compute_extra(id_file, id_config, 5)
File "applications/vidjil/models/task.py", line 111, in compute_extra
for clone in d["clones"]:
TypeError: 'NoneType' object is not iterable
```https://gitlab.inria.fr/vidjil/vidjil/-/issues/3785Combo -FaW obsolète2019-03-12T14:08:29+01:00Mathieu GiraudCombo -FaW obsolèteC'est une conséquence malheureuse de !434 (peut-être la plus pénible sur l'ensemble des tests changés): la combo `-FaW` devient `--out-reads --label-filter --label`... c'est lourd (et même si on mettait `--filter` au lieu de `--label-fil...C'est une conséquence malheureuse de !434 (peut-être la plus pénible sur l'ensemble des tests changés): la combo `-FaW` devient `--out-reads --label-filter --label`... c'est lourd (et même si on mettait `--filter` au lieu de `--label-filter`).
Voir #3305, et la combo est aussi mentionnée ou utilisée dans `vidjil-algo.md` et dans `task.py` pour #1469.
On pourrait faire aussi un raccourci pour ces trois options, mais je ne suis pas sûr que cela aide à la compréhension de l'ensemble. Bref tant pis ?Algo 2018.12https://gitlab.inria.fr/vidjil/vidjil/-/issues/3907Vérifier qu'un pre-process a le bon nombre de fichiers avant de le soumettre/...2020-03-09T11:58:41+01:00Mikaël SalsonVérifier qu'un pre-process a le bon nombre de fichiers avant de le soumettre/lancerUn peu discuté dans vdj#868 : on peut choisir un pre-process et ne pas sélectionner tous les fichiers sans que le formumlaire se plaigne.
De plus on peut imaginer la situation où l'upload d'un des deux fichiers plante.
Bref il faut vér...Un peu discuté dans vdj#868 : on peut choisir un pre-process et ne pas sélectionner tous les fichiers sans que le formumlaire se plaigne.
De plus on peut imaginer la situation où l'upload d'un des deux fichiers plante.
Bref il faut vérifier que le bon nombre de fichiers requis est dispo à la soumission et avant de lancer le pre-processMikaël SalsonMikaël Salsonhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/4047Analyse FAILED2019-11-18T12:40:44+01:00Anne de SeptenvilleAnalyse FAILEDJ'ai 2 samples du dernier run pour lesquels l'analyse IGH a un problème. Le merge semble tout à fait normal.
Il s'agit des patient 34429 et 34430.
>Traceback (most recent call last):
File "/usr/share/vidjil/server/web2py/gluon/s...J'ai 2 samples du dernier run pour lesquels l'analyse IGH a un problème. Le merge semble tout à fait normal.
Il s'agit des patient 34429 et 34430.
>Traceback (most recent call last):
File "/usr/share/vidjil/server/web2py/gluon/scheduler.py", line 501, in executor
result = dumps(_function(*args, **vars))
File "applications/vidjil/models/task.py", line 353, in run_vidjil
run_fuse(id_file, id_config, id_data, sample_set_id, clean_before = False)
File "applications/vidjil/models/task.py", line 691, in run_fuse
stream = open(fuse_filepath, 'rb')
IOError: [Errno 2] No such file or directory: '/mnt/result/tmp/out-066735/066735-33789.fused'https://gitlab.inria.fr/vidjil/vidjil/-/issues/4252Impossible de relancer une analyse effectuée2020-04-21T15:36:49+02:00Anne de SeptenvilleImpossible de relancer une analyse effectuéeJe ne sais pas si c'est voulu, mais j'ai l'impression que s'il existe un résultat pour une analyse, il n'est maintenant plus possible de relancer celle-ci (l'engrenage a disparu). Or je souhaitais reprendre d'anciens samples, que j'aurai...Je ne sais pas si c'est voulu, mais j'ai l'impression que s'il existe un résultat pour une analyse, il n'est maintenant plus possible de relancer celle-ci (l'engrenage a disparu). Or je souhaitais reprendre d'anciens samples, que j'aurais préféré d'abord réanalyser avec la dernière config (prenant en compte le consensus on random sample).https://gitlab.inria.fr/vidjil/vidjil/-/issues/4388Supprimer le .vidjil après l'avoir inséré en base de données2020-09-30T19:01:54+02:00Mikaël SalsonSupprimer le .vidjil après l'avoir inséré en base de donnéescf. https://gitlab.inria.fr/vidjil/vdj/-/issues/1083#note_354189
Le fichier est dupliqué : il est à la fois dans le répertoire `tmp/` et également dans le répertoire `results` lorsque stocké dans la base de données. Autant le supprimer ...cf. https://gitlab.inria.fr/vidjil/vdj/-/issues/1083#note_354189
Le fichier est dupliqué : il est à la fois dans le répertoire `tmp/` et également dans le répertoire `results` lorsque stocké dans la base de données. Autant le supprimer dès qu'il est inséré (avec succès) dans la BDDhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/2053Des tâches restent en STOPPED, pas toutes2017-02-02T11:35:22+01:00Mikaël SalsonDes tâches restent en STOPPED, pas toutesVu avec @RyanHerb : lorsqu'un preprocess est lancé et non terminé on peut lancer des jobs, qui sont mis en STOPPED (dans la fonction `schedule_run` de [task.py](server/web2py/applications/vidjil/models.task.py)) :
```python
if db.se...Vu avec @RyanHerb : lorsqu'un preprocess est lancé et non terminé on peut lancer des jobs, qui sont mis en STOPPED (dans la fonction `schedule_run` de [task.py](server/web2py/applications/vidjil/models.task.py)) :
```python
if db.sequence_file[id_sequence].pre_process_flag == "WAIT" or db.sequence_file[id_sequence].pre_process_flag == "RUN" :
db.scheduler_task[task.id] = dict(status ="STOPPED")
```
Lorsque le pre-process est terminé, on récupère les jobs en STOPPED pour les relancer.
```python
#resume STOPPED task for this sequence file
stopped_task = db(
(db.results_file.sequence_file_id == sequence_file_id)
& (db.results_file.scheduler_task_id == db.scheduler_task.id)
& (db.scheduler_task.status == "STOPPED")
).select()
for row in stopped_task :
db.scheduler_task[row.scheduler_task.id] = dict(status = "QUEUED")
```
Sauf que ça ne semble pas fonctionner pour tous. Certains restant en STOPPED.
@magiraudhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1519Lancer une config sur beaucoup de patients/fichiers2023-06-29T10:28:18+02:00Vidjil TeamLancer une config sur beaucoup de patients/fichiersIl arrive qu'on veuille lancer (ou relancer) une config sur beaucoup de patients / fichiers. Avec le patient précédent/suivant, c'est plus facile, mais cela reste très manuel :)
Il faudrait une page où on voit tous les fichiers (celle d...Il arrive qu'on veuille lancer (ou relancer) une config sur beaucoup de patients / fichiers. Avec le patient précédent/suivant, c'est plus facile, mais cela reste très manuel :)
Il faudrait une page où on voit tous les fichiers (celle de "compare patients" par exemple) ou bien tous les patients, on sélectionne ceux qu'on veut, et on lance une config. Peut-être qu'une confirmation serait la bienvenue avant de lancer des centaines de Vidjil :)
***
@nobodyhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1930Tout ce qui est dans task.py devrait être lancé par un autre utilisateur2022-06-20T18:11:04+02:00Vidjil TeamTout ce qui est dans task.py devrait être lancé par un autre utilisateurDiscussion à l'instant: dans task.py, il peut y avoir des choses méchantes de faites, que ce soit via les configs ou les pre-process.
On pourrait échapper des choses, faire un chroot...
Le plus simple semble de faire tous les lancements...Discussion à l'instant: dans task.py, il peut y avoir des choses méchantes de faites, que ce soit via les configs ou les pre-process.
On pourrait échapper des choses, faire un chroot...
Le plus simple semble de faire tous les lancements par un *autre utilisateur*, qui n'aurait des droits en écriture que sur tmp/. Cela devrait passer tout seul pour vidjil / mixcr (le fichier de résultat étant copié), à voir pour les pre-process.
***
@nobodyhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1950Trouver une autre méthode de scheduling, indépendante de web2py2022-06-20T11:59:42+02:00Vidjil TeamTrouver une autre méthode de scheduling, indépendante de web2py(Discuté lors de la Rando 2016)
Un scheduler idéal devrait pouvoir avoir :
1) des priorités fines (petits jobs passent devant gros jobs) (et aussi users Platinium :-)
2) une suspension de tâches
3) une assignation fine de certains (gr...(Discuté lors de la Rando 2016)
Un scheduler idéal devrait pouvoir avoir :
1) des priorités fines (petits jobs passent devant gros jobs) (et aussi users Platinium :-)
2) une suspension de tâches
3) une assignation fine de certains (groupes de) workers à certaines tâches
2) ou 3) permettrait de lancer des choses annexes et rapides (type FineSegmenter ou compare patients ou ...) même si des gros Vidjil (ou autres) tournent
Enfin, penser tout cela dans le cadre d'un "noeud de calcul", possiblement indépendant du serveur web. Le serveur de calcul ne reçoit que des lignes de commande à exécuter et à accès aux fichiers nécessaires par un montage.
Rien d'urgent, à réfléchir posément dans les prochains mois.
***
Task spooler: http://vicerveza.homeunix.net/~viric/soft/ts/ présente les fonctionnalités majeures que nous cherchons (tâches interdépendantes, changement d'ordre dans la file, etc), mais n'a pas d'API pour s'en servir en réseau.
***
@RyanHerb @Duezhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/2055Mise à jour de web2py et nouvelles fonctionnalités2020-01-22T13:56:36+01:00Mathieu GiraudMise à jour de web2py et nouvelles fonctionnalitésSuite à vidjil/vdj#299, web2py est passé de 2.9.9 à 2.14.6, avec plus de 18 mois de nouveaux développements. Mais on avait déjà, sur d'autres serveurs, des web2py plus à jour. Devrait-on avoir un mécanisme pour garantir que web2py ne res...Suite à vidjil/vdj#299, web2py est passé de 2.9.9 à 2.14.6, avec plus de 18 mois de nouveaux développements. Mais on avait déjà, sur d'autres serveurs, des web2py plus à jour. Devrait-on avoir un mécanisme pour garantir que web2py ne reste pas trop longtemps dans une vieille version ?
Les nouveautés : https://github.com/web2py/web2py/blob/master/CHANGELOG
Il y a deux fois "Improved scheduler", à voir si cela a changé quelque chose:
Parmi les prochains points prévus :
- enfin python 3 (voir #1345)
- scheduler new feature: you can now specify intervals with cron
- gluon/* removed from sys.path. Applications relying on statements like e.g. "from storage import Storage" will need to be rewritten with "from gluon.storage import Storage"
- tests can only be run with the usual web2py.py --run_system_tests OR with python -m unittest -v gluon.tests on the root dir
@mikael-s @RyanHerbhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/2320Quand le scheduler ne fonctionne pas, les jobs en FAILED n'apparaissent pas d...2024-01-19T18:30:34+01:00Mikaël SalsonQuand le scheduler ne fonctionne pas, les jobs en FAILED n'apparaissent pas dans le log debugAurélie nous prévient que certains jobs ont échoué mais rien n'apparaît dans `vidjil-debug.log`
cc @magiraud @RyanHerb @flothoniAurélie nous prévient que certains jobs ont échoué mais rien n'apparaît dans `vidjil-debug.log`
cc @magiraud @RyanHerb @flothonihttps://gitlab.inria.fr/vidjil/vidjil/-/issues/5264Lien vers l'analyse qui n'apparaît pas2024-03-25T17:15:56+01:00Anne de SeptenvilleLien vers l'analyse qui n'apparaît pasBonjour,
J'ai à nouveau des analyses dont les liens d'accès n'apparaissent pas. J'en ai déjà parlé ici #5196 pour des analyse IGK. J'ai à nouveau ce problème pour la patient 62835 dont j'ai lancé les analyses IGH et clonality-no-clu...Bonjour,
J'ai à nouveau des analyses dont les liens d'accès n'apparaissent pas. J'en ai déjà parlé ici #5196 pour des analyse IGK. J'ai à nouveau ce problème pour la patient 62835 dont j'ai lancé les analyses IGH et clonality-no-clustering.
J'arrive quand même à accéder à l'analyse en passant pas "compare some of these samples" puis "see result" mais c'est tout sauf pratique et pose d'autres problèmes ensuite.Web hotfix 2024.01CHESNIN ClementCHESNIN Clement