vidjil issueshttps://gitlab.inria.fr/vidjil/vidjil/-/issues2024-02-01T16:39:24+01:00https://gitlab.inria.fr/vidjil/vidjil/-/issues/5232Exception on server when error occurs in sample_set creation2024-02-01T16:39:24+01:00CHESNIN ClementException on server when error occurs in sample_set creationVu dans les tickets sur app :
```
Traceback (most recent call last):
File "/usr/local/lib/python3.8/dist-packages/py4web/core.py", line 944, in wrapper
ret = func(*func_args, **func_kwargs)
File "/usr/local/lib/python3.8/dist-pac...Vu dans les tickets sur app :
```
Traceback (most recent call last):
File "/usr/local/lib/python3.8/dist-packages/py4web/core.py", line 944, in wrapper
ret = func(*func_args, **func_kwargs)
File "/usr/local/lib/python3.8/dist-packages/py4web/core.py", line 929, in wrapper
raise context["exception"]
File "/usr/local/lib/python3.8/dist-packages/py4web/core.py", line 908, in wrapper
context["output"] = func(*args, **kwargs)
File "/usr/share/vidjil/server/py4web/apps/vidjil/modules/vidjil_utils.py", line 73, in wrapper
result = func(*args, **kwargs)
File "/usr/share/vidjil/server/py4web/apps/vidjil/controllers/sample_set.py", line 480, in submit
if should_register_tags:
UnboundLocalError: local variable 'should_register_tags' referenced before assignment
```
Pour reproduire : créer un patient avec le caractère `|` dans le nomWeb hotfix 2024.01CHESNIN ClementCHESNIN Clementhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/5231Refacto .env and .env-default handling to prevent issue if .env is not define...2024-01-31T13:45:03+01:00CHESNIN ClementRefacto .env and .env-default handling to prevent issue if .env is not defined on local configC'est embêtant, parce qu'on a une erreur lorsqu'il n'y a rien dans le .env (ce qui est le cas par défaut)C'est embêtant, parce qu'on a une erreur lorsqu'il n'y a rien dans le .env (ce qui est le cas par défaut)Web 2024.04https://gitlab.inria.fr/vidjil/vidjil/-/issues/5230Error when opening access.log from admin page on app2024-01-31T13:47:58+01:00CHESNIN ClementError when opening access.log from admin page on appAprès la correction de https://gitlab.inria.fr/vidjil/vidjil/-/issues/5228, on a toujours un souci pour l'ouverture de du access.log nginx sur app. Ca fonctionne bien en local.
Voici la stack trace :
```
ERROR:root:Traceback (most recen...Après la correction de https://gitlab.inria.fr/vidjil/vidjil/-/issues/5228, on a toujours un souci pour l'ouverture de du access.log nginx sur app. Ca fonctionne bien en local.
Voici la stack trace :
```
ERROR:root:Traceback (most recent call last):
File "/usr/local/lib/python3.8/dist-packages/py4web/core.py", line 944, in wrapper
ret = func(*func_args, **func_kwargs)
File "/usr/local/lib/python3.8/dist-packages/py4web/core.py", line 929, in wrapper
raise context["exception"]
File "/usr/local/lib/python3.8/dist-packages/py4web/core.py", line 908, in wrapper
context["output"] = func(*args, **kwargs)
File "/usr/share/vidjil/server/py4web/apps/vidjil/modules/vidjil_utils.py", line 73, in wrapper
result = func(*args, **kwargs)
File "/usr/share/vidjil/server/py4web/apps/vidjil/controllers/admin.py", line 96, in showlog
for row in reversed(file.readlines()) :
MemoryError
```
C'est lié à la taille du fichier de log : `-rw-r--r-- 1 root root 4050790122 Jan 30 15:50 access.log`
Idées de solutions (potentiellement cumulables):
- Faire une rotation de logs dans différents fichiers
- N'afficher qu'un certain nombre de lignes dans l'interface
Il faudrait sans doute aussi regarder dans les autres fichiers de log (notamment vidjil)Web 2024.04https://gitlab.inria.fr/vidjil/vidjil/-/issues/5229Use gre as app front2024-01-31T14:28:36+01:00CHESNIN ClementUse gre as app frontNous avions un souci avec le front sur gre à cause des cors, nous avons donc fait le choix de faire pointer app vers vdb temporairement.
Il faudrait rétablir app sur greNous avions un souci avec le front sur gre à cause des cors, nous avons donc fait le choix de faire pointer app vers vdb temporairement.
Il faudrait rétablir app sur greWeb hotfix 2024.01https://gitlab.inria.fr/vidjil/vidjil/-/issues/5228Error when opening logs on admin page2024-02-01T16:40:49+01:00CHESNIN ClementError when opening logs on admin pageErreur `UnicodeDecodeError: 'ascii' codec can't decode byte`
Déjà vu par ailleurs, contourné en ajoutant un `encoding="utf-8"` lors du `open`
Pourrait être intéressant de voir pourquoi utf-8 n'est pas le mode par défaut, semble être lié ...Erreur `UnicodeDecodeError: 'ascii' codec can't decode byte`
Déjà vu par ailleurs, contourné en ajoutant un `encoding="utf-8"` lors du `open`
Pourrait être intéressant de voir pourquoi utf-8 n'est pas le mode par défaut, semble être lié à uwsgiWeb hotfix 2024.01CHESNIN ClementCHESNIN Clementhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/5227CGI error on align2024-01-31T14:30:03+01:00CHESNIN ClementCGI error on alignNous avions un premier souci avec des erreurs cgi quand on appelait align sur app, dues à des erreurs cors lors de l'appel vers vdb. Ca a été contourné en appelant les cgi côté front dans la conf. Cependant, on a maintenant une erreur su...Nous avions un premier souci avec des erreurs cgi quand on appelait align sur app, dues à des erreurs cors lors de l'appel vers vdb. Ca a été contourné en appelant les cgi côté front dans la conf. Cependant, on a maintenant une erreur sur le front vdbWeb hotfix 2024.01CHESNIN ClementCHESNIN Clementhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/5226IMGT refresh button not working on app2024-01-31T14:29:46+01:00CHESNIN ClementIMGT refresh button not working on appOn a une erreur CORS lorsqu'on appuye sur le bouton pour faire appel à IMGT depuis l'alignerOn a une erreur CORS lorsqu'on appuye sur le bouton pour faire appel à IMGT depuis l'alignerWeb hotfix 2024.01CHESNIN ClementCHESNIN Clementhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/5225Group order changed in patient creation2024-01-31T14:29:37+01:00CHESNIN ClementGroup order changed in patient creationSeen on app in new patient creation
Mail de MP - Problème attribution Groups du 26/01/24
> Je vous écris car mon compte semble toujours bien associé au groupe de Saint-Louis mais lorsque j'ajoute des patients dans la colonne "Groups" la...Seen on app in new patient creation
Mail de MP - Problème attribution Groups du 26/01/24
> Je vous écris car mon compte semble toujours bien associé au groupe de Saint-Louis mais lorsque j'ajoute des patients dans la colonne "Groups" la dénomination "Hôpital Saint-Louis" n'apparait plus mais à la place j'ai "user_0243" et cela impact les paramètres habituels retenus pour nommer les analyses.
Commentaire de Mikaël
> Clément pour le problème de groupe, c'est potentiellement très gênant. On a beaucoup d'utilisateurs qui ont un groupe général. Et normalement à la création d'un sample, c'est le groupe général qui est pré-sélectionné pour que les fichiers ajoutés soient mis dedans et disponibles pour tout le groupe (et s'il y avait plusieurs groupes possibles on mettait par défaut le groupe où il y a le plus de données). Si le comportement par défaut a changé, il risque d'y avoir des problèmes dans les hôpitaux où tout le groupe ne verra pas les données ajoutées par une personne.Web hotfix 2024.01CHESNIN ClementCHESNIN Clementhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/5224Avoir un codemeta.json + dépôt sur HAL2024-02-06T12:37:24+01:00Mathieu GiraudAvoir un codemeta.json + dépôt sur HAL
https://www.softwareheritage.org/faq/#54_What_is_the_codemetajson_file_why_should_I_use_it
https://codemeta.github.io/
> > - [ ] mis un codemeta.json en utilsant https://codemeta.github.io/codemeta-generator/
> > - [x] vérifié/ajouté ...
https://www.softwareheritage.org/faq/#54_What_is_the_codemetajson_file_why_should_I_use_it
https://codemeta.github.io/
> > - [ ] mis un codemeta.json en utilsant https://codemeta.github.io/codemeta-generator/
> > - [x] vérifié/ajouté AUTHORS, LICENSE, README en suivant https://doc.archives-ouvertes.fr/deposer/deposer-le-code-source/
> > - [ ] sur SWH, demandé "save again" pour qu'il rafraichisse (c'est fait en quelques minutes)
> > - [ ] puis sur HAL, import à partir d'un identifiant SWH (pas de .zip)... et, magie, plusieurs champs de HALhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/5223Pouvoir créer une config en dupliquant une config existante2024-01-25T16:02:05+01:00Mathieu GiraudPouvoir créer une config en dupliquant une config existanteévoqué avec @clement.chesnin @mikael-s
Un bouton => on pourrait arriver sur la page de création de config, avec tout déjà rempli, on n'a plus qu'à modifier ce qu'il fautévoqué avec @clement.chesnin @mikael-s
Un bouton => on pourrait arriver sur la page de création de config, avec tout déjà rempli, on n'a plus qu'à modifier ce qu'il fauthttps://gitlab.inria.fr/vidjil/vidjil/-/issues/5222Get rid of python2.7 for the algorithm and switch to Python32024-02-07T19:18:15+01:00Mikaël SalsonGet rid of python2.7 for the algorithm and switch to Python3This is becoming a limiting factor at least for the CI but probably for the distribution of Vidjil-algo (at least for the accompanying scripts).
Just specifying python2 everywhere is not enough: python2 cannot be installed easily anymore...This is becoming a limiting factor at least for the CI but probably for the distribution of Vidjil-algo (at least for the accompanying scripts).
Just specifying python2 everywhere is not enough: python2 cannot be installed easily anymore on recent distributions.
We need to convert:
* [ ] Scripts in `germline/` #5031 !1414
* [ ] fuse.py #4455 (!1221 ?)
* [ ] `should-vdj-to-tap.py` !1412
* [ ] `repseq_vdj.py` !1412
(and potentially others)Algo 2024.04https://gitlab.inria.fr/vidjil/vidjil/-/issues/5221Tag; add them to doc2024-01-24T18:04:04+01:00THONIER FlorianTag; add them to docWe can extract default list of tags to insert them in doc.
Maybe class them by type (disease, locus, sequencing protocol, ...).We can extract default list of tags to insert them in doc.
Maybe class them by type (disease, locus, sequencing protocol, ...).Web 2024.04https://gitlab.inria.fr/vidjil/vidjil/-/issues/5220configuration, don't allow to use "," or ";" characters in config name2024-01-31T14:31:06+01:00THONIER Florianconfiguration, don't allow to use "," or ";" characters in config nameThis character are use to split results content to create config result in set page table.
On vdb, we have to change 3 congif mus musculus to fix this.
On form to create config, we should put a restriction on text area content of this ...This character are use to split results content to create config result in set page table.
On vdb, we have to change 3 congif mus musculus to fix this.
On form to create config, we should put a restriction on text area content of this field.https://gitlab.inria.fr/vidjil/vidjil/-/issues/5219hotfix 2024.01: variable URI et env2024-02-13T16:41:10+01:00THONIER Florianhotfix 2024.01: variable URI et envSome variable are not correctly use.Some variable are not correctly use.https://gitlab.inria.fr/vidjil/vidjil/-/issues/5218docker env; add rules for worker concurrency2024-01-31T19:03:16+01:00THONIER Floriandocker env; add rules for worker concurrencyWe need to be able to set number of concurrency of workers from an env.
For the moment, workers use the number of cpu threads as limit. We can set it by modifying entrypoint (--concurrency value).
The value should be taken from env.We need to be able to set number of concurrency of workers from an env.
For the moment, workers use the number of cpu threads as limit. We can set it by modifying entrypoint (--concurrency value).
The value should be taken from env.Web 2024.04https://gitlab.inria.fr/vidjil/vidjil/-/issues/5217Update browser version before release.2024-02-14T15:21:40+01:00THONIER FlorianUpdate browser version before release.We need to make an update of our various versions of browser that we support before doing this release 2024.01.
I propose to use new cypress minimum versions as base.We need to make an update of our various versions of browser that we support before doing this release 2024.01.
I propose to use new cypress minimum versions as base.Web hotfix 2024.01THONIER FlorianTHONIER Florianhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/5216Roadmap hiver/printemps 2024 suite au CST 2023-122024-03-27T14:21:24+01:00Mathieu GiraudRoadmap hiver/printemps 2024 suite au CST 2023-12
Discuté à l'AG puis affiné entre @mikael-s @fthonier @clement.chesnin @magiraud en janvier
Fenêtre de dev: 3 mois, fév/mars/avril
- mi-mai: déploy sur app
- juste avant le workshop
- mi-juin: déploy health
## Priorités
### Points ...
Discuté à l'AG puis affiné entre @mikael-s @fthonier @clement.chesnin @magiraud en janvier
Fenêtre de dev: 3 mois, fév/mars/avril
- mi-mai: déploy sur app
- juste avant le workshop
- mi-juin: déploy health
## Priorités
### Points majeurs décidés par le CST
- [Bioinformatics] Better tools for quality assessment and massification of analyses ==> statsQC, API
- [Bioinformatics] Better tools for full repertoire analysis (including app-stats)
- [Technical] Technical foundations (Py4web, more flexible workflows, CI, librairies)
### Points que l'on fait tout de même
- [Technical] Tools to improve support, admin, and monitoring
- Better communication with the community (documentation, feature tours, Vidjil Workshop)
- Better communication with developers/bioinformaticians
### Autres points
- [Bioinformatics] Better sequence and recombination analysis [Research in algorithms] ==> on reparle dans 6 mois, sauf éventuellement merge Aho XXXX et tranlocation
- [Bioinformatics] Profiles/scenarios ==> pas d'intérêt fort, on en reparle dans 6 mois
## Concrètement
### Tâches majeures février-mars-(avril)
- [ ] [ensemble] Finir py4web, suivi deploy prod #5073
- [x] [C] NSX
- [ ] [C] QCstats ~"server-qc-stats"
- [ ] [F] app-stats (démo en février) ~"app-stats"
- [ ] [F] bioinfo (lecture, support, recherche) :)
- [ ] [Ensemble] MySQL 8 ? #3582
### Tâches continues
[Ensemble] vie du consortium
- Feature Tour
- Vidjil Workshop vdj#1392
- EuroClonality-NGS
- Com
- Panel beta: début avril (statsQC + autres choses) (séparé du Tour ? à voir)
### Autres tâches
ensemble
- [ ] [ensemble] Nettoyer web2py
- [ ] [ensemble] Documenter py4web
- [ ] [ensemble] Article 2024 sur la plateforme vdj#1180
F
- [ ] [F] Merger première MR à QCstats, transférer à Clément !1224
- [ ] [F] Promotheus/Grafana: passer à Clément !1343
- [ ] [F] Premier vendredi du mois, présentation biblio
- [ ] [F] Créer vijdil-community-bioinfo
- [ ] [F] API: Lille, Nantes, Strasbourg?
C
- [ ] [C] Promotheus/Grafana !1343 vdj#1073
- [ ] [C] task.py, workflows #2358
- [ ] [C] Création de compte, avec vérification de mail
- [ ] [C] Config SMTP (reçoit-on les mails ?)
- [ ] [C] Autres updates de frameworks/librairies Python3, Ubuntu 24.04 LTS, Cypress 14, ..., fixer version…Web 2024.04https://gitlab.inria.fr/vidjil/vidjil/-/issues/5215py4web; wrong link to open results in sets pages (all configs appear)2024-01-19T15:21:19+01:00THONIER Florianpy4web; wrong link to open results in sets pages (all configs appear)We got link to results with all availabel configs launched. (https://localhost/index.html?sample_set_id=1&config=2,3).
In this case, we cannot open a result.
Need to be fixed before release.We got link to results with all availabel configs launched. (https://localhost/index.html?sample_set_id=1&config=2,3).
In this case, we cannot open a result.
Need to be fixed before release.Server - py4webhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/5214Release 2024.012024-02-16T14:06:16+01:00THONIER FlorianRelease 2024.01
### Before the deploy
- [x] Set the deploy day (Most servers are busy on Mondays and Tuesdays. Web deploys are usually done on Wednesday.) : 23-24 January
- [x] Before the MR freeze, discuss regularly in the team what remains to do
W...
### Before the deploy
- [x] Set the deploy day (Most servers are busy on Mondays and Tuesdays. Web deploys are usually done on Wednesday.) : 23-24 January
- [x] Before the MR freeze, discuss regularly in the team what remains to do
Wednesday (D-8)
- [x] Notification on the server
- [x] MR Freeze (everything except urgent fixes or bikeshed strings/~doc)
- [x] Move issues/MR that are still opened to a new milestone for the next release
- [x] Push on `feature-cs/release`
### Deploy week
- [x] Deploy on `dev`, either with `git pull` or with Docker
- [x] Live tests on `dev`
On `feature-cs/release`:
- [x] Bikeshed strings
- [x] List all the changes, checking that the milestone contains all relevant issues/MR
- [x] Finalize `CHANGELOG.web`
- [x] Finalize ~doc
- [x] Finalize `docker/CHANGELOG`
Monday 22 (D-1)
- [x] MR Freeze (everything)
### Deploy day
Tuesday 23 (D0)
- [x] Morning: update notification on the server
- [x] MR `feature-cs/release` to `prod-client` !1318 and `prod-server` !1401
- [x] Disconnect the client through `conf.js`
- [x] Deploy
- [x] Link vidjil-algo to latest if needed
- [x] Live test on the prod server
- [x] Reconnect the client
- [x] Notification "Maintenance finished" + news
- [x] Possibly mail to users
- [x] Merge `feature-cs/release` into `dev` and `master`, and `git push github`Server - py4webhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/5213py4web; loading analysis is not working2024-01-18T08:10:49+01:00THONIER Florianpy4web; loading analysis is not workingWhen we try to load an analysis from a py4web server, we got an error.
It seem to be some minor change between python 2.7 and python3 (`AttributeError: 'dict' object has no attribute 'iterkeys'`).
I take a look to fix that.When we try to load an analysis from a py4web server, we got an error.
It seem to be some minor change between python 2.7 and python3 (`AttributeError: 'dict' object has no attribute 'iterkeys'`).
I take a look to fix that.Server - py4webTHONIER FlorianTHONIER Florian