vidjil issueshttps://gitlab.inria.fr/vidjil/vidjil/-/issues2024-01-31T13:45:03+01:00https://gitlab.inria.fr/vidjil/vidjil/-/issues/5231Refacto .env and .env-default handling to prevent issue if .env is not define...2024-01-31T13:45:03+01:00CHESNIN ClementRefacto .env and .env-default handling to prevent issue if .env is not defined on local configC'est embêtant, parce qu'on a une erreur lorsqu'il n'y a rien dans le .env (ce qui est le cas par défaut)C'est embêtant, parce qu'on a une erreur lorsqu'il n'y a rien dans le .env (ce qui est le cas par défaut)Web 2024.04https://gitlab.inria.fr/vidjil/vidjil/-/issues/5236Error when filtering sample by tag in compare sample2024-01-31T11:30:50+01:00CHESNIN ClementError when filtering sample by tag in compare sampleVu lors de #5234
Pour reproduire :
1. créer un set avec plusieurs samples, dont au moins un avec un tag
2. cliquer sur `Compare samples`
3. cliquer sur le tag
--> l'erreur `missing field id` apparait
Plus globalement, la method `cust...Vu lors de #5234
Pour reproduire :
1. créer un set avec plusieurs samples, dont au moins un avec un tag
2. cliquer sur `Compare samples`
3. cliquer sur le tag
--> l'erreur `missing field id` apparait
Plus globalement, la method `custom()` devrait être unit testée
![Screencast_from_2024-01-31_11-29-01](/uploads/033765827118b9a738b248e7fed8706a/Screencast_from_2024-01-31_11-29-01.webm)Web 2024.04https://gitlab.inria.fr/vidjil/vidjil/-/issues/2Algorithm2024-01-30T19:18:22+01:00Mathieu GiraudAlgorithmWe develop an algorithm to process high-throughput sequencing data to detect sequences with V(D)J recombinations as well as incomplete or uncommon recombinations. We gather these sequences into clonotypes.
We use and improve state-of-...We develop an algorithm to process high-throughput sequencing data to detect sequences with V(D)J recombinations as well as incomplete or uncommon recombinations. We gather these sequences into clonotypes.
We use and improve state-of-the-art text algorithms (spaced seeds, automata, bit parallelism, indexing structures...) to provide efficient analytical methods. As fat as possible, we do not compute full alignments. We always plan to improve the algorithm, improving accuracy and speed and providing more pertinent analysis for immunology and hematology. We benchmark and improve the algorithm on carefully curated sequences.https://gitlab.inria.fr/vidjil/vidjil/-/issues/4480Erreur sur le runner meccano2024-01-29T16:48:44+01:00Thonier FlorianErreur sur le runner meccano```
$ docker pull --quiet "$CODE_QUALITY_IMAGE"
unknown flag: --quiet
```
Il faut possiblement mettre à jour la version de docker présente.
cc @magiraud @mikael-s```
$ docker pull --quiet "$CODE_QUALITY_IMAGE"
unknown flag: --quiet
```
Il faut possiblement mettre à jour la version de docker présente.
cc @magiraud @mikael-sDev-cihttps://gitlab.inria.fr/vidjil/vidjil/-/issues/4905Supprimer test_quality ?2024-01-29T16:46:49+01:00Thonier FlorianSupprimer test_quality ?Depuis de nombreux mois, nous avons test_quality qui ne fonctionne pas.
J'ai regardé rapidement, mais je ne comprend même pas comment ça ce lance ni d'où il tire ses instructions.
En attendant, ça ne marche pas et cache juste le résul...Depuis de nombreux mois, nous avons test_quality qui ne fonctionne pas.
J'ai regardé rapidement, mais je ne comprend même pas comment ça ce lance ni d'où il tire ses instructions.
En attendant, ça ne marche pas et cache juste le résultat final des tests depuis la page des MR.
il faut soit le fixer, soit le supprimer. L'erreur dans le log semble simple, puisque c'est simplement une option "--quiet" qui ne semble pas intégrer à docker, mais comme je ne localise pas le bout de code ...
cc @magiraud @mikael-shttps://gitlab.inria.fr/vidjil/vidjil/-/issues/5223Pouvoir créer une config en dupliquant une config existante2024-01-25T16:02:05+01:00Mathieu GiraudPouvoir créer une config en dupliquant une config existanteévoqué avec @clement.chesnin @mikael-s
Un bouton => on pourrait arriver sur la page de création de config, avec tout déjà rempli, on n'a plus qu'à modifier ce qu'il fautévoqué avec @clement.chesnin @mikael-s
Un bouton => on pourrait arriver sur la page de création de config, avec tout déjà rempli, on n'a plus qu'à modifier ce qu'il fauthttps://gitlab.inria.fr/vidjil/vidjil/-/issues/2710Méta-données de démo réalistes, utiliser ci.sql dans les tests, tests unitair...2024-01-25T14:15:00+01:00Mathieu GiraudMéta-données de démo réalistes, utiliser ci.sql dans les tests, tests unitaire qui vérifient vraiment les réponsesJe suis en train de mettre sur `dev` (user `u3`) un jeu de données crédible, notamment avec des tags #2683 un peu cohérents. Essai d'une liste de noms un peu variée, bien que fort occidentale, mais bon, ~"ec-ngs". Voir si, quand ce sera ...Je suis en train de mettre sur `dev` (user `u3`) un jeu de données crédible, notamment avec des tags #2683 un peu cohérents. Essai d'une liste de noms un peu variée, bien que fort occidentale, mais bon, ~"ec-ngs". Voir si, quand ce sera fait, on essaie de récupérer les tags pour une série de screenshots.
```
Florbela Espanca 1894-12-08
Paulina Wilkońska 1815
Camilla Collett 1813-01-23
Διονύσιος Σολωμός 1798-04-08
Vasile Alecsandri 1801-07-21
Sophia Elisabet Brenner 1659-04-29
Marin Držić 1508
老子 6 BCE
Emil Aarestrup 1800-12-04
Božena Němcová 1820-02-04
ابن خلدون (Ibn Khaldoûn), 1332-05-27
Willem Bilderdijk 1756-09-07
Johann Wolfgang Goethe, 1749-08-28
George Sand 1804-02-01
Dante Alighieri 1265
Friedrich von Schiller 1759
Miguel de Cervantes 1547-09-29
Jane Austeen 1775-12-16
```Web 2023.10https://gitlab.inria.fr/vidjil/vidjil/-/issues/5221Tag; add them to doc2024-01-24T18:04:04+01:00THONIER FlorianTag; add them to docWe can extract default list of tags to insert them in doc.
Maybe class them by type (disease, locus, sequencing protocol, ...).We can extract default list of tags to insert them in doc.
Maybe class them by type (disease, locus, sequencing protocol, ...).Web 2024.04https://gitlab.inria.fr/vidjil/vidjil/-/issues/5181py4web; Is script create_clone_db_py working well ?2024-01-22T15:39:10+01:00THONIER Florianpy4web; Is script create_clone_db_py working well ?Make some tests to know if everything work well with new backend server.Make some tests to know if everything work well with new backend server.Web 2024.04https://gitlab.inria.fr/vidjil/vidjil/-/issues/5187py4web; Lauch without uwsgi2024-01-22T15:38:13+01:00THONIER Florianpy4web; Lauch without uwsgiIs uwsgi mandatory to launch application ? Is it possible to use only py4web application and command line to set up out server ?
@clement.chesnin said that maybe py4web is not fully multithreaded and that it can be a pain to use in thi...Is uwsgi mandatory to launch application ? Is it possible to use only py4web application and command line to set up out server ?
@clement.chesnin said that maybe py4web is not fully multithreaded and that it can be a pain to use in this case.
We already need to (partially) launch py4web by CLI for coverage and unit testing.
Maybe an optional issue as it work well as it.Server - py4webhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/4980Log report : ne montrer que les modifications / write / creation2024-01-22T15:30:26+01:00Mathieu GiraudLog report : ne montrer que les modifications / write / creationVu avec @flothoni : le log est très gros (voir par exemple L3 :))
- enlever les juste "load", ne laisser que les modifications
- et même, limiter à 20-25 entrées ? (à voir)
cc @duezVu avec @flothoni : le log est très gros (voir par exemple L3 :))
- enlever les juste "load", ne laisser que les modifications
- et même, limiter à 20-25 entrées ? (à voir)
cc @duezWeb 2024.04https://gitlab.inria.fr/vidjil/vidjil/-/issues/5133No log in database2024-01-22T15:28:47+01:00Mikaël SalsonNo log in databaseIt appears that we are not logging actions anymore in the database, since 52158ac0 (which came a few days after this attempt: 6fce80e1db).
Anyone knows why?
It should be fixed.It appears that we are not logging actions anymore in the database, since 52158ac0 (which came a few days after this attempt: 6fce80e1db).
Anyone knows why?
It should be fixed.Web 2024.04https://gitlab.inria.fr/vidjil/vidjil/-/issues/5134Refresh admin.md documentation2024-01-22T15:27:45+01:00Mikaël SalsonRefresh admin.md documentation@flothoni points some inconsistencies in the `admin.md` documentation.@flothoni points some inconsistencies in the `admin.md` documentation.Web 2024.04https://gitlab.inria.fr/vidjil/vidjil/-/issues/1382top par système : fuse.py2024-01-22T15:24:43+01:00Vidjil Teamtop par système : fuse.pySuite à la réunion du CBP et la discussion dans le métro, ce serait bien de récupérer plus de séquences par systèmes.
- une solution serait d'avoir, dans fuse, un `--top-by-system`, par exemple à 30, qui laisse passer (en plus du top 100...Suite à la réunion du CBP et la discussion dans le métro, ce serait bien de récupérer plus de séquences par systèmes.
- une solution serait d'avoir, dans fuse, un `--top-by-system`, par exemple à 30, qui laisse passer (en plus du top 100) les 30 tops par système *à condition* que le système apparaisse dans le top 100 normal.
- mais cela demande aussi, dans le c++, de faire en sorte que ce top 30 soit segmenté. Pas ultra-prévu pour, à voir.
- ~~ou bien on en profite pour chambouler l'ensemble et lancer une partie du c++ (FineSegmenter, et bientôt CDR3/AA) après le fuse.~~ non
Bref, ce n'est pas si facile. Aussi une crainte : que cela ramène des choses trop basses, de bruit comparables à d'autres clones qu'on affiche pas car caché par de plus gros clones.
À réfléchir ensemble, attendre retour du CBP de début février. (En attendant, solution simple est de relancer sur autre config,)
***
Demandé aussi par Rennes : top 100 + top 10 par système ?
***
Mais attention, certains systèmes où on n'a pas grand chose on va ramener des clones très faibles…
***
On mettra des gros warnings pour les trop faibles globaux
***
Voir le mail à McGill d'aujourd'hui... En RNA-Seq, ils ont (peut-être) du TR, mais caché par un Ig beaucoup plus gros :
```
reads clones
IGH -> 49714 100.0 5930 0.119
IGK -> 214250 100.0 8250 0.039
IGL -> 67030 100.0 4375 0.065
TRA -> 796 100.0 442 0.555
TRB -> 1158 100.0 586 0.506
TRD -> 61 100.0 43 0.705
TRG -> 126 100.0 80 0.635
```
Mais il y a toujours la question du bruit.
***
Évoqué lors du VW16
***
Ping : on est peut-être sur le point de modifier le fuse, penser aussi au top par système (ou au top 1000 + 100 par système)Web 2024.04https://gitlab.inria.fr/vidjil/vidjil/-/issues/5141Read length distribution shows wrong sizes2024-01-22T15:22:21+01:00Mikaël SalsonRead length distribution shows wrong sizesOn these samples, I find that the read length distribution plot starts at -10% (!): https://app.vidjil.org/57056-25?plot=Reads%20length,Size,bar
It seems that the labels are not at their correct place. Even the main clone which is at 36...On these samples, I find that the read length distribution plot starts at -10% (!): https://app.vidjil.org/57056-25?plot=Reads%20length,Size,bar
It seems that the labels are not at their correct place. Even the main clone which is at 36%, only reaches 20% on the plot.Web 2024.04https://gitlab.inria.fr/vidjil/vidjil/-/issues/4324Monitorer le serveur : temps réel + historique2024-01-22T14:22:49+01:00Mathieu GiraudMonitorer le serveur : temps réel + historiqueComplément à #4037, évoqué avec @flothoni et @mikael-s :
- nombre de jobs par jour
- nombre de fichiers uploadés / taille totale
- charge CPU (plus dur ?)
- incidents
éventuellement sur plusieurs serveurs
Graphiques historiques (à...Complément à #4037, évoqué avec @flothoni et @mikael-s :
- nombre de jobs par jour
- nombre de fichiers uploadés / taille totale
- charge CPU (plus dur ?)
- incidents
éventuellement sur plusieurs serveurs
Graphiques historiques (à quel point le lundi est plus chargé ? les congés ?), par curiosité, mais aussi pour nous aider à mieux gérer les incidents.
Via Gitlab ? https://docs.gitlab.com/ee/administration/monitoring/performance/Web 2024.04https://gitlab.inria.fr/vidjil/vidjil/-/issues/5156Get some metrics from a server2024-01-22T14:22:32+01:00THONIER FlorianGet some metrics from a serverTHinking about it with @mikael-s : A way to get some metrics is to use prometheus and grafana. And as by default Prometheus use web resquest to get metrics, a way to get it with security is to use vidjil API to ask, as admin. APi seem to...THinking about it with @mikael-s : A way to get some metrics is to use prometheus and grafana. And as by default Prometheus use web resquest to get metrics, a way to get it with security is to use vidjil API to ask, as admin. APi seem to be a good way for that.
I try to create a really small dockerized flask application that will execute API to ask metrics and serve them locally.
My quick overview failed since the API is incompatible with py4web (other issue/MR).
Is it a good way to do it ?Web 2024.04https://gitlab.inria.fr/vidjil/vidjil/-/issues/5180py4web; database migration from web2py2024-01-22T14:18:05+01:00THONIER Florianpy4web; database migration from web2pyIs there any point to fiollow to change backend server from web2py to py4web ?
@clement.chesnin think about make a diff on tables on web2py database and py4web.
After that, we should make some tests on a backup of prod database to be ...Is there any point to fiollow to change backend server from web2py to py4web ?
@clement.chesnin think about make a diff on tables on web2py database and py4web.
After that, we should make some tests on a backup of prod database to be sure that everything work well.Server - py4webTHONIER FlorianTHONIER Florianhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/5212Don't allow admin to create set for uncreated group2024-01-22T14:16:50+01:00THONIER FlorianDon't allow admin to create set for uncreated groupWhile testing API for group owner of created set, I saw a way to create set for every groups as an admin user, but also for unexistant group.
We need to make a better control before creation.
From API side, we should also add a way to...While testing API for group owner of created set, I saw a way to create set for every groups as an admin user, but also for unexistant group.
We need to make a better control before creation.
From API side, we should also add a way to stronger limit group choice.Web 2024.04https://gitlab.inria.fr/vidjil/vidjil/-/issues/5183Py4web; update documentation2024-01-22T14:14:19+01:00THONIER FlorianPy4web; update documentationSome documentation need to be added and updated, on dev, usage, migration, ...Some documentation need to be added and updated, on dev, usage, migration, ...Web 2024.04