vidjil issueshttps://gitlab.inria.fr/vidjil/vidjil/-/issues2024-01-18T11:02:41+01:00https://gitlab.inria.fr/vidjil/vidjil/-/issues/3588.gitlab-ci.yml : utiliser only/except pour ne lancer certains tests que lors ...2024-01-18T11:02:41+01:00Mathieu Giraud.gitlab-ci.yml : utiliser only/except pour ne lancer certains tests que lors de certaines modifications ?(Probablement un doublon, je n'arrive pas retrouver l'issue d'origine.)
Possible depuis 11.4, déployé sur gitlab.inria.
https://about.gitlab.com/2018/10/22/gitlab-11-4-released/#run-jobs-codeonlycodecodeexceptcode-for-modifications-on-...(Probablement un doublon, je n'arrive pas retrouver l'issue d'origine.)
Possible depuis 11.4, déployé sur gitlab.inria.
https://about.gitlab.com/2018/10/22/gitlab-11-4-released/#run-jobs-codeonlycodecodeexceptcode-for-modifications-on-a-path-or-fileDev-cihttps://gitlab.inria.fr/vidjil/vidjil/-/issues/3589Termiinal web sur les environnements Docker2024-01-18T11:02:30+01:00Mathieu GiraudTermiinal web sur les environnements DockerDispo depuis 11.4 :
https://docs.gitlab.com/ee/ci/interactive_web_terminal/
Pourrait être intéressant pour débugguer des tests qui ne passent pas.
cc @RyanHerbDispo depuis 11.4 :
https://docs.gitlab.com/ee/ci/interactive_web_terminal/
Pourrait être intéressant pour débugguer des tests qui ne passent pas.
cc @RyanHerbDev-cihttps://gitlab.inria.fr/vidjil/vidjil/-/issues/4197.gitlab-ci.yml : faire marcher only:changes avec probablement only:merge_requ...2024-01-18T10:53:29+01:00Thonier Florian.gitlab-ci.yml : faire marcher only:changes avec probablement only:merge_requestsSuite de #4148.
https://docs.gitlab.com/ee/ci/yaml/#using-onlychanges-without-pipelines-for-merge-requests
Après !585/!586:
> Je viens de pousser depuis hier des modifs sur 3 MR pour lesquelles j'ai rapatrié le dev.
>
> Je m'aperçois...Suite de #4148.
https://docs.gitlab.com/ee/ci/yaml/#using-onlychanges-without-pipelines-for-merge-requests
Après !585/!586:
> Je viens de pousser depuis hier des modifs sur 3 MR pour lesquelles j'ai rapatrié le dev.
>
> Je m'aperçois que ces MR n’exécutent pas correctement les tests. Je viens de trouver qu'il y a eu un ajout de fichier `gitlab-ci.yml` dans la doc, dont les stages correspondent aux 2 stages qui sont maintenant testé sur les MR vidjil!565 et vidjil!564.
Reverté par !608/!609Dev-cihttps://gitlab.inria.fr/vidjil/vidjil/-/issues/4215Gitlab-CI : supprimer le before_script (ne télécharger des données que si c'e...2024-01-18T10:30:25+01:00Mikaël SalsonGitlab-CI : supprimer le before_script (ne télécharger des données que si c'est utile)On a dans le `.gitlab-ci.yml` un `before_script` qui est donc lancé avant **chaque** job. Or cela implique le téléchargement d'un certain nombre de données (par exemple #3597) qui ne sont pas indispensables à chaque job.
Il faudrait sup...On a dans le `.gitlab-ci.yml` un `before_script` qui est donc lancé avant **chaque** job. Or cela implique le téléchargement d'un certain nombre de données (par exemple #3597) qui ne sont pas indispensables à chaque job.
Il faudrait supprimer ce before_script (qui ne fait plus sens vu le nombre de jobs qu'on a maintenant) et réintégrer les commandes nécessaires dans les jobs qui en ont besoin.
Voir aussi https://gitlab.inria.fr/vidjil/vidjil/issues/3397#note_311859Dev-cihttps://gitlab.inria.fr/vidjil/vidjil/-/issues/4821Passer nos tests locaux via le gitlab-runer2024-01-18T10:14:37+01:00Thonier FlorianPasser nos tests locaux via le gitlab-runerThe following discussion from !979 should be addressed:
- [ ] @flothoni started a [discussion](https://gitlab.inria.fr/vidjil/vidjil/-/merge_requests/979#note_542898): (+3 comments)
> J'abandonne ce point tant que le gitlab-runner ne ...The following discussion from !979 should be addressed:
- [ ] @flothoni started a [discussion](https://gitlab.inria.fr/vidjil/vidjil/-/merge_requests/979#note_542898): (+3 comments)
> J'abandonne ce point tant que le gitlab-runner ne fonctionnera pas mieux en local. Pour rappel, nous devons faire face à 3 problèmes rédhibitoire pour le moment avec cette approche:
>
>* Le runner est incapable de faire des includes
>* On ne peut pas faire de récupération sur les artefacts
>* Si on veut lancer un test, il faut que les changements soient comités. Ça oblige a jongler avec le git sur les moindre lignes que nous manipulons en cours de dev.
On pourra revenir dessus si on jour le runner local évolue, mais ça ne semble pas être une des priorités de gitlab.
CC @magiraud @mikael-s @duezDev-cihttps://gitlab.inria.fr/vidjil/vidjil/-/issues/4320Uniquement des slaves Docker2024-01-18T10:13:29+01:00Mathieu GiraudUniquement des slaves DockerQuestion plus large que #4273 : est-ce faisable et souhaitable d'arriver à un point où toute la ~"dev-ci" serait dockerisée, y compris les jobs de déploiement, d'environnement de review, et autres ? Le jour où on aura cela, pourrons-nous...Question plus large que #4273 : est-ce faisable et souhaitable d'arriver à un point où toute la ~"dev-ci" serait dockerisée, y compris les jobs de déploiement, d'environnement de review, et autres ? Le jour où on aura cela, pourrons-nous "en un claquement de doigts" éteindre nos slaves (par exemple `meccano`, ou bien `vdc`) et en utiliser ailleurs sans presque avoir à se logguer sur le slave ?
Par rapport à #4273, cela suppose d'avoir des clés de déploiement stockées dans ~"dev-gitlab" (ce qui déjà un peu le cas) ? D'autres points ?Dev-cihttps://gitlab.inria.fr/vidjil/vidjil/-/issues/4315Ne pas avoir de tests unitaires dépendant de serveurs externes, ou les repous...2024-01-18T10:13:20+01:00Mathieu GiraudNe pas avoir de tests unitaires dépendant de serveurs externes, ou les repousser à la finDeux tests unitaires client (sur 701) nécessitent un appel au ~"server-cgi" align.
Hack temporaire dans !713 pour pouvoir avoir le reste du ~"dev-ci" cette semaine.
On pourrait supprimer l'appel externe en mockant quelque chose dans `s...Deux tests unitaires client (sur 701) nécessitent un appel au ~"server-cgi" align.
Hack temporaire dans !713 pour pouvoir avoir le reste du ~"dev-ci" cette semaine.
On pourrait supprimer l'appel externe en mockant quelque chose dans `segment.align()`.
Ou on décide de garder ces tests, et ce serait bien de les déplacer vers la fin des pipelines ~"dev-ci", juste avant `test_functional_external`.Dev-cihttps://gitlab.inria.fr/vidjil/vidjil/-/issues/5198Speed up cypress ci jobs2024-01-18T10:12:44+01:00THONIER FlorianSpeed up cypress ci jobs* [ ] improve docker build of testing images
* [ ] reduce time of starting of server
* [ ] Pull cypress image at the same time that other images* [ ] improve docker build of testing images
* [ ] reduce time of starting of server
* [ ] Pull cypress image at the same time that other imagesDev-cihttps://gitlab.inria.fr/vidjil/vidjil/-/issues/2723Avoir des tests fonctionnels sur des jeux de démo complet2024-01-17T14:05:34+01:00Mathieu GiraudAvoir des tests fonctionnels sur des jeux de démo completNous devrions rajouter à la suite de tests algo des jeux complets de Démo #2635 vdj#195 avec une visée clinique. Ces tests pourraient être écrits par / validés avec nos utilisateurs. Ils seraient longs à lancer, et constitueraient un sta...Nous devrions rajouter à la suite de tests algo des jeux complets de Démo #2635 vdj#195 avec une visée clinique. Ces tests pourraient être écrits par / validés avec nos utilisateurs. Ils seraient longs à lancer, et constitueraient un stage après les ~"dev-tests-should-get" classiques.
Discuter au passage avec ~"KIE-Kiel" qui fait déjà des "re-certifications" sur nos releases ?https://gitlab.inria.fr/vidjil/vidjil/-/issues/5211CGI, custom_fuse, workers: unify ?2024-01-10T17:54:22+01:00THONIER FlorianCGI, custom_fuse, workers: unify ?Discuss with @clement.chesnin : We have 3 ways to make call to softwares on our server:
* CGI by nginx
* custom fuse with an ad-hoc server, transfert by py4web
* task with workers
At least CGI and custom_fuse could be unify in a same a...Discuss with @clement.chesnin : We have 3 ways to make call to softwares on our server:
* CGI by nginx
* custom fuse with an ad-hoc server, transfert by py4web
* task with workers
At least CGI and custom_fuse could be unify in a same ad-hoc server ? Other option ?Web 2024.04https://gitlab.inria.fr/vidjil/vidjil/-/issues/5205custom fuse should return name of sample if only one sample present2024-01-08T15:58:49+01:00THONIER Floriancustom fuse should return name of sample if only one sample presentWhen we open a custom fuse and when multiple samples is present, we have name of samples present in timeline, but not if we call only one sample. In this case, the `generic_info` value is set to `Sample X` where X is the number of sample...When we open a custom fuse and when multiple samples is present, we have name of samples present in timeline, but not if we call only one sample. In this case, the `generic_info` value is set to `Sample X` where X is the number of sample.
I suggest to modify function `get_custom_data` from default controller to adapt this value.https://gitlab.inria.fr/vidjil/vidjil/-/issues/5203Heuristics: Improve estimation of combined V/J probabilities ?2023-12-22T14:06:58+01:00Mathieu GiraudHeuristics: Improve estimation of combined V/J probabilities ?
Seen by @mikael-s.
We roughly estimate the $p$-value of a recombination as $p_V + p_J$. But... this is not a probability.
Something such as $1 - (1 - p_V)(1 - p_J)$ is a bit better (and it's still an estimation), but... it's almost eq...
Seen by @mikael-s.
We roughly estimate the $p$-value of a recombination as $p_V + p_J$. But... this is not a probability.
Something such as $1 - (1 - p_V)(1 - p_J)$ is a bit better (and it's still an estimation), but... it's almost equivalent when these probabilites are small.
So ~"wont-fix" ?https://gitlab.inria.fr/vidjil/vidjil/-/issues/5199Add missing controllers unit tests2023-12-21T17:05:47+01:00CHESNIN ClementAdd missing controllers unit testsIn #5179, some unit tests were added. However, some functions/controllers were not added due to a lack of time. We also had issues with some tests implementation. Here is a list of the missing tests :
- [ ] admin.py controller
- [ ] ad...In #5179, some unit tests were added. However, some functions/controllers were not added due to a lack of time. We also had issues with some tests implementation. Here is a list of the missing tests :
- [ ] admin.py controller
- [ ] add tests for make_backup
- [ ] add tests for load_backup
- [ ] add tests for repair
- [ ] add tests for reset_workers
- [ ] add some more tests for repair missing files
- [ ] default.py controller
- [ ] add tests for init_db
- [ ] add tests for init_db_form
- [ ] add tests for get_custom_data
- [ ] add tests for get_analysis
- [ ] add tests for get_analysis
- [ ] add tests for stop_impersonate
- [ ] file.py controller
- [ ] add tests for restart_pre_process
- [ ] my_account.py controller
- [ ] add tests for index
- [ ] add tests for jobs
- [ ] proxy.py controller
- [ ] add tests for all methods
- [ ] results_file.py controller
- [ ] add tests for run_all_patients
- [ ] add tests for info
- [ ] add tests for download
- [ ] sample_set.py controller
- [ ] add tests for custom
- [ ] add tests for confirm
- [ ] add tests for delete
- [ ] add tests for permission
- [ ] add tests for change_permission
- [ ] add tests for get_sample_set_list
- [ ] add tests for auto_complete
- [ ] should we test stats methods ?
- [ ] segmenter.py controller
- [ ] add tests for all methods
- [ ] tag.py controller
- [ ] add tests for all methods
After this, most of the endpoints will be tested.
A next step could be to check the coverage in order to identify missing tests. Another step would be to add unit tests for modules too?https://gitlab.inria.fr/vidjil/vidjil/-/issues/4664Avoir un outil pour manipuler/comparer les .affects2023-12-15T09:47:01+01:00Mathieu GiraudAvoir un outil pour manipuler/comparer les .affects
- stats sur les `.affects`
- diff entre deux `.affects` sur un read voire sur un ensemble de reads
- stats sur les `.affects`
- diff entre deux `.affects` sur un read voire sur un ensemble de readshttps://gitlab.inria.fr/vidjil/vidjil/-/issues/5200Make top by system the default.2023-12-13T18:02:45+01:00Mikaël SalsonMake top by system the default.See !1381See !1381https://gitlab.inria.fr/vidjil/vidjil/-/issues/5195API + py4web : tests d'intégration2023-11-17T09:49:05+01:00Mathieu GiraudAPI + py4web : tests d'intégrationévoqué avec @fthonierévoqué avec @fthonierhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/5109get reads; use zgrep before to minimize process2023-11-09T11:18:46+01:00Thonier Florianget reads; use zgrep before to minimize processLancé d'abord un `zgrep -B1 -A2 --no-group-separator $seq` (et son reverse) avant de faire le vidjil-algo permettrait de réduire le temps de processus.
@mikael-s : "Voir aussi si on spécifie le locus"Lancé d'abord un `zgrep -B1 -A2 --no-group-separator $seq` (et son reverse) avant de faire le vidjil-algo permettrait de réduire le temps de processus.
@mikael-s : "Voir aussi si on spécifie le locus"https://gitlab.inria.fr/vidjil/vidjil/-/issues/4538Devrait-on toujours lancer le fuse quand il y a de très nombreux échantillons ?2023-11-09T11:04:58+01:00Mathieu GiraudDevrait-on toujours lancer le fuse quand il y a de très nombreux échantillons ?Combien de temps prend un ~"server-fuse" sur 50+ échantillons qui seraient dans un même run ? Souhaite-t-on toujours le garder ? (Sinon, on ne visualise plus les résultats, mais veut-on inciter à visualiser dans le client autant de résul...Combien de temps prend un ~"server-fuse" sur 50+ échantillons qui seraient dans un même run ? Souhaite-t-on toujours le garder ? (Sinon, on ne visualise plus les résultats, mais veut-on inciter à visualiser dans le client autant de résultats ?)https://gitlab.inria.fr/vidjil/vidjil/-/issues/2036Afficher sur la page patient/sample_set les résultats/configs lancés2023-11-09T11:04:57+01:00Mathieu GiraudAfficher sur la page patient/sample_set les résultats/configs lancésSuite à #2035, @flothoni propose :
Ajouter une valeur dans la colonne si une analyse est en cours ou programmé (ex : "clonalité (computing)" ou "waiting" ) Cette valeur devrait etre grisée ou formattée pour la mettre en évidence par rap...Suite à #2035, @flothoni propose :
Ajouter une valeur dans la colonne si une analyse est en cours ou programmé (ex : "clonalité (computing)" ou "waiting" ) Cette valeur devrait etre grisée ou formattée pour la mettre en évidence par rapport aux autres, de plus, ne pas etre cliquable.
Faire coucou à Aurélie si on fait cela.
@mikael-s @RyanHerbhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/5193log flash; add a copy to clipboard icon2023-11-09T10:49:36+01:00THONIER Florianlog flash; add a copy to clipboard iconI change a flash message, including now the url called.
I dont' know if it is usefull to include this type of information (server internal error url) in flash message as we should have a ticket on our side with this value.
But is ther...I change a flash message, including now the url called.
I dont' know if it is usefull to include this type of information (server internal error url) in flash message as we should have a ticket on our side with this value.
But is there some case where it can be usefull to user to keep a trace of error ?
Another reason is that if you try to select text in it, it close.