vidjil issueshttps://gitlab.inria.fr/vidjil/vidjil/-/issues2016-11-29T14:28:47+01:00https://gitlab.inria.fr/vidjil/vidjil/-/issues/879Tests browser2016-11-29T14:28:47+01:00Vidjil TeamTests browserCela devient important d'avoir des tests...
mail de Rotterdam du 28 octobre :
"I’m having trouble getting the latest version of Vidjil (from github) running locally.
(...) I try to load the resulting .vidjil file into the Vidjil brow...Cela devient important d'avoir des tests...
mail de Rotterdam du 28 octobre :
"I’m having trouble getting the latest version of Vidjil (from github) running locally.
(...) I try to load the resulting .vidjil file into the Vidjil browser, but nothing happens?"
***
Pour Qunit : PhantomJS + QUnit → http://www.ianlewis.org/en/phantom-qunit-test-runner
QUnit + Tap : https://github.com/twada/qunit-tap ou alors sortie en JUnit (ce qui est bien pour Jenkins aussi) : https://github.com/jquery/qunit-reporter-junit
***
843ca8b, par Marc: couverture. Génial !
***
Je ferme les tâches qui disent "il faut plus de tests". Ce n'est pas assez précis.
***
#880, #881, #882, #883, #884
***
@Duezhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/862Documentation technique2016-11-29T14:20:41+01:00Vidjil TeamDocumentation techniqueA destination des codeurs
-harmonisation
-nom des fonctions/commentaires
-deploiement
***
oui... à décliner suivant algo / browser / server ? à voir
***
C'est clairement un point qui remontera dans les semaines à venir.
- doc/*.org : d...A destination des codeurs
-harmonisation
-nom des fonctions/commentaires
-deploiement
***
oui... à décliner suivant algo / browser / server ? à voir
***
C'est clairement un point qui remontera dans les semaines à venir.
- doc/*.org : des infos génériques
- des commentaires dans le code !
- et on a aussi bcp de doc qui traîne dans les messages de commit :)
***
J'ai fait une passe de réorganisation de la doc :
admin.org / server.org / dev.org
à continuer...
***
Je ferme les tâches qui disent "il faut plus de doc". Ce n'est pas assez précis.
***
@mikael-s @RyanHerb @Duez @magiraudhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/4951Ne construire l'image docker qu'une fois dans le CI2023-11-28T12:09:34+01:00Thonier FlorianNe construire l'image docker qu'une fois dans le CIEn discutant avec @duez, on se disait qu'il serait bon d'avoir une seule fois l'étape de création de l'image docker qui est fastidieuse (8 minutes environ) et relancée pour chaque jobs client/server dans le CI (x12 donc).
Il faut donc e...En discutant avec @duez, on se disait qu'il serait bon d'avoir une seule fois l'étape de création de l'image docker qui est fastidieuse (8 minutes environ) et relancée pour chaque jobs client/server dans le CI (x12 donc).
Il faut donc extraire la création de l'image docker dans un stage dédié, splitter en client/server, que l'on construise une image avec un hash dédié et que l'on stock cette image quelque part pour être accessible sur tous les runners.https://gitlab.inria.fr/vidjil/vidjil/-/issues/4592Évaluer la reproductibilité des pipelines2021-10-29T11:24:20+02:00Mathieu GiraudÉvaluer la reproductibilité des pipelinesPlus généralement que #4591, par API, faire des stats sur les jobs *passés* voir quel est le nombre moyen de relances (automatiques et/ou manuelles) qu'il y a eues. Idéalement coupler cela avec #3397 : que coûtent les relances ?Plus généralement que #4591, par API, faire des stats sur les jobs *passés* voir quel est le nombre moyen de relances (automatiques et/ou manuelles) qu'il y a eues. Idéalement coupler cela avec #3397 : que coûtent les relances ?Tests-Dev-2021-052021-02-09https://gitlab.inria.fr/vidjil/vidjil/-/issues/4321Dock et URL2021-01-04T09:57:09+01:00Mathieu GiraudDock et URLsur !109, est-ce que les docks fonctionnent ?sur !109, est-ce que les docks fonctionnent ?marc duezmarc duezhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/3987Un test functional test_22_menu_tutorial échoue de temps en temps2019-10-07T13:26:42+02:00Mathieu GiraudUn test functional test_22_menu_tutorial échoue de temps en tempshttps://gitlab.inria.fr/vidjil/vidjil/-/jobs/409563 : trois fois failed, à chaque fois avec la même erreur, la quatrième passe.
```
TestMultilocus#test_22_menu_tutorial:
Watir::Exception::UnknownObjectException: element located, but tim...https://gitlab.inria.fr/vidjil/vidjil/-/jobs/409563 : trois fois failed, à chaque fois avec la même erreur, la quatrième passe.
```
TestMultilocus#test_22_menu_tutorial:
Watir::Exception::UnknownObjectException: element located, but timed out after 30 seconds, waiting for #<Watir::HTMLElement: located: true; {:id=>"help_tutorial"}> to be present
/usr/share/rvm/gems/ruby-2.6.1/gems/watir-6.16.5/lib/watir/elements/element.rb:752:in `raise_present'
/usr/share/rvm/gems/ruby-2.6.1/gems/watir-6.16.5/lib/watir/elements/element.rb:803:in `rescue in element_call'
/usr/share/rvm/gems/ruby-2.6.1/gems/watir-6.16.5/lib/watir/elements/element.rb:790:in `element_call'
/usr/share/rvm/gems/ruby-2.6.1/gems/watir-6.16.5/lib/watir/elements/element.rb:145:in `click'
functional/test_multilocus.rb:413:in `test_22_menu_tutorial'
```
Pas la même chose que #2809 ?https://gitlab.inria.fr/vidjil/vidjil/-/issues/3833Clone en R2 perdu en R1+R2 (+R2)2019-03-28T09:25:40+01:00Mathieu GiraudClone en R2 perdu en R1+R2 (+R2)Naïs ~"TOU\-Toulouse" a au moins deux cas en tête où un clone en R2 est perdu lorsqu'on fait un merge. Elle nous envoie un lien.Naïs ~"TOU\-Toulouse" a au moins deux cas en tête où un clone en R2 est perdu lorsqu'on fait un merge. Elle nous envoie un lien.Thonier FlorianThonier Florian2019-03-29https://gitlab.inria.fr/vidjil/vidjil/-/issues/3709Tester une version récente de Firefox, dont au moins FF 78 ESR2021-11-19T13:52:17+01:00Mikaël SalsonTester une version récente de Firefox, dont au moins FF 78 ESRÀ faire, mais pour l'instant il y a un souci : le control+clic ouvre le menu contextuel au lieu de faire un control + clic (le problème est contournable car cela n'affecte pas toutes les versions de Firefox)
https://github.com/mozilla/ge...À faire, mais pour l'instant il y a un souci : le control+clic ouvre le menu contextuel au lieu de faire un control + clic (le problème est contournable car cela n'affecte pas toutes les versions de Firefox)
https://github.com/mozilla/geckodriver/issues/1492Tests-Dev-2021-05https://gitlab.inria.fr/vidjil/vidjil/-/issues/3693Divergence entre vmi.js sur ce dépôt sur le dépôt vmi2019-02-13T12:57:08+01:00Mikaël SalsonDivergence entre vmi.js sur ce dépôt sur le dépôt vmiRien d'énorme, mais voici les différences ("ancien" : celui de vidjil, "nouveau" : celui de vmi).
```diff
79c79,80
< document.getElementById(view.parentId).appendChild(view.node);
---
> var parent = document.getElementBy...Rien d'énorme, mais voici les différences ("ancien" : celui de vidjil, "nouveau" : celui de vmi).
```diff
79c79,80
< document.getElementById(view.parentId).appendChild(view.node);
---
> var parent = document.getElementById(view.parentId)
> parent.insertBefore(view.node, parent.firstChild);
108,116d108
< var focus = function(target) {
< target.className += " focused";
< var listener = function() {
< self.hideEditors();
< target.removeEventListener('click', listener);
< };
< target.addEventListener('click', listener);
< }
<
118a111
> self.hideEditors();
120d112
< self.hideEditors();
127c119
< element.style.display = 'block';
---
> element.style.display = 'inherit';
161c153
< div.classList.add("highlight");
---
> div.classList.add("vmi-highlight");
166c158
< div.classList.remove("highlight");
---
>
```https://gitlab.inria.fr/vidjil/vidjil/-/issues/3638Docker : Ne pas modifier les permissions sur les répertoires2018-12-03T19:33:15+01:00Mikaël SalsonDocker : Ne pas modifier les permissions sur les répertoiresLe backup incrémental peut ne pas fonctionner correctement car dès que l'on fait un `docker-compose up` les fichiers qui sont dans `/mnt/data/prod` ont pour heure de modification l'heure à laquelle `docker-compose` a été lancé. Dans ces ...Le backup incrémental peut ne pas fonctionner correctement car dès que l'on fait un `docker-compose up` les fichiers qui sont dans `/mnt/data/prod` ont pour heure de modification l'heure à laquelle `docker-compose` a été lancé. Dans ces conditions il est impossible de savoir quel fichier a été modifié récemment et doit être sauvegardé.
Par exemple :
```
stat /mnt/data/prod/result/results/results_file.data_file.827e7925471f01d8.XXXXXX.txt
File: '/mnt/data/prod/result/results/results_file.data_file.827e7925471f01d8.XXXXX.txt'
Size: 2427078 Blocks: 4744 IO Block: 4096 regular file
Device: fd11h/64785d Inode: 99790894 Links: 1
Access: (0644/-rw-r--r--) Uid: ( 33/www-data) Gid: ( 33/www-data)
Access: 2018-11-29 19:56:44.756165603 +0100
Modify: 2018-05-24 13:40:22.564383085 +0200
Change: 2018-11-29 19:27:39.185893048 +0100
Birth: -
```
La date `Modify` est correcte mais pas celle de `Change`, or c'est celle-ci qui semble faire foi pour `tar`, pour le backup incrémental. À noter que la date est même modifiée à l'extérieur du conteneur. Je ne sais pas comment Docker fait car il y a quand même quelques dizaines de milliers de fichiers…
C'est important car en attendant ça va nous obliger à diminuer le rythme des backups.https://gitlab.inria.fr/vidjil/vidjil/-/issues/3457Utilisation du format AIRR2018-11-20T09:41:01+01:00Mathieu GiraudUtilisation du format AIRRAIRR nous demande explicitement (le 17 juillet pour le 24...) si on est prêt à utiliser leur format, éventuellement amendé.
- vidjil-algo: en sortie vidjil#2828. Je pense qu'on peut s'engager raisonnablement à faire une première version...AIRR nous demande explicitement (le 17 juillet pour le 24...) si on est prêt à utiliser leur format, éventuellement amendé.
- vidjil-algo: en sortie vidjil#2828. Je pense qu'on peut s'engager raisonnablement à faire une première version pour 2018.09.
- client: conversion/entrée via fuse.py, TBD ? Cela me semble plus délicat de s'engager.
Peut-on en discuter de vive voix à 15h ?Algo 2018.09Mathieu GiraudMathieu Giraudhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/3352Optimiser la page des groupes2018-10-05T10:36:56+02:00Ryan HerbertOptimiser la page des groupesLe controller semble être mal optimisé (beaucoup de requêtes dans une boucle pour tester les permissions, et compter le nombre de membres).
On peut faire mieux :).
See vdj#688Le controller semble être mal optimisé (beaucoup de requêtes dans une boucle pour tester les permissions, et compter le nombre de membres).
On peut faire mieux :).
See vdj#688https://gitlab.inria.fr/vidjil/vidjil/-/issues/3169La liste patients met beaucoup trop de temps à se charger2021-02-11T08:00:05+01:00Mikaël SalsonLa liste patients met beaucoup trop de temps à se chargerElle peut mettre 1 minute, y compris pour des utilisateurs, ce qui est énorme.
```
2018-04-13 12:23:01 DEBUG sample_set.py:202 patient list (38.680s)
2018-04-13 12:23:00 DEBUG sample_set.py:202 patient list (58.206s)
```
C...Elle peut mettre 1 minute, y compris pour des utilisateurs, ce qui est énorme.
```
2018-04-13 12:23:01 DEBUG sample_set.py:202 patient list (38.680s)
2018-04-13 12:23:00 DEBUG sample_set.py:202 patient list (58.206s)
```
Cela nous rappelle de vieux souvenirs (#1542), mais dans un ordre de grandeur.
Cela pose des problèmes : #3139, #2294, #2494.
@RyanHerb avait proposé de remanier le modèle pour accélérer cela : #2747.
Voir si, en attendant, on ne peut pas faire quelque chose pour accélérer le traitement.https://gitlab.inria.fr/vidjil/vidjil/-/issues/3120Refaire passer les tests server-unit2018-11-20T12:09:17+01:00Mathieu GiraudRefaire passer les tests server-unitVu avec @mikael-s : les derniers tests passés sont sur 1d4df8e : https://gitlab.inria.fr/vidjil/vidjil/-/jobs/83300
À partir de d3a8c19, qui corrige un fichier de test, cela ne passe plus mais parce que plus de tests sont lancés.
Des an...Vu avec @mikael-s : les derniers tests passés sont sur 1d4df8e : https://gitlab.inria.fr/vidjil/vidjil/-/jobs/83300
À partir de d3a8c19, qui corrige un fichier de test, cela ne passe plus mais parce que plus de tests sont lancés.
Des anciens tests à mettre à jour ?
En tout cas on décide de passer en prod quand même.https://gitlab.inria.fr/vidjil/vidjil/-/issues/2913Diminuer ou décaler dynamiquement, par seuil, la taille de la fenêtre2020-04-15T09:18:25+02:00Mikaël SalsonDiminuer ou décaler dynamiquement, par seuil, la taille de la fenêtreDans #2910 on manque un clone car il y a une grosse délétion dans le V, consuisant à une séquence très courte (~129nt) empêchant de bien positionner une fenêtre de 60nt.
C'est très grave puisqu'on peut manquer des clones majoritaires. U...Dans #2910 on manque un clone car il y a une grosse délétion dans le V, consuisant à une séquence très courte (~129nt) empêchant de bien positionner une fenêtre de 60nt.
C'est très grave puisqu'on peut manquer des clones majoritaires. Une solution est de décaler la fenêtre #1580 (soit en encodant directement le décalage, dans la config, mais cela signifie que c'est systématique, soit dynamiquement mais c'est compliqué).
Une autre solution simple serait de prendre une fenêtre plus petite si on n'arrive pas à placer la fenêtre de 60nt. On pourrait essayer différentes longueurs, par ordre décroissant, par seuils (60, 50, 40, 30…) et on prend la première qui passe. Cela permet d'avoir quelque chose de reproductible. Et cela éviterait de passer à côté d'un gros clone.Algo 2017.11Mikaël SalsonMikaël Salsonhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/2910Clone manqué avec une grosse délétion (read trop court pour la fenêtre)2021-01-26T13:29:14+01:00Anne de SeptenvilleClone manqué avec une grosse délétion (read trop court pour la fenêtre)IGH https://app.vidjil.org/index.html?set=25178&config=2
multi+inc https://app.vidjil.org/index.html?set=25178&config=26IGH https://app.vidjil.org/index.html?set=25178&config=2
multi+inc https://app.vidjil.org/index.html?set=25178&config=26Algo 2017.11https://gitlab.inria.fr/vidjil/vidjil/-/issues/2881Tests fonctionnels sur un serveur2018-08-30T13:15:50+02:00Mathieu GiraudTests fonctionnels sur un serveurDiscuté hier: #2323 est débattu, par contre il y a consensus sur la nécessité de faire des tests de la chaîne d'un bout à l'autre, y compris de fonctionnalités serveur, en visant par exemple `dev`. Un scénario possible (mais peut-être fa...Discuté hier: #2323 est débattu, par contre il y a consensus sur la nécessité de faire des tests de la chaîne d'un bout à l'autre, y compris de fonctionnalités serveur, en visant par exemple `dev`. Un scénario possible (mais peut-être faut-il être plus modulaire et casser cela en plusieurs bouts indépendants) :
- se logguer
- créer un patient (en utilisant par exemple le sha1 du commit)
- créer un run
- uploader un sample, en le mettant dans le patient
- éditer le sample, le mettre aussi dans le run
- lancer une analyse sur une certaine config
- regarder le résultat COMPLETED, voir la stdout du job
- ouvrir dans le client le résultat
- changer quelque chose, vérifier l'URL et s'en souvenir
- modifier quelque chose et faire un save analysis
- refaire un chargement du client sur l'URL et vérifier que l'API a fonctionné
- revenir sur la db, aller dans le run
- ouvrir dans le client le résultat, vérifier que c'est bien le fichier fusé
- revenir sur la db, faire un compare sample, vérifier
- revenir sur la db, vérifier que l'analysis sauvé se récupère lorsqu'on charge dans le client
- supprimer patient/run/sample, vérifier que c'est bien supprimé ou pas #2163
(ou ne pas supprimer, cela fait un artefact/trace intéressante)
- se délogguer
Même sur `dev`, de tels tests auraient permis de détecter #2849, https://gitlab.inria.fr/vidjil/vidjil/issues/2323#note_25712, et potentiellement d'autres choses. D'autres tests pourraient concerner les ~"server-pre-process", les ~"server-auth" et ~"server-groups", les ~"server-config", la recherche, les tags...
Même si des tests utilisant les controlleurs/API pourraient être possible, des tests complets fonctionnel ~"dev-tests-watir" pourraient être pertinents et testent la chaine d'un bout à l'autre. À voir si on arrivera à faire des tests déterministes qui marcheront quasi tout le temps :-)
cc @RyanHerbhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/2704Remplacer les presets avec « clone consensus length » par « clone average len...2017-11-29T08:01:02+01:00Mikaël SalsonRemplacer les presets avec « clone consensus length » par « clone average length » ?La longueur de la séquence consensus est peu interprétable et difficile à expliquer, on devrait se contenter d'afficher la longueur des reads moyenne d'un clone.
Un exemple où cela serait nettement mieux (ne pas se mettre en mode bar po...La longueur de la séquence consensus est peu interprétable et difficile à expliquer, on devrait se contenter d'afficher la longueur des reads moyenne d'un clone.
Un exemple où cela serait nettement mieux (ne pas se mettre en mode bar pour tester, à cause de #2703) : http://app.vidjil.org/index.html?sample_set_id=25317&config=2
Quand on regarde la longueur de la séquence consensus, on voit que le clone principal a une longueur un peu inférieure à ses sous-clones, ce qui pourrait donner l'impression d'une sous-population différente.
Mais en fait quand on passe en « clone average read length », on se rend compte que tous ont bien la même taille moyenne de reads.
La différence de longueur de séquence consensus est juste due à l'heuristique de calcul de la consensus et apporte plus de bruit que d'information.
Pour l'instant bloqué par #2703, mais à faire juste après.
cc @flothoniWeb 2017.11https://gitlab.inria.fr/vidjil/vidjil/-/issues/2698Multiple scatterplots: export et raccourcis claviers devraient concerner celu...2017-11-20T01:28:28+01:00Mathieu GiraudMultiple scatterplots: export et raccourcis claviers devraient concerner celui du basVu hier avec @mikael-s.Vu hier avec @mikael-s.Web 2017.11https://gitlab.inria.fr/vidjil/vidjil/-/issues/2545Documenter vmi.js et vmi_mocker.js2023-03-01T15:39:01+01:00Mathieu GiraudDocumenter vmi.js et vmi_mocker.js2017-06-30