vidjil issueshttps://gitlab.inria.fr/vidjil/vidjil/-/issues2020-06-15T18:14:45+02:00https://gitlab.inria.fr/vidjil/vidjil/-/issues/4348Le web2py trackè_changes peut-il dégrader les performances en prod ?2020-06-15T18:14:45+02:00Mathieu GiraudLe web2py trackè_changes peut-il dégrader les performances en prod ?
dans `models/db.py`: `from gluon.custom_import import track_changes; track_changes(True)`
introduit par de7ce3c7e
@mikael-s : "On a aussi, dans `docker/vidjil-server/conf/uwsgi.ini`
```
touch-reload = /usr/share/vidjil/server/web2py/...
dans `models/db.py`: `from gluon.custom_import import track_changes; track_changes(True)`
introduit par de7ce3c7e
@mikael-s : "On a aussi, dans `docker/vidjil-server/conf/uwsgi.ini`
```
touch-reload = /usr/share/vidjil/server/web2py/applications/vidjil/modules/defs.py
```
@duez : "sur doc de web2py, disent que pas de soucis"https://gitlab.inria.fr/vidjil/vidjil/-/issues/4347Optimisation du chargement des distributions2020-07-28T11:18:44+02:00Thonier FlorianOptimisation du chargement des distributionsLes distributions sont sources de ralentissement lors du chargement des analyses.
Je cherche un moyen d’accélérer cette latence induite. Parfois quelques dizaine de secondes de perte de contrôle de l'interface, et en plus, un message d...Les distributions sont sources de ralentissement lors du chargement des analyses.
Je cherche un moyen d’accélérer cette latence induite. Parfois quelques dizaine de secondes de perte de contrôle de l'interface, et en plus, un message du navigateur aux utilisteurs indiquant un possible `freeze`.https://gitlab.inria.fr/vidjil/vidjil/-/issues/4345Suggérer de recharger le client2020-06-12T20:08:49+02:00Mikaël SalsonSuggérer de recharger le clientLe client devrait détecter qu'il n'est plus à jour et suggérer à l'utilisateur de recharger la page. Mattermost le fait par exemple.
Cela éviterait qu'une utilisatrice se retrouve avec un client vieux de 4 mois car n'ayant pas eu à rech...Le client devrait détecter qu'il n'est plus à jour et suggérer à l'utilisateur de recharger la page. Mattermost le fait par exemple.
Cela éviterait qu'une utilisatrice se retrouve avec un client vieux de 4 mois car n'ayant pas eu à recharger la page depuis (https://gitlab.inria.fr/vidjil/vidjil/-/issues/4265#note_350767).https://gitlab.inria.fr/vidjil/vidjil/-/issues/4344validate-links: code d'erreur2020-06-12T12:40:46+02:00Mathieu Giraudvalidate-links: code d'erreurQuand une URL ne passe pas, ce serait sympa de savoir si c'est un 404/403/500/... ou bien un Timeout. Et de mettre cette info aussi à la fin dans le récapitulatif des failed.Quand une URL ne passe pas, ce serait sympa de savoir si c'est un 404/403/500/... ou bien un Timeout. Et de mettre cette info aussi à la fin dans le récapitulatif des failed.https://gitlab.inria.fr/vidjil/vidjil/-/issues/4343Blancs dans .vidjil ?2020-07-28T09:59:34+02:00Mathieu GiraudBlancs dans .vidjil ?Avec --gz cela change rien #2015, mais sinon en ce moment on a beaucoup de blancs.
Et c'est tout de même agréable de pouvoir lire un .vidjil.Avec --gz cela change rien #2015, mais sinon en ce moment on a beaucoup de blancs.
Et c'est tout de même agréable de pouvoir lire un .vidjil.https://gitlab.inria.fr/vidjil/vidjil/-/issues/4342problème d'échelle sur les axes2021-02-19T08:16:10+01:00Thonier Florianproblème d'échelle sur les axesEn testant une nouvelle option algo, j'ouvre un fichier qui ne contient des clones qui ne font nunquement que 300 et 301 nt.
Le rendu n'est pas jolie du tout. Les clones ont maintenant une largeur aussi large que l'ensemble du graph.
...En testant une nouvelle option algo, j'ouvre un fichier qui ne contient des clones qui ne font nunquement que 300 et 301 nt.
Le rendu n'est pas jolie du tout. Les clones ont maintenant une largeur aussi large que l'ensemble du graph.
En voici un exemple:
![Screenshot_20200611_180027](/uploads/0c6be42524f2cebc8a4621f42fa5f573/Screenshot_20200611_180027.png)https://gitlab.inria.fr/vidjil/vidjil/-/issues/4341Vocabulaire "detected", choses restantes2020-06-12T09:30:33+02:00Mathieu GiraudVocabulaire "detected", choses restantesDepuis #3413 :
> Ce qui n'est pas encore changé:
>
> * les champs `segmented` et `seg` dans les `.vidjil` (ne changera probablement pas à moins de casser le format) #4317
> * les constantes `SEG*`, `UNSEG*`: on peut les laisser...Depuis #3413 :
> Ce qui n'est pas encore changé:
>
> * les champs `segmented` et `seg` dans les `.vidjil` (ne changera probablement pas à moins de casser le format) #4317
> * les constantes `SEG*`, `UNSEG*`: on peut les laisser...https://gitlab.inria.fr/vidjil/vidjil/-/issues/4340Clones sans `sequence` dans le .vidjil et client2020-06-11T19:48:10+02:00Mathieu GiraudClones sans `sequence` dans le .vidjil et clientSuite à !724, discussions
- à partir de https://gitlab.inria.fr/vidjil/vidjil/-/merge_requests/724#note_349980
- et à partir de https://gitlab.inria.fr/vidjil/vidjil/-/merge_requests/724#note_349686
@flothoni a déjà vu qu'on peut ouv...Suite à !724, discussions
- à partir de https://gitlab.inria.fr/vidjil/vidjil/-/merge_requests/724#note_349980
- et à partir de https://gitlab.inria.fr/vidjil/vidjil/-/merge_requests/724#note_349686
@flothoni a déjà vu qu'on peut ouvrir des .vidjil avec des clones sans séquences. Mais
> Est-ce qu'il se visualise bien dans le reste du ~client ? Dans la ~"client-cloneList" et dans la
~"client-grid" ?
> Le ~"client-rapport" se génère correctement (y compris s'il est sélectionné) ?
> Est-ce qu'il y a des erreurs dans la console ? Si oui sont-elles bloquantes après ? Cela arrive qu'une erreur à un moment donné empêche ensuite d'interagir avec d'autres clones.
En fonction de la réponse, mettre à jour ou pas la ~doc et `vidjil-format.md` #4317https://gitlab.inria.fr/vidjil/vidjil/-/issues/4339Bikeshedding du nom : boxes pré-V et post-J, MAX_N_LENGTH_IN_CODE2020-12-02T12:38:56+01:00Mathieu GiraudBikeshedding du nom : boxes pré-V et post-J, MAX_N_LENGTH_IN_CODE(Essai avec le bouton magique "resolve all threads in a new issue)
The following discussions from !705 should be addressed:
- [ ] @mikael-s started a [discussion](https://gitlab.inria.fr/vidjil/vidjil/-/merge_requests/705#note_349418)...(Essai avec le bouton magique "resolve all threads in a new issue)
The following discussions from !705 should be addressed:
- [ ] @mikael-s started a [discussion](https://gitlab.inria.fr/vidjil/vidjil/-/merge_requests/705#note_349418): (+6 comments)
> Pourquoi le `MAX_N_LENGTH_IN_CODE` ? C'est affiché où ? Si on parse la sortie quel effet ?
- [ ] @mikael-s started a [discussion](https://gitlab.inria.fr/vidjil/vidjil/-/merge_requests/705#note_349618): (+6 comments)
> J'ai des réticences sur ce format type 42/0 sur la sortie : ça casse (encore) la sortie habituelle, ça ne respecte pas notre format .vdj, c'est une information redondante (on a déjà l'information de début du V dans le format .vdj), je ne comprends pas la signification exacte (0 quoi ?), j'ai l'impression que la sémantique est différente des autres `/`.
- [ ] @magiraud started a [discussion](https://gitlab.inria.fr/vidjil/vidjil/-/merge_requests/705#note_350012): (+2 comments)
>
> Pour essayer d'avancer (et le sujet de la MR n'était pas là-dessus ;) :
>
> - 1) On n'est visiblement d'accord, bref soyons conservateurs, je te propose donc de ne pas mettre ces box au début et à la fin (même si je trouve cela dommage), et à reprendre cette discussion plus tard. Pour l'instant on a peu de séquences comme cela, dans quelque temps on verra plus clair si on en a d'autres, et je pense qu'on a un point d'accord que le `name` doit décrire des choses biologiques, pas des artefacts, il faudra qu'on ait plus de données.
>
> - 2) j'aimerais laisser tout de même le N ... mais si tu insistes on enlève tout : c'est vrai qu'une fois qu'on a enlevé les box au début et à la fin, le N est complètement indépendant de cette MR... j'avais fait cela pour aider le 1), y compris *biologiquement*, et au final je me suis rendu compte que c'est aussi plus élégant pour lire humainement les sorties (que ce soit stdout ou name) sur quelques exemples).
>
> Bref, dis-moi ton choix et je détricote en fonction.https://gitlab.inria.fr/vidjil/vidjil/-/issues/4338Chiffres significatifs : average_read_length, e-value2021-03-31T21:37:28+02:00Mathieu GiraudChiffres significatifs : average_read_length, e-value```
"_average_read_length": [
333.6000061035156
],
```
Mettre seulement 2 (ou 1, ou 3) décimales. Pas tellement pour gagner 10 octets, mais juste parce que cela ne fait pas vraiment de sens.
Pendant qu'on y est, 2 décimal...```
"_average_read_length": [
333.6000061035156
],
```
Mettre seulement 2 (ou 1, ou 3) décimales. Pas tellement pour gagner 10 octets, mais juste parce que cela ne fait pas vraiment de sens.
Pendant qu'on y est, 2 décimales pour les e-valeurs sont probablement aussi largement suffisantes, surtout vu la précision de nos modèles ;-)https://gitlab.inria.fr/vidjil/vidjil/-/issues/4337Warning si version très ancienne de l'algorithme (et vue database)2020-06-11T09:52:07+02:00Thonier FlorianWarning si version très ancienne de l'algorithme (et vue database)Hier une utilisatrice qui n'avait pas utilisé vidjil depuis des années m'a demandé de réactiver son compte.
Dans le cas présent, il n'y avait pas de données. Mais si elle avait voulu rajouter un ou plusieurs samples dans ses run/sets, el...Hier une utilisatrice qui n'avait pas utilisé vidjil depuis des années m'a demandé de réactiver son compte.
Dans le cas présent, il n'y avait pas de données. Mais si elle avait voulu rajouter un ou plusieurs samples dans ses run/sets, elle aurait potentiellement voulu relancer les analyses avec la dernière version de l'algorithme.
Pour ce faire, il faudrait avoir l'information en base pour ne pas avoir a reparcourir le fichier de résultat, et l'information de la version courante du logiciel (le tag release à minima).
On a un warning potentiel non encore implémenté `W0x` qui indique si l'algo utilisé est outdated. Mais on pourrait aussi indiqué l'alerte en amont, dans la page patient/run.
De la même manière, on pourrait aussi imaginer que le bouton permettant de relancer toutes les analyses permette de relancer différentiellement en fonction de ce paramètre (une idée en l'air, dans la pratique l'option de tout relancer indifféremment me semble en réalité plus pertinente, mais je le mentionne au cas ou).
D'une manière générale, y-a-t-il d'autre informations/warnings qu'il serait pertinent de faire remonter avant l'ouverture ? Cela recoupe aussi des informations que l'on pourrait avoir potentiellement dans la vue statshttps://gitlab.inria.fr/vidjil/vidjil/-/issues/4336Ajouter d'autres axes de distributions2020-06-11T21:48:03+02:00Mathieu GiraudAjouter d'autres axes de distributions
On s'était dit qu'on restait pour l'instant sur `lenSeqAverage`, à regarder un bilan après au moins 6 mois (une fois que l'on a fait la ~com vdj#926), et aussi en ayant considéré #4250 et autres.
Beaucoup de choses sont possibles (mais...
On s'était dit qu'on restait pour l'instant sur `lenSeqAverage`, à regarder un bilan après au moins 6 mois (une fois que l'on a fait la ~com vdj#926), et aussi en ayant considéré #4250 et autres.
Beaucoup de choses sont possibles (mais on ne veut pas dupliquer ~"app-stats"). Probablement le par V / par J sont les premiers candidats, mais cela pose la question de faire (ou pas) les clés multiples.
cc @flothonihttps://gitlab.inria.fr/vidjil/vidjil/-/issues/4335Avoir des statistiques globales de détection dans le .vidjil sous forme parsable2020-06-11T07:28:24+02:00Mathieu GiraudAvoir des statistiques globales de détection dans le .vidjil sous forme parsableSuite à #4334.
On a certes le `log`, mais, bon, cela ne coûterait pas grand chose d'avoir, sur l'ensemble du .vidjil, les infos `SEG_` et `UNSEG_` sous un bel objet json.Suite à #4334.
On a certes le `log`, mais, bon, cela ne coûterait pas grand chose d'avoir, sur l'ensemble du .vidjil, les infos `SEG_` et `UNSEG_` sous un bel objet json.https://gitlab.inria.fr/vidjil/vidjil/-/issues/4333Fichiers dans un répertoire /upload2021-03-19T14:24:20+01:00Mathieu GiraudFichiers dans un répertoire /upload
Il y a actuellement 100k+ fichiers dans le seul répertoire `/uploads` sur un serveur de prod.
Apparament pas de soucis avec des fs récents : https://stackoverflow.com/questions/466521/how-many-files-can-i-put-in-a-directory
Mais... es...
Il y a actuellement 100k+ fichiers dans le seul répertoire `/uploads` sur un serveur de prod.
Apparament pas de soucis avec des fs récents : https://stackoverflow.com/questions/466521/how-many-files-can-i-put-in-a-directory
Mais... est-ce une bonne pratique ? git ou d'autres logiciels font parfois des répertoires pour "ranger" un grand nombre de fichiers, est-ce recommandé ?https://gitlab.inria.fr/vidjil/vidjil/-/issues/4332Avoir connaissance de ses groupes et de ses membres2021-11-19T11:06:56+01:00Thonier FlorianAvoir connaissance de ses groupes et de ses membresOn pourrait ajouter plus ou moins facilement une liste des groupes auxquels on est rattaché et les membres de chaque.
Cela permettrait entre autre à un chef d'équipe de savoir qui est présent et actif.
Au passage, il faudrait aussi po...On pourrait ajouter plus ou moins facilement une liste des groupes auxquels on est rattaché et les membres de chaque.
Cela permettrait entre autre à un chef d'équipe de savoir qui est présent et actif.
Au passage, il faudrait aussi pouvoir indiquer si un membre est désactivé ou non. Pour rappel, pour le moment, la manipulation consiste à désactiver le mot de passe, mais on n'a pas de retour dans l'interface de cet état. Faut-il une option désactiver utilisateur qui enregistrerait un etat en base de données d'un utilisateur ?https://gitlab.inria.fr/vidjil/vidjil/-/issues/4330Avoir une date de péremption d'un utilisateur dans un groupe2020-06-10T22:16:51+02:00Thonier FlorianAvoir une date de péremption d'un utilisateur dans un groupeIl peut arriver que certaines équipes connaissent d'avance une date théorique de fin de contrat d'un membre (un CDD, un Phd ou un stagiaire).
On pourrait imaginer qu'un compte puisse avoir une date d'expiration à la création. Dans ce ca...Il peut arriver que certaines équipes connaissent d'avance une date théorique de fin de contrat d'un membre (un CDD, un Phd ou un stagiaire).
On pourrait imaginer qu'un compte puisse avoir une date d'expiration à la création. Dans ce cas, on fait une fois par jours/semaine le tour des comptes et on prévient/suspend un compte.
La suspension aurait pour effet de changer le mot de passe par un autre, bloquant ainsi l'exploitation du compte.
Tel que je le vois, on pourrait ajouter un champs dans la table des utilisateurs avec une date. Celle-ci pourrait être instancier à la création si on la connaît, ou laissé à nulle, (ou repoussée en cas de demande). On pourrait aussi l'utiliser pour prévenir les utilisateurs à X jours avant de l'appliquer. A la date, on a une tâche cron qui s'occupe de faire la manip.
Il y a probablement un mécanisme mixte avec ma proposition de supprimer les séquences d'un utilisateur non connecté depuis XX mois.https://gitlab.inria.fr/vidjil/vidjil/-/issues/4329Rapport : enlever les camemberts2020-06-10T16:27:08+02:00Mathieu GiraudRapport : enlever les camembertset les remplacer par des bars ou autre
Suggéré par @duezet les remplacer par des bars ou autre
Suggéré par @duezmarc duezmarc duezhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/4328Account creation: Retour dans le client si l'adresse mail est déjà utilisée2021-02-09T16:15:37+01:00Thonier FlorianAccount creation: Retour dans le client si l'adresse mail est déjà utiliséeJe viens de me faire avoir a tenter une création de compte d'un utilisateur existant déjà. Lorsque j'ai fait validé, je suis tombé sur l'affichage du dernier compte créé, et comme j'avais switché de fenêtre pour faire le mail, je ne m'e...Je viens de me faire avoir a tenter une création de compte d'un utilisateur existant déjà. Lorsque j'ai fait validé, je suis tombé sur l'affichage du dernier compte créé, et comme j'avais switché de fenêtre pour faire le mail, je ne m'en suis pas aperçu.
Il faudrait avoir le bouton de validation de création de compte grisé si l'ensemble des champs ne sont pas rempli ou si l'adresse mail est déjà utilisée. Pour cela, il faudrait avoir une requête vers le serveur pour savoir si elle est déjà présente dans la base de données.https://gitlab.inria.fr/vidjil/vidjil/-/issues/43270-based / 1-based2021-12-07T18:39:44+01:00Mathieu Giraud0-based / 1-basedSuite à remarque de @flothoni sur !715.
Je pense qu'on est, pour nos usagers, pour les sorties du ~cpp, et pour le ~client, partout 1-based. Probablement il faut le dire mieux dans la ~doc.
(très anciennes issues: #1942, #1958, #1869)...Suite à remarque de @flothoni sur !715.
Je pense qu'on est, pour nos usagers, pour les sorties du ~cpp, et pour le ~client, partout 1-based. Probablement il faut le dire mieux dans la ~doc.
(très anciennes issues: #1942, #1958, #1869)
Par contre, je pense qu'on est 0-based en *interne* du ~cpp. Mais est-ce systématique ? (Je vois par exemple "JUNCTIONstart is 1-based"). Faut-il progresser vers quelque chose de plus systématique ?https://gitlab.inria.fr/vidjil/vidjil/-/issues/4326Monitorer les slaves2020-06-10T13:10:23+02:00Mathieu GiraudMonitorer les slavesMême chose que #4324 mais pour le ~"dev-ci". C'est par exemple jouable de déployer plusieurs serveurs Prometheus et d'avoir un seul Grafana qui récupère tout, ou d'avoir cela directement récupéré par Gitlab.
Permettrait probablement d'a...Même chose que #4324 mais pour le ~"dev-ci". C'est par exemple jouable de déployer plusieurs serveurs Prometheus et d'avoir un seul Grafana qui récupère tout, ou d'avoir cela directement récupéré par Gitlab.
Permettrait probablement d'avancer sur #3397, et plus généralement d'être conscient de notre taux d'occupation des slaves.