vidjil issueshttps://gitlab.inria.fr/vidjil/vidjil/-/issues2024-01-19T19:03:58+01:00https://gitlab.inria.fr/vidjil/vidjil/-/issues/5145Upload by network; merge create hard file and no symlink2024-01-19T19:03:58+01:00THONIER FlorianUpload by network; merge create hard file and no symlinkIf you use a network to load data and choose a preprocess with merge, the resulting file will be store as a real file and no as a symlink. In this case, it will take more space.If you use a network to load data and choose a preprocess with merge, the resulting file will be store as a real file and no as a symlink. In this case, it will take more space.Web 2024.04https://gitlab.inria.fr/vidjil/vidjil/-/issues/5127docker-compose, use env and more config for mysql2023-03-14T10:40:26+01:00THONIER Floriandocker-compose, use env and more config for mysqlMysql as used for the moment is not optimal as we need to change right on volume directory to used it (and it is not documented).
A realize that we can set more parameter in docker-compose to use it directly.
We can also use .env file...Mysql as used for the moment is not optimal as we need to change right on volume directory to used it (and it is not documented).
A realize that we can set more parameter in docker-compose to use it directly.
We can also use .env file to store some variable easily.https://gitlab.inria.fr/vidjil/vidjil/-/issues/5109get reads; use zgrep before to minimize process2023-11-09T11:18:46+01:00Thonier Florianget reads; use zgrep before to minimize processLancé d'abord un `zgrep -B1 -A2 --no-group-separator $seq` (et son reverse) avant de faire le vidjil-algo permettrait de réduire le temps de processus.
@mikael-s : "Voir aussi si on spécifie le locus"Lancé d'abord un `zgrep -B1 -A2 --no-group-separator $seq` (et son reverse) avant de faire le vidjil-algo permettrait de réduire le temps de processus.
@mikael-s : "Voir aussi si on spécifie le locus"https://gitlab.inria.fr/vidjil/vidjil/-/issues/5100Onglet processes : des processus trop anciens apparaissent ?2022-11-30T17:20:22+01:00Mikaël SalsonOnglet processes : des processus trop anciens apparaissent ?Nous voyons ce processus-là dans l'onglet processes à la date du 4 novembre 2022 : https://app.vidjil.org/23112-39
Or il semble avoir été lancé il y a bien plus longtemps.Nous voyons ce processus-là dans l'onglet processes à la date du 4 novembre 2022 : https://app.vidjil.org/23112-39
Or il semble avoir été lancé il y a bien plus longtemps.https://gitlab.inria.fr/vidjil/vidjil/-/issues/5073Migration py4web2024-02-20T15:37:21+01:00Thonier FlorianMigration py4webListe des points à traiter pour py4web, !1121
## bloquant
* [x] nom des samples (+ bloque l'ouverture des résults)
* [x] création user (quelques routes)
* [x] init base de données =\> bloque les tests cypress
* [x] affichage du status ...Liste des points à traiter pour py4web, !1121
## bloquant
* [x] nom des samples (+ bloque l'ouverture des résults)
* [x] création user (quelques routes)
* [x] init base de données =\> bloque les tests cypress
* [x] affichage du status d'une analyse (lien avec la bdd lors de l'avancement) #5076
* [x] rebaser la branche sur `dev`
* [ ] #5180; script migration web2py vers py4web @fthonier
* [x] #5185; Inconstance de la DB (certains appels retournent None alors que présents ou nouvellement créé) @clement.chesnin et @fthonier
* [x] #5190; Pipeline pour les tests unitaires @clement.chesnin
* [x] #5189; check that all download function work
* [x] #5194; download gosu
* [x] #5202; Check pre-process with py4web
* [x] #5204; compare samples fail
* [x] #5210; Fix CGI for py4web
* [x] #5213; loading analysis is not working
* [x] #1397; link to open results
## prioritaire
* [x] custom fuse (contrôleur ou serveur python pour les faire à la volée) ==\> en cours, service d'avant
* [x] convertir test-server_base en py4web (construction/lancement docker sur py4web) ==\> vidjil!1238 @flothoni
* [x] lignes dupliquées dans les sets (pour l'instant pas de limite sample/set; lié au status dans la db)
* [x] liste result sur la page patient, run set (pour l'instant id config, mais pas le lien vers les résultats) ==\> jouable pour Marc
* [x] download results file (ok pour les fused du client, là on parle de dl)
* [x] mettre en place l'archi pour les tests API (si modification) ==\> @duez quelques modifs en cours, on devra continuer #5077
* [x] #5157 et !1342; Verifier API pour les json et le login (les routes restent les mêmes donc pas de souci en théorie, verifier la sortie json) @fthonier
* [x] #5178 parse des erreurs py4web pour les afficher proprement (nb modal qui change la disposition de la page) @fthonier
* [x] #5179 tests unitaires qui n'ont pas de routes (changement de méthode nécessaire) @clement.chesnin
* [ ] doc interne
* [ ] Ensemble des scripts adhoc de web2py compatible py4web ?
* [x] #5191; (client) return that an server error occured when it is
## nettoyage
* [x] #5184; Virer web2py
* [x] #5183; Mettre à jour toute la documentation qui fait référence au serveur web2py
* [x] #5182; Retirer les fichiers de demo de py4web; bulma, vue, ...
## secondaire
* [x] #5078; impersonate (pour l'instant bypass; avancée dans son intégration dans py4web vanilla) @clement.chesnin
* [ ] #5181; fonctionnement du script `create_clone_db.py`
* [x] #5169; Redirection 303 en cas de création d'users @clement.chesnin
* [ ] #5186; Serveur de review @fthonier
* [x] #5187; Se passer de uWSGI ?
* [ ] #2019; état des process + page admin en général
* [x] taille du fichier toujours à 0Web 2024.04https://gitlab.inria.fr/vidjil/vidjil/-/issues/5055Add a basket of sample to manipulate2022-07-26T10:24:26+02:00Thonier FlorianAdd a basket of sample to manipulateFor statsQC, it is not possible for the moment to compare samples from differents patients/runs.
A way to do this for the moment is to change all samples to add them to a same generic set, one by one.
A new way to do this could be to h...For statsQC, it is not possible for the moment to compare samples from differents patients/runs.
A way to do this for the moment is to change all samples to add them to a same generic set, one by one.
A new way to do this could be to have a button that allow to add sample to a basket that can be accesed for batch modification (change tags, add them to the same set, ..) or to compare them with statsQC.https://gitlab.inria.fr/vidjil/vidjil/-/issues/5052REndre la page (pre)process dispo aux non admins, sans droits de modification2022-07-05T17:12:33+02:00Thonier FlorianREndre la page (pre)process dispo aux non admins, sans droits de modificationCela permet de voir les CLI
Il ne devrait pas y avoir grand choses à cacher non ?
Voir le contrôleurCela permet de voir les CLI
Il ne devrait pas y avoir grand choses à cacher non ?
Voir le contrôleurhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/5050Fuse, pouvoir ne retenir que les clones présents dans 2 échantillons (au moin...2022-07-01T16:59:39+02:00Thonier FlorianFuse, pouvoir ne retenir que les clones présents dans 2 échantillons (au moins ou strict)Quelque part c'est l'inverse de #3828.
On a une utilisatrice qui souhaite comparer les clonotypes communs entre 2 échantillons provenant du même patient mais de 2 tissus différents.
Le cas pratique ici ne correspond peut-être pas non ...Quelque part c'est l'inverse de #3828.
On a une utilisatrice qui souhaite comparer les clonotypes communs entre 2 échantillons provenant du même patient mais de 2 tissus différents.
Le cas pratique ici ne correspond peut-être pas non plus à un usage sur le client, mais serait intéressant. On enlève dans ce cas beaucoup de bruit de fond sur les clones non détectés dans A ou B, et on obtient des fichiers plus petits et simple à analyser, avec du coup le moyen d'en avoir un aperçu sur le client, au moins sur le top 100.
L'optimum en config serveur: Faire la première passe de l'algo pour avoir les fenêtres, trouver les similaires, puis relancer l'algo avec cette liste (cf labels ?).https://gitlab.inria.fr/vidjil/vidjil/-/issues/5025Pouvoir ajouter son propre fichier de primer dans le client2022-10-12T12:03:08+02:00Thonier FlorianPouvoir ajouter son propre fichier de primer dans le clientDepuis le client, ou pourrait imaginer ajouter son fichier de primers pour permttre d'en faire un trimming direct ou une visualisation genescan.
Autant je pense que le second cas n'est pas forcement une bonne raison, autant la première...Depuis le client, ou pourrait imaginer ajouter son fichier de primers pour permttre d'en faire un trimming direct ou une visualisation genescan.
Autant je pense que le second cas n'est pas forcement une bonne raison, autant la première me semble bonne.
Deux implémentation possible:
* pouvoir charger dans le client son fichier de primer et l'ajouter comme set de cette analyse. il faut avoir le fichier dans le bon format, être capable de le charger et de l'incorporer. Mais non persistant entre plusieurs analyses
* Avoir son propre set sur le serveur de fichier primer dans lequel on peut puisser. Je sais que l'on en a déjà parler mais je n'ai pas retrouver l'issue. Beaucoup plus complexe....https://gitlab.inria.fr/vidjil/vidjil/-/issues/4917fuse.py; modifications pour les distributions2021-11-26T13:12:41+01:00Thonier Florianfuse.py; modifications pour les distributionsJe me suis aperçu que la gestion des paramètres est erroné dans le parser du fuse. Je propose ici une correction;Je me suis aperçu que la gestion des paramètres est erroné dans le parser du fuse. Je propose ici une correction;https://gitlab.inria.fr/vidjil/vidjil/-/issues/4912Pouvoir creer un fichier de séquences taggées depuis la database2023-06-28T17:34:40+02:00Thonier FlorianPouvoir creer un fichier de séquences taggées depuis la databaseL'idée ici est d'avoir un type de fichier particulier pour les tags. Avoir le moyen de charger un fichier, ou bien de copier/coller des séquences et que cela créé un fichier samples qui sera ajouté au set et analysable. On pourra aussi y...L'idée ici est d'avoir un type de fichier particulier pour les tags. Avoir le moyen de charger un fichier, ou bien de copier/coller des séquences et que cela créé un fichier samples qui sera ajouté au set et analysable. On pourra aussi y mettre des tags et dans son analyse, les clones seront donc automatiquement taggés, visible séparément sur la timeline.
Plusieurs aspects:
- pouvoir créer un fichier depuis un formulaire
- Avoir un format pour que ce fichier intègre les tags
- Que l'algo vidjil lancé avec la même config intègre les tags (déjà le cas ?àhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/4893Erreur de clé étrangère sur sample_set_membership2021-11-03T18:25:14+01:00Mikaël SalsonErreur de clé étrangère sur sample_set_membershipOn a eu deux erreurs serveurs consécutives avec le message :
```
<class 'gluon.contrib.pymysql.err.IntegrityError'> (1452, u'Cannot add or update a child row: a foreign key constraint fails (`vidjil`.`sample_set_membership`, CONSTRAIN...On a eu deux erreurs serveurs consécutives avec le message :
```
<class 'gluon.contrib.pymysql.err.IntegrityError'> (1452, u'Cannot add or update a child row: a foreign key constraint fails (`vidjil`.`sample_set_membership`, CONSTRAINT `sample_set_membership_ibfk_1` FOREIGN KEY (`sample_set_id`) REFERENCES `sample_set` (`id`) ON DELETE SET NULL)')
```
```
Traceback (most recent call last):
File "/usr/share/vidjil/server/web2py/gluon/restricted.py", line 219, in restricted
exec(ccode, environment)
File "/usr/share/vidjil/server/web2py/applications/vidjil/controllers/file.py", line 564, in <module>
File "/usr/share/vidjil/server/web2py/gluon/globals.py", line 421, in <lambda>
self._caller = lambda f: f()
File "/usr/share/vidjil/server/web2py/applications/vidjil/controllers/file.py", line 310, in submit
link_to_sample_sets(fid, id_dict)
File "/usr/share/vidjil/server/web2py/applications/vidjil/controllers/file.py", line 55, in link_to_sample_sets
db.sample_set_membership.bulk_insert(arr)
File "/usr/share/vidjil/server/web2py/gluon/packages/dal/pydal/objects.py", line 874, in bulk_insert
self, [el.op_values() for el in data])
File "/usr/share/vidjil/server/web2py/gluon/packages/dal/pydal/adapters/base.py", line 795, in bulk_insert
return [self.insert(table, item) for item in items]
File "/usr/share/vidjil/server/web2py/gluon/packages/dal/pydal/adapters/base.py", line 487, in insert
raise e
```
Utilisatrice 344, le 3/11 à 18h15 et 18h16.
Investiguer sur quel sample set cela s'est produit et pourquoi.https://gitlab.inria.fr/vidjil/vidjil/-/issues/4890Griser le bouton de lancement d'analyse si en cours2021-10-29T12:33:46+02:00Thonier FlorianGriser le bouton de lancement d'analyse si en coursPour prévenir le reclick sur une ligne ou l'analyse est lancée, on pourrait griser l’icône de lancement dans ce qui est renvoyé par le serveur.
Le cas typique est de vouloir lancer quelques analyses. Les premiers clicks entraînent le r...Pour prévenir le reclick sur une ligne ou l'analyse est lancée, on pourrait griser l’icône de lancement dans ce qui est renvoyé par le serveur.
Le cas typique est de vouloir lancer quelques analyses. Les premiers clicks entraînent le rechargement de la page de la db, et on se retrouve ensuite sur la mauvaise ligne a recliquer.https://gitlab.inria.fr/vidjil/vidjil/-/issues/4876Si le post process échouel, les analyses sont quand même disponible pour le fuse2021-10-06T17:38:57+02:00Thonier FlorianSi le post process échouel, les analyses sont quand même disponible pour le fuseSuite à une erreur sur un scirpt de preprocess fuse, toutes les analyses sont en erreur.
En cherchant a corriger ce point, j'ai vu dans le log du fuse que l'ensemble des autres analyses était listé dans la commande fuse.
Quelque part,...Suite à une erreur sur un scirpt de preprocess fuse, toutes les analyses sont en erreur.
En cherchant a corriger ce point, j'ai vu dans le log du fuse que l'ensemble des autres analyses était listé dans la commande fuse.
Quelque part, en effet, l'analyse vidjil est disponible, mais je ne pense pas que l'on devrait les inclure.
Il s'agit probablement d'un étiquetage des process dans le serveur.https://gitlab.inria.fr/vidjil/vidjil/-/issues/4873usage : rajouter l'utilisation par année2021-10-05T17:10:09+02:00Mathieu Giraudusage : rajouter l'utilisation par année
Typiquement nb de patients/échantillons crées
- en 2020
- en 2021 jusqu'à maintenant
et/ou bien sur 12 mois ?
Typiquement nb de patients/échantillons crées
- en 2020
- en 2021 jusqu'à maintenant
et/ou bien sur 12 mois ?https://gitlab.inria.fr/vidjil/vidjil/-/issues/4819Supprimer toutes les données d'un utilisateur2021-07-22T15:26:46+02:00Mikaël SalsonSupprimer toutes les données d'un utilisateurPour vdj#1170 il serait utile d'avoir un contrôleur qui permet de supprimer toutes les données d'un utilisateur (à partir du moment où elles ne sont pas partagées avec un autre compte).
Le compte utilisateur pourrait rester (tout en sup...Pour vdj#1170 il serait utile d'avoir un contrôleur qui permet de supprimer toutes les données d'un utilisateur (à partir du moment où elles ne sont pas partagées avec un autre compte).
Le compte utilisateur pourrait rester (tout en supprimant les infos identifiantes) mais ajouter un booléen pour savoir que le compte est désactivé.https://gitlab.inria.fr/vidjil/vidjil/-/issues/4798Impossible de faire des compare entre sets2021-06-15T10:10:13+02:00Thonier FlorianImpossible de faire des compare entre setsIl semble qu'il y ai un problème dans la dernière release pour faire des compare sample entre sets.
Je viens de tester de reproduire le bug remonté et il est entièrement reproductible.
Nous avons dans ce cas la variable `sample_set_id`...Il semble qu'il y ai un problème dans la dernière release pour faire des compare sample entre sets.
Je viens de tester de reproduire le bug remonté et il est entièrement reproductible.
Nous avons dans ce cas la variable `sample_set_id` qui reste à `None`, contrairement au cas ou nous passons depuis l'intérieur d'un set.
Cette valeur None provoque une erreur dans l'appel à `myUrl.loadCustomUrl(db, { 'sample_set_id':None })`.
Nous avons probablement touché à ce point lors de l'ajout de la possibilité d'ouvrir un résultat seul.https://gitlab.inria.fr/vidjil/vidjil/-/issues/4618Configuration apparaissant plusieurs fois dans les résultats2020-12-19T13:36:32+01:00Thonier FlorianConfiguration apparaissant plusieurs fois dans les résultatsJe viens de lancer des analyses sur des données d'un run avec la confid `multi+inc`. Je vois plusieurs fois celle-ci apparaître dans les boutons d'accès rapide au résultats.
Sur ce run, j'ai d'abord mis quelques fichiers demo, puis j'a...Je viens de lancer des analyses sur des données d'un run avec la confid `multi+inc`. Je vois plusieurs fois celle-ci apparaître dans les boutons d'accès rapide au résultats.
Sur ce run, j'ai d'abord mis quelques fichiers demo, puis j'ai lancé les analyse avec la config, puis ensuite j'ai modifier ces samples pour les rajouter à un individu.https://gitlab.inria.fr/vidjil/vidjil/-/issues/4614Comparer automatiquement les résultats sur certains fichiers récents ?2020-12-18T11:28:32+01:00Mikaël SalsonComparer automatiquement les résultats sur certains fichiers récents ?En fermant #1257 je me pose la question d'un mécanisme plus fin.
Quand on change de version algo, on pourrait avoir envie de lancer l'algo aléatoirement sur X fichiers récents et comparer les résultats avec la précédente version. Ça ser...En fermant #1257 je me pose la question d'un mécanisme plus fin.
Quand on change de version algo, on pourrait avoir envie de lancer l'algo aléatoirement sur X fichiers récents et comparer les résultats avec la précédente version. Ça serait une utilisation pertinente de notre Vidjil-algo-next.
Ce lancement pourrait être fait côté serveur (physique) sans que cela crée de nouveaux processes dans l'interface.https://gitlab.inria.fr/vidjil/vidjil/-/issues/4596processes: un process apparaît autant de fois qu'il est dans un sample set2020-12-03T19:35:04+01:00Mikaël Salsonprocesses: un process apparaît autant de fois qu'il est dans un sample setSur la page processes.
C'est pratique parce que ça permet d'aller dans le sample set qu'on souhaite ensuite, mais cela rajoute quand même du bruit (ou alors mettre les divers sample sets sur la même ligne ?)Sur la page processes.
C'est pratique parce que ça permet d'aller dans le sample set qu'on souhaite ensuite, mais cela rajoute quand même du bruit (ou alors mettre les divers sample sets sur la même ligne ?)