vidjil issueshttps://gitlab.inria.fr/vidjil/vidjil/-/issues2020-10-14T11:29:54+02:00https://gitlab.inria.fr/vidjil/vidjil/-/issues/2174Features de séquences et axes : concepts et liens2020-10-14T11:29:54+02:00Mathieu GiraudFeatures de séquences et axes : concepts et liensDiscussion débutée avec @RyanHerb.
Nous avons deux concepts dont nous souhaitons améliorer la généricité :
* les "features" ~"client-segmenter" (quelque chose sur une portion de la séquence) #2136 #2137
* les "axes" ~"client-ax...Discussion débutée avec @RyanHerb.
Nous avons deux concepts dont nous souhaitons améliorer la généricité :
* les "features" ~"client-segmenter" (quelque chose sur une portion de la séquence) #2136 #2137
* les "axes" ~"client-axis" (une valeur pour un clone) #1471 #2175
Déjà, sommes-nous cohérents dans notre vocabulaire, entre *"feature"* et *"axe"* ? (Meilleur nom que "axe" ?) (#2136 parle-t-il de feature ou d'axes ?)
Est-ce que ce sont toujours deux concepts bien séparés ? Il y a parfois des liens entre ces concepts. C'est le cas de #2043 @flothoni : on peut calculer un axe à partir de feature. Longueur de N, entre deux primers... on pourrait en avoir d'autres (nombre de D, ...).
Et des features sur toute la séquence sont naturellement des axes... la description du format `.vidjil` indique :
```
// any feature to be highlighted in the sequence, with optional fields related to this feature:
// - "start"/"stop" : positions on the clone sequence (starting at 1)
// - "seq" : a sequence
// - "val" : a numerical value
// - "info" : a textual vlaue
"somefeature": { "start": 56, "stop": 61, "seq": "ACTGTA", "val": 145.7, "info": "analyzed with xyz" },
// Numerical or textual features concerning all the sequence or its analysis (such as 'evalue')
// can be provided by omitting "start" and "stop" elements.
"someotherfeature": {"val": 0.004521},
```
Ici on aimerait clairement pouvoir afficher `someotherfeature` comme un axe.
Mais ces deux concepts sont tout de même fort différents. Que nous évoquent-ils ? Quelque part, le ~client Vidjil n'est-il pas principalement un affichage de clones avec des features et des axes (et des samples) ?
cc @mikael-shttps://gitlab.inria.fr/vidjil/vidjil/-/issues/2171Permettre des OR dans les requêtes de recherche de sample sets ou samples2024-02-21T14:18:07+01:00Mathieu GiraudPermettre des OR dans les requêtes de recherche de sample sets ou samplesVoir dicussion soulevée par @flothoni dans #2170.
On souhaiterait éventuellement accepter des `OU` logiques dans requêtes (`advanced_filter` dans `modules/vijdil_utils.py`). Et d'autres choses (parenthèses ?) ? Discuter déjà de la syntax...Voir dicussion soulevée par @flothoni dans #2170.
On souhaiterait éventuellement accepter des `OU` logiques dans requêtes (`advanced_filter` dans `modules/vijdil_utils.py`). Et d'autres choses (parenthèses ?) ? Discuter déjà de la syntaxe.
cc @mikael-s @RyanHerbhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/2168Mieux construire la pseudo-germline xxx en prenant aussi les gènes D2018-10-03T15:52:36+02:00Mathieu GiraudMieux construire la pseudo-germline xxx en prenant aussi les gènes DLes gènes `D` ne sont pour l'instant pas pris en compte.
Voir 3ea1027 et #2167.
@mikael-sLes gènes `D` ne sont pour l'instant pas pris en compte.
Voir 3ea1027 et #2167.
@mikael-sHeuristique 2.0https://gitlab.inria.fr/vidjil/vidjil/-/issues/2167Mieux construire la pseudo-germline xxx en ne prenant pas les doublons2017-02-04T12:26:33+01:00Mathieu GiraudMieux construire la pseudo-germline xxx en ne prenant pas les doublonsOn devrait initialiser `xxx` avec tous les répertoires disponibles (voir aussi #2168), mais faire en sorte qu'on ne prenne qu'une fois chaque fichier (sinon on génère des `AFFECT_AMBIGUOUS`, voir !6 et c7a85b67).On devrait initialiser `xxx` avec tous les répertoires disponibles (voir aussi #2168), mais faire en sorte qu'on ne prenne qu'une fois chaque fichier (sinon on génère des `AFFECT_AMBIGUOUS`, voir !6 et c7a85b67).Mathieu GiraudMathieu Giraudhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/2166Méta-données : provenance de l'échantillon2017-02-07T17:07:42+01:00Mathieu GiraudMéta-données : provenance de l'échantillonSang ou moelle ? Parafine ?
Autres métadonnées en réflexion : #1558 #1556 #1555
@mikael-sSang ou moelle ? Parafine ?
Autres métadonnées en réflexion : #1558 #1556 #1555
@mikael-shttps://gitlab.inria.fr/vidjil/vidjil/-/issues/2165Killer un processus qui tourne sur un fichier qu'on écrase ?2017-03-02T18:29:36+01:00Mikaël SalsonKiller un processus qui tourne sur un fichier qu'on écrase ?Suite à #2103, on supprime bien les résultats pré-existants lorsqu'on réuploade un fichier mais ça ne s'applique pas aux jobs en courts sur les fichiers qu'on écrase.
@mikael-s
> A-t-on la possibilité de dire aux jobs de s'arrêter ? Tr...Suite à #2103, on supprime bien les résultats pré-existants lorsqu'on réuploade un fichier mais ça ne s'applique pas aux jobs en courts sur les fichiers qu'on écrase.
@mikael-s
> A-t-on la possibilité de dire aux jobs de s'arrêter ? Trop complexe ?
@RyanHerb
> […]
On pourrait donc théoriquement kill le worker si on a son pid, supprimer la tâche et lancer un nouveau worker.
Est-ce raisonnable de killer le worker ? On pourrait se trouver dans une situation ou entre le moment où on lance l'upload et le moment où on lance le kill c'est un autre processus qui s'est mis à tourner. On killerait donc le mauvais processus. Ok, ça devrait arriver très rarement (si ça arrive), mais le risque n'est pas nul.
Prend-on ce risque ? D'autres solutions ?
cc @flothoni @magiraudhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/2163La suppression doit-elle vraiment supprimer ?2023-07-13T15:55:36+02:00Mikaël SalsonLa suppression doit-elle vraiment supprimer ?Parfois des bugs arrivent sur des données qui ont été supprimées et nous ne pouvons pas les reproduire. Parfois des utilisateurs pourraient supprimer par inadvertance des sets liés à des patients.
Bref, par sécurité et pour des question...Parfois des bugs arrivent sur des données qui ont été supprimées et nous ne pouvons pas les reproduire. Parfois des utilisateurs pourraient supprimer par inadvertance des sets liés à des patients.
Bref, par sécurité et pour des questions pratiques doit-on vraiment supprimer les données lorsqu'on clique sur supprimer ? Ne faut-il pas juste ajouter un champ `deleted` à chaque table pour savoir s'il faut afficher le champ ou non (les admins auraient la possibilité de voir les données supprimées).
À voir si on va jusqu'à appliquer cela aux fichiers de séquences.
cc @magiraud @RyanHerbhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/2162Afficher des D selon leur niveau de e-valeur2020-10-14T11:25:55+02:00Mikaël SalsonAfficher des D selon leur niveau de e-valeurDiscussion en audio Vidjil : faut-il afficher le D selon le choix de spécificité de l'utilisateur ?
Pour désigner une amorce, il est important de savoir si on tombe dans le D ou non, les utilisateurs préfèrent avoir des faux positifs que...Discussion en audio Vidjil : faut-il afficher le D selon le choix de spécificité de l'utilisateur ?
Pour désigner une amorce, il est important de savoir si on tombe dans le D ou non, les utilisateurs préfèrent avoir des faux positifs que des faux négatifs (voir aussi #1681)
On pourrait très bien avoir la e-valeur du D dans le `.vidjil` mais cela fait varier la dénomination du clone.
Remarque de @magiraud : mais il faudrait vérifier la spécificité avec n'importe quel bout du génome (mais dans cette région-là on a quand même beaucoup plus de risques d'être effectivement dans le D).
cc @magiraud @RyanHerb @flothoni @Cyanael @aurelBZHhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/2161Logger toutes les commandes lancées sur un serveur de prod2021-01-06T16:00:44+01:00Mikaël SalsonLogger toutes les commandes lancées sur un serveur de prod[How can you log every command typed](https://unix.stackexchange.com/questions/86000/how-can-you-log-every-command-typed)
Suggestions:
* `auditd`
* `script`
cc @RyanHerb @magiraud[How can you log every command typed](https://unix.stackexchange.com/questions/86000/how-can-you-log-every-command-typed)
Suggestions:
* `auditd`
* `script`
cc @RyanHerb @magiraudhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/2159Filtre plus flexible sur les germlines choisies par -g2017-07-10T17:01:29+02:00Mathieu GiraudFiltre plus flexible sur les germlines choisies par -gSuite à #2134, on aimerait avoir des filtres plus flexibles pour choisir les germlines dans l'algo, peut-être même des regexp (mais en faisant attention à ne pas demander trop d'échappements, `+` est un caractère qui nous sert dans les l...Suite à #2134, on aimerait avoir des filtres plus flexibles pour choisir les germlines dans l'algo, peut-être même des regexp (mais en faisant attention à ne pas demander trop d'échappements, `+` est un caractère qui nous sert dans les locus).
* [ ] Discuter sur ce que l'on voudrait `:IG*`, `:IGH*`, `:*+`, peut-être `:!*+` ?
* [ ] Comment l'implémenter ?
@mikael-shttps://gitlab.inria.fr/vidjil/vidjil/-/issues/2153Supprimer GERMLINES_REGULAR / _INCOMPLETE suite à -i ?2019-02-12T13:57:51+01:00Mathieu GiraudSupprimer GERMLINES_REGULAR / _INCOMPLETE suite à -i ?Dans ce qui arrive bientôt :
```
-c clones -g germline/homo-sapiens.g -i -2 -3 data/Stanford_S22.fasta # (basic usage, detect the locus for each read, including unusual/unexpected recombinations)
-c clones -g germline/hom...Dans ce qui arrive bientôt :
```
-c clones -g germline/homo-sapiens.g -i -2 -3 data/Stanford_S22.fasta # (basic usage, detect the locus for each read, including unusual/unexpected recombinations)
-c clones -g germline/homo-sapiens.g:IGH -3 data/Stanford_S22.fasta # (restrict to IGH complete locus)
```
J'aimerais supprimer `-i` (le mettre par défaut) : le mécanisme de filter est plus générique (`:IGH` ou `:IGH,IGH+`) , et l'interaction entre `-i` et le filter est confuse (actuellement `:IGH,IGH+` ne sélectionne pas `IGH+` si on ne met pas `-i`...)
Dans mes rêves les plus fous, je voudrais même supprimer `-2` et le mettre par défaut, mais non, ce n'est pas raisonnable et c'est une porte-dans-le-nez. @mikael-shttps://gitlab.inria.fr/vidjil/vidjil/-/issues/2152Pouvoir signaler sur le client un downtime de la db et/ou la suspendre2018-10-11T10:40:24+02:00Mathieu GiraudPouvoir signaler sur le client un downtime de la db et/ou la suspendreDiscussion originale dans vdj#353.
On veut informer les utilisateurs lors d'un downtime. Cela peut être en automatique (#2151), mais des notifications manuelles peuvent être plus pertinentes.
@magiraud:
> On pourrait peut-être ju...Discussion originale dans vdj#353.
On veut informer les utilisateurs lors d'un downtime. Cela peut être en automatique (#2151), mais des notifications manuelles peuvent être plus pertinentes.
@magiraud:
> On pourrait peut-être juste avoir un fichier `js/alert.js` (*), habituellement vide ou presque, et où on mettrait un message en dur (pas via git) dedans et ce qu'il faut en js/html pour afficher cela.
On pourrait même choisir dans ce fichier de supprimer temporairement l'accès à la db par quelque chose de plus fort que `config.use_db`.
(*) Cela pourrait être aussi dans `js/conf.js`, c'est juste qu'en temps de ~"!!-crisis" on peut avoir des mécanismes simples pour ne pas se planter.
@RyanHerb @mikael-shttps://gitlab.inria.fr/vidjil/vidjil/-/issues/2151Avoir un mécanisme automatique détectant un downtime de la db2017-02-22T17:07:39+01:00Mathieu GiraudAvoir un mécanisme automatique détectant un downtime de la dbDiscussion originale dans vdj#353.
On veut informer les utilisateurs lors d'un downtime. Idéalement on aimerait avoir une notification manuelle (#2152), mais on n'est pas toujours disponible, ne serait-ce que hors des heures de bureau...Discussion originale dans vdj#353.
On veut informer les utilisateurs lors d'un downtime. Idéalement on aimerait avoir une notification manuelle (#2152), mais on n'est pas toujours disponible, ne serait-ce que hors des heures de bureau sur notre fuseau horaire.
@mikael-s :
> Si db.vidjil.org ne répond pas, la notification pourrait apparaître automatiquement. Mais quelle est la définition de « db.vidjil.org ne répond pas » ? Car c'est déjà un peu le rôle du timeout…
> Peut-être un truc qui s'active en utilisant les messages de UptimeRobot ou du monitor Vidjil ?
@magiraud :
> Il peut y avoir un truc automatique disant "down since Xxxx, we will check soon" (éventuellement "More news to come at 9:30am") qui se lance "tout seul" si c'est offline 10/30 minutes de suite...
@RyanHerbhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/2146Filtrer la liste des sample_sets par groupe2019-02-28T14:30:15+01:00Mikaël SalsonFiltrer la liste des sample_sets par groupeLorsqu'une personne appartient à plusieurs groupes, elle peut vouloir filtrer les résultats en fonction d'un groupe.
Demande de Jona, mais peut s'appliquer à d'autres.
cc @magiraud @RyanHerbLorsqu'une personne appartient à plusieurs groupes, elle peut vouloir filtrer les résultats en fonction d'un groupe.
Demande de Jona, mais peut s'appliquer à d'autres.
cc @magiraud @RyanHerbhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/2145Nettoyage des sessions web2py2022-01-06T11:17:29+01:00Mikaël SalsonNettoyage des sessions web2pyEn faisant le transfert des données, je me suis rendu compte qu'on avait un répertoire `/var/vidjil/sessions` avec **beaucoup** de fichiers (estimation au doigt mouillé : un seul répertoire en contenait 900 il y a 512 répertoires comme c...En faisant le transfert des données, je me suis rendu compte qu'on avait un répertoire `/var/vidjil/sessions` avec **beaucoup** de fichiers (estimation au doigt mouillé : un seul répertoire en contenait 900 il y a 512 répertoires comme celui-là, donc plusieurs centaines de milliers de fichiers).
Comment nettoyer ces sessions pour qu'elles ne pourissent pas le disque ?
cc @magiraud @RyanHerbhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/2143Donner accès aux fichiers produits par les pre-process2019-01-08T15:11:22+01:00Mathieu GiraudDonner accès aux fichiers produits par les pre-processDe la même manière que #2141, on pourrait vouloir donner accès aux fichiers éventuellement produits par un pre-process (pour l'instant uniquement PEAR), dans `DIR_PRE_VIDJIL_ID`.
Tâche vraiment pas prioritaire (on a déjà les logs de PEA...De la même manière que #2141, on pourrait vouloir donner accès aux fichiers éventuellement produits par un pre-process (pour l'instant uniquement PEAR), dans `DIR_PRE_VIDJIL_ID`.
Tâche vraiment pas prioritaire (on a déjà les logs de PEAR...) pour l'instant.
@RyanHerb @mikael-sRyan HerbertRyan Herberthttps://gitlab.inria.fr/vidjil/vidjil/-/issues/2137À quoi doit ressembler l'aligneur, inspirations externes2020-10-14T13:31:07+02:00Mathieu GiraudÀ quoi doit ressembler l'aligneur, inspirations externes#2135, #1925, #2056 et #2138 amènent beaucop de modifs dans le segmenteur.
Il faudrait un jour faire des maquettes papier ou autre de ce vers quoi on aimerait tendre.
@mikael-s @RyanHerb#2135, #1925, #2056 et #2138 amènent beaucop de modifs dans le segmenteur.
Il faudrait un jour faire des maquettes papier ou autre de ce vers quoi on aimerait tendre.
@mikael-s @RyanHerbhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/2130Champ 'germlines' dans le .vidjil et germlines par défaut2017-04-25T17:24:01+02:00Mathieu GiraudChamp 'germlines' dans le .vidjil et germlines par défautEn faisant #1987, j'ai mis `species{,_taxon_id}` à la racine du `.vidjil`.
Il y a bien un champ `germlines` dans le `.vidjil`, mais il sert uniquement pour les 'custom', et est peu documenté dans `format-analysis.org`.
Que devrait-on fa...En faisant #1987, j'ai mis `species{,_taxon_id}` à la racine du `.vidjil`.
Il y a bien un champ `germlines` dans le `.vidjil`, mais il sert uniquement pour les 'custom', et est peu documenté dans `format-analysis.org`.
Que devrait-on faire de champ `germlines` ? Sert-il déjà au ~client ? Devrait-on toujours le peupler avec les infos venant de `homo-sapiens.germlines`/`germlines.data` ?
@mikael-shttps://gitlab.inria.fr/vidjil/vidjil/-/issues/2128Pas de confirmation avant la suppression d'un fichier de séquences2019-02-28T14:30:15+01:00Mikaël SalsonPas de confirmation avant la suppression d'un fichier de séquencesSur dev.vidjil.org, j'essaie de supprimer un fichier de séquences qui possède un résultat je clique donc sur la croix et j'ai le choix entre plusieurs possibilités :
1. Supprimer le fichier de séquences
2. Supprimer le fichier de séquen...Sur dev.vidjil.org, j'essaie de supprimer un fichier de séquences qui possède un résultat je clique donc sur la croix et j'ai le choix entre plusieurs possibilités :
1. Supprimer le fichier de séquences
2. Supprimer le fichier de séquences et le(s) fichier(s) de résultat
3. Annuler
Quand je clique sur 1. ou 2. l'action est effectuée. Auparavant une confirmation était demandée. Cette confirmation était-elle une précaution superfêtatoire ou utile ?
@magiraud @RyanHerbhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/2126remplacer documentUri2017-11-29T15:11:35+01:00Mathieu Giraudremplacer documentUri@aurelBZH a vu que `documentUri` n'est pas supporté par IE (6 à 10) : http://www.w3schools.com/jsref/prop_document_documenturi.asp
Voir #2006.
@RyanHerb @mikael-s@aurelBZH a vu que `documentUri` n'est pas supporté par IE (6 à 10) : http://www.w3schools.com/jsref/prop_document_documenturi.asp
Voir #2006.
@RyanHerb @mikael-s