vidjil issueshttps://gitlab.inria.fr/vidjil/vidjil/-/issues2019-03-14T14:45:17+01:00https://gitlab.inria.fr/vidjil/vidjil/-/issues/3799Que se passe-t-il si on supprime une config ?2019-03-14T14:45:17+01:00Mikaël SalsonQue se passe-t-il si on supprime une config ?J'ai souvenir que ce n'est pas à faire mais sans en retrouver trace.
Perd-t-on l'accès à tous les résultats avec cette config ?
À clarifier et à documenter.J'ai souvenir que ce n'est pas à faire mais sans en retrouver trace.
Perd-t-on l'accès à tous les résultats avec cette config ?
À clarifier et à documenter.https://gitlab.inria.fr/vidjil/vidjil/-/issues/2716Plusieurs tubes / index / fichiers pour un seul sample2023-02-08T12:21:43+01:00Mathieu GiraudPlusieurs tubes / index / fichiers pour un seul sampleMichael ~"PRA-Prague", comme ~"KIE-Kiel", uploade plusieurs fichiers pour un seul sample venant de chaque tube.
Connait-on d'autres utilisateurs qui font de même ?
C'est une manière vraiment détournée de se servir du client. Cela va enc...Michael ~"PRA-Prague", comme ~"KIE-Kiel", uploade plusieurs fichiers pour un seul sample venant de chaque tube.
Connait-on d'autres utilisateurs qui font de même ?
C'est une manière vraiment détournée de se servir du client. Cela va encore pour un échantillon de diagnostic (et encore), mais, dès qu'on a deux samples, et bien on ne voit plus rien du tout.
- Tagger ces "samples" d'une manière particulière ? Équivaudrait à changer la db pour avoir un truc plus fin que samples. Argh, trop complexe.
- Avoir un pre-process pour combiner `n` samples ?
- Le plus simple serait un `cat`, mais on perd l'info originale. Mais c'est peut-être pas grave ?
- Un pre-process qui ferait un `cat` en ajoutant l'info, et ensuite l'algo tiendrait compte de cela ?
- Et c'est encore plus complexe quand tout peut être R1/R2
(Dans l'autre sens, #1684)
cc @flothonihttps://gitlab.inria.fr/vidjil/vidjil/-/issues/2323Tests fonctionnels sur le serveur live pour détecter des incidents de prod2023-03-02T12:03:27+01:00Mathieu GiraudTests fonctionnels sur le serveur live pour détecter des incidents de prodOn en parlait il y a fort longtemps. Et il y a, dans browser/test/Makefile, un `make functional-rbx` (mais qui teste le client).
Plutôt tester des controlleurs (les tests serveur ?) en live.
cc @mikael-s @RyanHerbOn en parlait il y a fort longtemps. Et il y a, dans browser/test/Makefile, un `make functional-rbx` (mais qui teste le client).
Plutôt tester des controlleurs (les tests serveur ?) en live.
cc @mikael-s @RyanHerbThonier FlorianThonier Florian2021-01-18https://gitlab.inria.fr/vidjil/vidjil/-/issues/2196Mesurer la performance du client2020-01-21T16:39:43+01:00Mathieu GiraudMesurer la performance du clientNe devrait-on pas avoir quelque part une mesure de vitesse du client ?
Cela permettrait en particulier de mieux apprécier les améliorations comme #2127 / !7.
Ah oui, Marc avait fait... `test_speed.html` qui appelle `js/test.js`, pas...Ne devrait-on pas avoir quelque part une mesure de vitesse du client ?
Cela permettrait en particulier de mieux apprécier les améliorations comme #2127 / !7.
Ah oui, Marc avait fait... `test_speed.html` qui appelle `js/test.js`, pas modifiés depuis presque 3 ans (e18b4077).
Ne marche pas actuellement (adresse DB + CGI en dur, voir si c'est juste cela ou d'autres choses).
Il pourrait être intégré à la suite de tests.
cc @tydax @mikael-s @RyanHerbmarc duezmarc duezhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1400Heuristique i.0 : être capable d'inférer des germlines "inconnus"2017-07-05T09:15:56+02:00Vidjil TeamHeuristique i.0 : être capable d'inférer des germlines "inconnus"Suite à la discussion en janvier à Necker.
On voudrait segmenter des séquences... à la découverte de ce qu'on ne connaît pas. But : 100% des reads ont une explication, TOO_SHORT, ou sinon on dit ce qu'il y a dedans.
1) Cas relativement ...Suite à la discussion en janvier à Necker.
On voudrait segmenter des séquences... à la découverte de ce qu'on ne connaît pas. But : 100% des reads ont une explication, TOO_SHORT, ou sinon on dit ce qu'il y a dedans.
1) Cas relativement simple :
+V+V+V+V+V+V+V__________________________
À distinguer du cas TOO_FEW_J / trop court. Ici, c'est probablement autre chose, et on pourrait extraire une fenêtre centrée sur la fin du V
2) Et cas plus dur : idem... sans les +V. Bref, être capable de deviner le point de jonction... on se souvient de ce qui avait été fait avec David. On pourrait tout à fait rentrer cela dans le Vidjil actuel : avoir un CountSegmenter qui prédit un point de cassure... (Question subsidiaire : que donne CRAC si on lui donne un jeu de reads V(D)J ?)
***
Séquences de Prague, sur rbx, collegues/pragues/IGH-UNSEG.affects
Il y a des trop petits... mais il y a aussi d'autres choses...
***
Si on infère des choses bizarres, il faudra mettre des checks sur la representative et/ou de gros warnings partout (on est pas sûr que la fenêtre est pertinente, qu'autour c'est pareil...)
***
b9994d1 et 196acbc
Sur Pee (217, Rennes)
- -g -i : 48% (110s)
- après max12: 85%
- après sortLeftRight : 99.1% (42s, car pas de -i)
Attention, est-on sûr de ce qu'on trouve ? Les longueurs des représentatives ont l'air plutôt bonnes, mais il faudrait quelque chose pour en être plus sûr et vérifier qu'on ne clustérise pas des bouts de V.
***
http://rbx.vidjil.org/browser/?custom=1442&custom=1443&custom=1568&custom=1569&
À gauche, multi+inc, à droite, multi+xxx.
***
Changements légers ce matin, marche avec -i, pas segmenté si < 5 kmers (DETECT_THRESHOLD)
http://rbx.vidjil.org/browser/?custom=1442&custom=1585&custom=1443&custom=1586&
***
ok pour "xxx"... mais il faudrait pouvoir avoir des choses plus méchantes, en devinant des germlines (à la David ?)
***
12bcb3c: MAX1U, -4. Modèle de proba à discuter ensemble, pour l'instant c'est trop méchant.
***
@magiraud @mikael-shttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1322Mettre au point le clustering automatique2019-04-17T17:48:28+02:00Vidjil TeamMettre au point le clustering automatiqueLes clusters fonctionnent, comme par exemple avec la config TRG-cluster.
Il faut se replonger dans les distances et tutti quanti
***
Tests de la config TRG + Cluster sur Van Cel
***
Au programme du prochain Vidjil Day
***
Il faut le fair...Les clusters fonctionnent, comme par exemple avec la config TRG-cluster.
Il faut se replonger dans les distances et tutti quanti
***
Tests de la config TRG + Cluster sur Van Cel
***
Au programme du prochain Vidjil Day
***
Il faut le faire un jour.
Discussion métro : autant faire en .js plutôt qu'en C++
Pas vraiment de merge automatique (c'est toujours l'user), mais
- soit on visualise le graphe (hum, pas super facile)
- soit on visualise le graphe restreint à un clone (distance de tous les autres clones par rapport au clone sélectionné)
- ou on visualise le graphe en "paquets", 8-16 paquets principaux à des positions fixes
- ou même, sans visualisation, auto-sélection : on sélectionne un clone, il sélectionne ceux qui sont à une distance <= epsilon. Pratique, on n'a plus qu'à aligner, vérifier et merger
***
Voici un argument contre le clustering automatique : QC29 faits par plusieurs centres avec différents séquenceurs. Il y a des petites mutations reproductibles indépendamment du centre de séquençage. Du clustering les aurait regroupés, cachant ces sous-clones.
***
ping
***
#1323, #1324
***
@magiraud @mikael-s @DuezThonier FlorianThonier Florianhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/4668Authentification SSO / SAML2021-01-27T16:06:25+01:00Mathieu GiraudAuthentification SSO / SAMLEst-ce que cela ferait sens, en complément de LDAP #2062, de permettre une authentification via un fournisseur externe ?
cc @duezEst-ce que cela ferait sens, en complément de LDAP #2062, de permettre une authentification via un fournisseur externe ?
cc @duezhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/3075Contrôleurs obsolètes/inutilisés dans results_file.py2018-03-07T15:22:55+01:00Mikaël SalsonContrôleurs obsolètes/inutilisés dans results_file.pyJe suis tombé par hasard sur le contrôleur `results_file/index`. On y a accès via le lien `.vidjil file list` dans l'interface d'administration mais évitez de cliquer cela prend du CPU et cela fait une [erreur serveur](https://db.vidjil....Je suis tombé par hasard sur le contrôleur `results_file/index`. On y a accès via le lien `.vidjil file list` dans l'interface d'administration mais évitez de cliquer cela prend du CPU et cela fait une [erreur serveur](https://db.vidjil.org/admin/default/ticket/vidjil/134.206.27.223.2018-03-06.18-08-25.6f217564-6a46-4f7a-aa98-95dd871b4ad1).
```
AttributeError: 'NoneType' object has no attribute 'status'
```
Dans le fichier `results_file.py` j'ai également vu un contrôleur `run_all_patients`. Je ne sais pas s'il fonctionne encore mais je frémis à l'idée qu'il puisse être lancé !
Soit ces contrôleurs sont utiles et on doit les mettre à jour et les tester. Soit ils ne le sont pas et autant supprimer ce code.
@RyanHerb, @magiraud vos avis ?https://gitlab.inria.fr/vidjil/vidjil/-/issues/2163La suppression doit-elle vraiment supprimer ?2023-07-13T15:55:36+02:00Mikaël SalsonLa suppression doit-elle vraiment supprimer ?Parfois des bugs arrivent sur des données qui ont été supprimées et nous ne pouvons pas les reproduire. Parfois des utilisateurs pourraient supprimer par inadvertance des sets liés à des patients.
Bref, par sécurité et pour des question...Parfois des bugs arrivent sur des données qui ont été supprimées et nous ne pouvons pas les reproduire. Parfois des utilisateurs pourraient supprimer par inadvertance des sets liés à des patients.
Bref, par sécurité et pour des questions pratiques doit-on vraiment supprimer les données lorsqu'on clique sur supprimer ? Ne faut-il pas juste ajouter un champ `deleted` à chaque table pour savoir s'il faut afficher le champ ou non (les admins auraient la possibilité de voir les données supprimées).
À voir si on va jusqu'à appliquer cela aux fichiers de séquences.
cc @magiraud @RyanHerbhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/4923Tags avec valeur / scoped tags2022-01-07T12:50:35+01:00Mathieu GiraudTags avec valeur / scoped tags
Proposition de @flothoni : `#age=25 #disease=LLC`. Cela correspond bien au modèle de stats. Florian s'en sert déjà pour de l'import de données.
- modèle: est-ce qu'on a envie d'encourager cela ? Est-ce que cela n'encourage pas à trop ...
Proposition de @flothoni : `#age=25 #disease=LLC`. Cela correspond bien au modèle de stats. Florian s'en sert déjà pour de l'import de données.
- modèle: est-ce qu'on a envie d'encourager cela ? Est-ce que cela n'encourage pas à trop de variations ?
- listes prédéfinies: si oui, est-ce que par exemple `#LLC` serait équivalent/remplacé par `#disease=LLC` ?
- UI: un rendu à la [Gitlab scoped label](https://docs.gitlab.com/ee/user/project/labels.html#scoped-labels) ? Mais alors que donne la recherche (est-ce que `#age` doit récupérer `#age=25` ?) Ou bien, pour `#disease=LLC`, juste afficher `LLC` ?
- Recherches plus complexes (`age<25`) ?2022-07-07https://gitlab.inria.fr/vidjil/vidjil/-/issues/4691--filter-reads : débrancher complètement la gestion des windows2021-03-18T14:23:30+01:00Mathieu Giraud--filter-reads : débrancher complètement la gestion des windowsThe following discussion from !906 should be addressed:
> D'ailleurs, en `--filter-reads`, on n'aurait pas besoin de stocker les windows... mais bon, on peut supposer que c'est négligeable (en temps, peut-être pas en mémoire).
Si on va...The following discussion from !906 should be addressed:
> D'ailleurs, en `--filter-reads`, on n'aurait pas besoin de stocker les windows... mais bon, on peut supposer que c'est négligeable (en temps, peut-être pas en mémoire).
Si on va par là, refactor nécessaire (ou bien nouvelle commande vraiment indépendante qui lance juste le KmerSegmenter).
Ping #1180.https://gitlab.inria.fr/vidjil/vidjil/-/issues/4523Refonte de l'aligneur2021-04-08T08:39:05+02:00Mathieu GiraudRefonte de l'aligneur
@duez, nous discutons en ce moment d'une refonte globale de l'aligneur. J'imagine que tu as déjà regardé pas mal d'issues ~"client-aligner", je me permets ici de remettre une liste qui pourra éclairer notre réflexion.
- Inspirations: r...
@duez, nous discutons en ce moment d'une refonte globale de l'aligneur. J'imagine que tu as déjà regardé pas mal d'issues ~"client-aligner", je me permets ici de remettre une liste qui pourra éclairer notre réflexion.
- Inspirations: revoir les solutions existantes de #2137
- Fonctionalités
- highlights/infos sur séquence #2135 #4409 #3814 #2599 #3537 #2356 #1412 #4522 ou à l'extérieur #2049, y compris quantitatives #2313
- modes d'affichage de séquence #2140 #3164 (à fusionner avec point précédent ?)
- séquences annexes (#1408 #2354 #2355 #3731) ou virtuelles #3960
- colonnes d'info/métadonnées #2392 #3543 #2388 #2066
- contrôles #2664 #2136 #4522
- export #2068
- ajax (align, imgt...)
- Bugs (qui pourraient tomber d'eux-mêmes sur version nouvelle) #4144 #4235 #4062 #1982 #1565 #3835
- Désagréments/efficacité (idem) #4117 #4085 #2676 (je ne retrouve pas les expériences de Ryan, où sont-elles ?)
- Formats de données et modèle #2174, et ce qui est déjà dans [vidjil-format.md](http://www.vidjil.org/doc/vidjil-format/#clones-list-with-read-count-tags-vdj-designation-and-other-sequence-features)https://gitlab.inria.fr/vidjil/vidjil/-/issues/4162Analysis valable pour tous les accès au sample2020-02-05T16:13:14+01:00Thonier FlorianAnalysis valable pour tous les accès au sampleJe pense qu'il y a une issue la dessus, mais je n'en retrouve pas de trace.
Maintenant que nous avons des utilisateurs qui regardent par run, nous nous retrouvons avec des annotations qui finissent dans le `.analysis` du run. Le souci e...Je pense qu'il y a une issue la dessus, mais je n'en retrouve pas de trace.
Maintenant que nous avons des utilisateurs qui regardent par run, nous nous retrouvons avec des annotations qui finissent dans le `.analysis` du run. Le souci est que ces informations ne sont pas disponible lorsque nous ouvrons les données par patient.
Les utilisateurs sont alors tentés de continuer à ouvrir le sample par l'accès au run.
Une solution naîve serait d'avoir un `.analysis` propre à chaque sample, accessible aussi bien lorsque l'on adccède au run qu'au patient. Mais nous avons alors un souci si un clone XXX du sample A est renommé xxx dans le sample B d'un run et yyy dans le sample C d'un patient. Ce n'est là qu'un exemple des nombreux effet de bords.https://gitlab.inria.fr/vidjil/vidjil/-/issues/3832Upload puis lancement multiple via .csv2021-12-21T11:17:34+01:00Mathieu GiraudUpload puis lancement multiple via .csvSuggestion de Naïs ~"TOU\-Toulouse" qui va au-delà de #2891 : pouvoir même lancer, via un `.csv`, toutes les analyses, éventuellement avec une colonne spécifiant la ~"server\-config" voulue.
Faire déjà #2891.Suggestion de Naïs ~"TOU\-Toulouse" qui va au-delà de #2891 : pouvoir même lancer, via un `.csv`, toutes les analyses, éventuellement avec une colonne spécifiant la ~"server\-config" voulue.
Faire déjà #2891.https://gitlab.inria.fr/vidjil/vidjil/-/issues/3734Réflexion sur chart.js2019-02-13T13:11:46+01:00Mathieu GiraudRéflexion sur chart.jsÉvoqué à l'occasion de stats#233/stats#235 : utilisera-t-on un jour chart.js à la place de d3.js dans vidjil ?
Pas du tout à l'ordre du jour pour l'instant, à discuter dans 6-12 mois en fonction de l'expérience qui aura été acquise sur ...Évoqué à l'occasion de stats#233/stats#235 : utilisera-t-on un jour chart.js à la place de d3.js dans vidjil ?
Pas du tout à l'ordre du jour pour l'instant, à discuter dans 6-12 mois en fonction de l'expérience qui aura été acquise sur ~"app\-stats".
cc @flothoni 2020-02-13https://gitlab.inria.fr/vidjil/vidjil/-/issues/3584Germline unexpected : comment remonter à la bonne germline ?2024-03-27T16:43:37+01:00Mikaël SalsonGermline unexpected : comment remonter à la bonne germline ?La fonction `Germline::override_rep5_rep3_from_labels` permet normalement de faire cela. Elle est utilisée lorsqu'on est en unexpected afin d'aligner la séquence contre les bons répertoires.
Les répertoires corrects sont trouvés grâce a...La fonction `Germline::override_rep5_rep3_from_labels` permet normalement de faire cela. Elle est utilisée lorsqu'on est en unexpected afin d'aligner la séquence contre les bons répertoires.
Les répertoires corrects sont trouvés grâce aux KmerAffect. Mais… ces KmerAffect sont les mêmes pour un germline complet et incomplet (le shortcut est par exemple `H` en complet et `h` en incomplet) :
```c++
affect_5 = string(1, toupper(shortcut)) + "-" + code + "V";
affect_4 = string(1, 14 + shortcut) + "-" + code + "D";
affect_3 = string(1, tolower(shortcut)) + "-" + code + "J";
```
On pourrait se dire que ce n'est pas grave et qu'on va mettre des KmerAffect différents pour les germlines complets et incomplets… sauf que non. Si on fait cela la partie commune des germlines complets et incomplets (souvent les gènes J) seraient considérés comme ambigus car appartenant à des germlines différents.Heuristique 2.0https://gitlab.inria.fr/vidjil/vidjil/-/issues/3538Réflexion sur les lancements (post-)post-process2019-03-05T15:10:14+01:00Mathieu GiraudRéflexion sur les lancements (post-)post-processOn a des choses à lancer après nos process: #1469 #1744 #3181 #1567
Certaines choses (#1469, #3181 ?) pourraient se lancent via le ~"server-fuse", d'autres vraiment après, parfois non systématiquement, sur demande de l'usager (#1744, ~"...On a des choses à lancer après nos process: #1469 #1744 #3181 #1567
Certaines choses (#1469, #3181 ?) pourraient se lancent via le ~"server-fuse", d'autres vraiment après, parfois non systématiquement, sur demande de l'usager (#1744, ~"app\-clonedb" plus poussé, #1567...). On devrait discuter d'un mécanisme pour au moins ce dernier cas.https://gitlab.inria.fr/vidjil/vidjil/-/issues/3437d3.js : conserver, changer ?2019-01-10T15:21:24+01:00Mathieu Giraudd3.js : conserver, changer ?Conservera-t-on a terme d3.js ? Très puissant, mais maitrise-t-on ce qu'il se passe ?
chart.js va être testé par @flothoni pour ~"app\-stats" stats#233, on pourra ainsi se faire une idée.
(Notons que même le ~"client\-grid" pourrait êtr...Conservera-t-on a terme d3.js ? Très puissant, mais maitrise-t-on ce qu'il se passe ?
chart.js va être testé par @flothoni pour ~"app\-stats" stats#233, on pourra ainsi se faire une idée.
(Notons que même le ~"client\-grid" pourrait être fait en chart.js, http://www.chartjs.org/samples/latest/scriptable/bubble.html). Mais chart.js ne permet pas d'export svg.https://gitlab.inria.fr/vidjil/vidjil/-/issues/3187Filtrage du BioReader pour align_against_collection : gérer le cas s'il y a p...2018-07-12T18:00:22+02:00Mikaël SalsonFiltrage du BioReader pour align_against_collection : gérer le cas s'il y a peu de résultats à getMultiResults()On pourrait avoir le cas où on a peu de k-mers correspondent à des gènes V existants (à cause de mutations par exemple).
Si on a seulement 3 k-mers qui correspondent à du V4 et 2 à du V6, a-t-on vraiment envie de privilégier ces deux gè...On pourrait avoir le cas où on a peu de k-mers correspondent à des gènes V existants (à cause de mutations par exemple).
Si on a seulement 3 k-mers qui correspondent à du V4 et 2 à du V6, a-t-on vraiment envie de privilégier ces deux gènes-là plutôt que les autres ? Il y a donc un certain seuil à partir duquel on n'a plus envie de filtrer le `BioReader`.
On pourrait calculer un seuil de p-valeur pour savoir si le nombre de k-mers est satisfaisant par exemple. On a déjà tout ce qu'il faut normalement.https://gitlab.inria.fr/vidjil/vidjil/-/issues/3042Sélection de samples plus fine que le search2018-02-09T12:29:04+01:00Mathieu GiraudSélection de samples plus fine que le searchPour #2235/#3041, et pour potentiellement d'autres tâches, on souhaite à un moment pouvoir sélectionner un ensemble de samples (voire de patients/runs/sets ?).
Le "search" actuel pourrait être complété par quelque chose avec des checkbo...Pour #2235/#3041, et pour potentiellement d'autres tâches, on souhaite à un moment pouvoir sélectionner un ensemble de samples (voire de patients/runs/sets ?).
Le "search" actuel pourrait être complété par quelque chose avec des checkboxes ou similaire pour ajouter / retirer des samples des résultats. On pourrait même avoir un mode où l'on sélectionne, au fur et à mesure, plusieurs samples.
Point de détail et difficile... la recherche par tags est très bien pour l'instant.
cc @flothoni @RyanHerb