vidjil issueshttps://gitlab.inria.fr/vidjil/vidjil/-/issues2023-03-28T16:10:24+02:00https://gitlab.inria.fr/vidjil/vidjil/-/issues/4482Avoir un process de déploiement / création d'images Docker2023-03-28T16:10:24+02:00Mathieu GiraudAvoir un process de déploiement / création d'images Docker
En particulier, quand devons-nous éditer `docker/CHANGELOG` ?
Un MR template ?
En particulier, quand devons-nous éditer `docker/CHANGELOG` ?
Un MR template ?Web 2023.10https://gitlab.inria.fr/vidjil/vidjil/-/issues/4474clipboard.js : faire Ctrl-V dans un patient/run/set quand il y a du .csv dev...2020-09-22T09:48:51+02:00Mathieu Giraudclipboard.js : faire Ctrl-V dans un patient/run/set quand il y a du .csv devrait créer un/des patient(s)/run(s)/set(s)
Suggestion de @mikael-s
À rediscuter, peut être sympa, à voir en tout cas après !783 et déploiement/retour des usagers.
Suggestion de @mikael-s
À rediscuter, peut être sympa, à voir en tout cas après !783 et déploiement/retour des usagers.https://gitlab.inria.fr/vidjil/vidjil/-/issues/4454Index d'overlaps: une seule fonction dans fuse.py ?2020-09-03T17:21:27+02:00Mathieu GiraudIndex d'overlaps: une seule fonction dans fuse.py ?Voir https://gitlab.inria.fr/vidjil/vidjil/-/merge_requests/465#note_370823
@mikael-s, ton avis ?
cc @flothoniVoir https://gitlab.inria.fr/vidjil/vidjil/-/merge_requests/465#note_370823
@mikael-s, ton avis ?
cc @flothonihttps://gitlab.inria.fr/vidjil/vidjil/-/issues/4452Sample metadata: How could we specify in a .vidjil file that a sample is a di...2020-08-05T15:10:21+02:00Mathieu GiraudSample metadata: How could we specify in a .vidjil file that a sample is a diagnosis sample?Or that it has other tags/properties ?
@flothoni : "see also !654"Or that it has other tags/properties ?
@flothoni : "see also !654"https://gitlab.inria.fr/vidjil/vidjil/-/issues/4449Graphe : avoir des exports png/svg plus beaux2020-08-04T10:09:28+02:00Mathieu GiraudGraphe : avoir des exports png/svg plus beauxLes export `png` ne font pas très propres quand on les inclut dans un article.
Certes, avoir de nouveau un export `svg` #3464 améliorerait déjà les choses, et permettrait de retravailler à volonté, mais on pourrait proposer un export pl...Les export `png` ne font pas très propres quand on les inclut dans un article.
Certes, avoir de nouveau un export `svg` #3464 améliorerait déjà les choses, et permettrait de retravailler à volonté, mais on pourrait proposer un export plus propre par défaut (même si ce ne sera jamais "parfait").
Je parle ici du ~"client-graph".
Ne faudrait-il pas retravailler le ~"client-less-css" du svg ? Les lignes qui servent à représenter les clones qui n'apparaissent qu'une seule fois sont elles pertinentes en export ? Mettre des points/croix pour les clones ?
Fonte : avoir quelque chose de plus neutre que notre fonte par défaut ?
Légendes du ~"client-graph" : mettre plus d'informations, comme dans !747 ? Et #1951.
Des éléments à supprimer toujours/parfois ? #4448, #4201 ?
Et le format : le "wide" du `graph.resize(1400,800)` en dur est trop espacé s'il n'y a que 2 ou 3 samples. Dynamique par rapport au nombre de samples ?
cc @duez @flothonihttps://gitlab.inria.fr/vidjil/vidjil/-/issues/4419Taille des sorties / utilisation du disque dans un serveur, particulièrement ...2020-07-31T17:52:24+02:00Mathieu GiraudTaille des sorties / utilisation du disque dans un serveur, particulièrement en -y allBeaucoup d'issues ces derniers temps sur la taille des sorties et l'occupation du disque en `-y all`.
Issue ici pour faire le point, que ce soit sur les choses déjà faites ou les choses possibles.
cc @flothoni @mikael-s
Sur un lanceme...Beaucoup d'issues ces derniers temps sur la taille des sorties et l'occupation du disque en `-y all`.
Issue ici pour faire le point, que ce soit sur les choses déjà faites ou les choses possibles.
cc @flothoni @mikael-s
Sur un lancement de `vidjil-algo`, indépendament de tout ~server :
- --no-windows, --no-airr, --no-windows #3861
- clone.fa #4386
- .vdj.fa #4387 (et #3795)
- .vidjil allégé #4036 (#4334, #4343)
- .vidjil.gz #4253
Sur interaction avec ~"server-database" / ~"server-hosting" :
- vijdil.gz #2015 (après #4254)
- supprimer .vidjil après insertion dans db #4388
- nettoyer régulièrement `/tmp/` vdj#1083.
Documenter également cela:
- pour vidjil-algo, 1 sample
- pour "server requirements"
Avec 2020.06, sur `-g germline/homo-sapiens.g -r 1 -y all` (pas fait `-3` ou autre, mais cela devrait être négligeable)
Autres colonnes/lignes bienvenues.
| | S22 | L3.0 | lil #4386
| ---- | ------ | ------ | ------ |
| *.fasta.gz* |*405 KB*| -- |
| *.fastq.gz* | -- |*308 MB*|
| .vidjil | 16 MB | 180 MB |
| .tsv | 3.3 MB | 30 MB |
| .vdj.fa | 3.5 MB | 56 MB |
| .windows.fa | 726 KB | 7.1 MB |
| seq/* | 43 MB | 415 MB | 15.1 GB
| total | 66 MB | 687 MB | 27.3 GB
| ---- | ------ | ------ |
| .vidjil.gz | 980 K | 15 MB |
Et .edges et .log sont négligeables.
(au passage, `--gz` et gzip du fichier .vidjil donnent en gros la même taille... mais pas exactement le même fichier)https://gitlab.inria.fr/vidjil/vidjil/-/issues/4399cluster by size2020-07-09T13:35:33+02:00Mathieu Giraudcluster by sizeEn particulier dans le preset "compare two samples", on a plein de clones arrivant au même endroit. On aimerait parfois les regrouper. Ne pourrait-on pas avoir un `cluster by size`, qui, d'un coup, regrouperait les clones de taille `[0.1...En particulier dans le preset "compare two samples", on a plein de clones arrivant au même endroit. On aimerait parfois les regrouper. Ne pourrait-on pas avoir un `cluster by size`, qui, d'un coup, regrouperait les clones de taille `[0.1%, 1%[`, `[0.01%, 0.1%[`, ... ? Ceux au-dessus de 1%, il y en a peu, on pourrait les laisser seuls.
cc @flothonihttps://gitlab.inria.fr/vidjil/vidjil/-/issues/4371Pouvoir figer ou versionner les configs pour qualification2021-02-24T16:54:53+01:00Mathieu GiraudPouvoir figer ou versionner les configs pour qualificationQuelques réflexions suite à la discussion de hier: dans l'esprit d'une qualification, on doit pouvoir précisément tracer la ~"server-config".
Une possibilité est de pouvoir *figer* les ~"server-config": un champ booléen "figé".
C'est un...Quelques réflexions suite à la discussion de hier: dans l'esprit d'une qualification, on doit pouvoir précisément tracer la ~"server-config".
Une possibilité est de pouvoir *figer* les ~"server-config": un champ booléen "figé".
C'est une action manuelle, par les ~"server-admin", de figer une config. Une config figée est... figée, elle ne peut plus être modifiée dans l'interface. On pourrait toujours la dupliquer pour modifier quelque chose. Une config figée apparaît avec par exemple avec un "*" dans la liste.
Une config figée ne peut pas se supprimer dans l'interface, mais elle peut se désactiver: elle n'apparaît plus dans la liste des configs, ou en tout cas pas dans la liste principale. Concrètement, cela peut juste vouloir changer la *classification* de la config, qui elle n'est pas figée. (Et permettre d'accéder à des résultats de config, même si on ne peut plus relancer, avoir un booléen "désactivé" sur une classification, ou sur une config ?)
Peut-être peut-on tout de même renommer la config (genre "Human default (2019.05)" pour suivre les anciennes versions ?)
Autre solution évoquée: *versionner* les ~"server-config": ajouter un champ "date", un champ "previous_id", et, à chaque modification, ne pas écraser mais dupliquer. Aussi possible (génère un peu plus d'entrées quand on fait des tests)... mais ne me semble pas aussi fort que de figer (et l'usager ne se rend pas compte si on modifie quelque chose sans le prévenir).
cc @duez @flothonihttps://gitlab.inria.fr/vidjil/vidjil/-/issues/4343Blancs dans .vidjil ?2020-07-28T09:59:34+02:00Mathieu GiraudBlancs dans .vidjil ?Avec --gz cela change rien #2015, mais sinon en ce moment on a beaucoup de blancs.
Et c'est tout de même agréable de pouvoir lire un .vidjil.Avec --gz cela change rien #2015, mais sinon en ce moment on a beaucoup de blancs.
Et c'est tout de même agréable de pouvoir lire un .vidjil.https://gitlab.inria.fr/vidjil/vidjil/-/issues/4333Fichiers dans un répertoire /upload2021-03-19T14:24:20+01:00Mathieu GiraudFichiers dans un répertoire /upload
Il y a actuellement 100k+ fichiers dans le seul répertoire `/uploads` sur un serveur de prod.
Apparament pas de soucis avec des fs récents : https://stackoverflow.com/questions/466521/how-many-files-can-i-put-in-a-directory
Mais... es...
Il y a actuellement 100k+ fichiers dans le seul répertoire `/uploads` sur un serveur de prod.
Apparament pas de soucis avec des fs récents : https://stackoverflow.com/questions/466521/how-many-files-can-i-put-in-a-directory
Mais... est-ce une bonne pratique ? git ou d'autres logiciels font parfois des répertoires pour "ranger" un grand nombre de fichiers, est-ce recommandé ?https://gitlab.inria.fr/vidjil/vidjil/-/issues/4317Faire évoluer vidjil_format ?2020-06-11T22:18:16+02:00Mathieu GiraudFaire évoluer vidjil_format ?
Actuellement `vidjil_format_version` est toujours `2016b`. Est-on vraiment compatible avec les champs que l'on sortait il y a quatre ans ?
On a ajouté des choses (normalisations, distributions, ...), comme on n'a rien cassé est-ce norm...
Actuellement `vidjil_format_version` est toujours `2016b`. Est-on vraiment compatible avec les champs que l'on sortait il y a quatre ans ?
On a ajouté des choses (normalisations, distributions, ...), comme on n'a rien cassé est-ce normal qu'on n'ait pas changé le numéro de version ? Mais... si quelqu'un avait fait un script qui parsait tout `2016b` il y a quatre ans, désormais il ne parserait pas tout...
Rien de pressé, mais y-a-t-il des choses à faire évoluer ? #4316
Enfin notre ~doc là-dessus est peut-être moins complète que sur d'autres points. Rajouter des `tangle` ?
cc @flothonihttps://gitlab.inria.fr/vidjil/vidjil/-/issues/4314Ne pas creer l'object Graph si il n'y a qu'un seul sample2020-06-03T18:27:55+02:00Thonier FlorianNe pas creer l'object Graph si il n'y a qu'un seul sampleDans le cas ou il n'y a qu'un sample, il arrive que l'on est l'update qui tombe sur une erreur (#4298).
Outre la correction des erreurs, il serait aussi opportun de ne pas instancier cet objet si il n'est pas nécessaire.Dans le cas ou il n'y a qu'un sample, il arrive que l'on est l'update qui tombe sur une erreur (#4298).
Outre la correction des erreurs, il serait aussi opportun de ne pas instancier cet objet si il n'est pas nécessaire.https://gitlab.inria.fr/vidjil/vidjil/-/issues/4309Afficher la sequence colorée d'un clone dans le getHTMLinfo2020-06-23T12:14:51+02:00Thonier FlorianAfficher la sequence colorée d'un clone dans le getHTMLinfoPour le moment, la méthode pour le faire passe par l'objet `Sequence`, qui est très fortement imbriqué avec le `Segmenter`.
Il faudrait donc modifier celui-ci pour y ajouter des bypass en cas de besoin et juste afficher l'information sa...Pour le moment, la méthode pour le faire passe par l'objet `Sequence`, qui est très fortement imbriqué avec le `Segmenter`.
Il faudrait donc modifier celui-ci pour y ajouter des bypass en cas de besoin et juste afficher l'information sans les parties permettant d'ajouter des espaces, gaps, mutations,...
Il y a quelques fois ou un simple `if semgenter != undefined` suffit, mais d'autre ou ce n'est pas possible.https://gitlab.inria.fr/vidjil/vidjil/-/issues/4301Graph without a logarithmic scale2020-07-29T11:01:24+02:00Mathieu GiraudGraph without a logarithmic scaleDo we need a switch to display the ~"client-graph" without a logarithmic scale ?Do we need a switch to display the ~"client-graph" without a logarithmic scale ?https://gitlab.inria.fr/vidjil/vidjil/-/issues/4297Utiliser les alertes de gitlab ?2020-05-23T08:00:17+02:00Mathieu GiraudUtiliser les alertes de gitlab ?Gitlab 13.0, alertes: https://docs.gitlab.com/ee/user/project/operations/alert_management.html
Et de [nombreuses issues](https://gitlab.com/gitlab-org/gitlab/-/issues?label_name=Category%3AAlert+Management) et aussi
https://about.gitlab...Gitlab 13.0, alertes: https://docs.gitlab.com/ee/user/project/operations/alert_management.html
Et de [nombreuses issues](https://gitlab.com/gitlab-org/gitlab/-/issues?label_name=Category%3AAlert+Management) et aussi
https://about.gitlab.com/direction/monitor/debugging_and_health/alert_management/
Intérêt (pour nous) ? Par rapport à #3745 ?https://gitlab.inria.fr/vidjil/vidjil/-/issues/4216Permettre de lancer des analyses sur l'ensemble des clones2020-03-11T12:01:57+01:00Thonier FlorianPermettre de lancer des analyses sur l'ensemble des clonesEn lien avec #4036: Pour le moment, nous n'avons qu'une configuration qui permettent d'analyser l'ensemble des clones (Export AIRR, non public), et présent jusqu'à 5 reads minimum. On obtient des fichiers de tailles bien plus importantes...En lien avec #4036: Pour le moment, nous n'avons qu'une configuration qui permettent d'analyser l'ensemble des clones (Export AIRR, non public), et présent jusqu'à 5 reads minimum. On obtient des fichiers de tailles bien plus importantes, et aussi des temps de calculs augmentés.
Si on veut adopter les distributions et ~"app-stats", il faudra pouvoir y passer. Comment procéder dans ce cas ?
PS: pour les distributions, on augmente à la fois le résultat `.vidjil`, mais aussi le `fused`.https://gitlab.inria.fr/vidjil/vidjil/-/issues/4198Chevauchement up/downstream : diviser par 2 ?2020-02-21T09:51:40+01:00Mathieu GiraudChevauchement up/downstream : diviser par 2 ?
Depuis #3133 et https://gitlab.inria.fr/vidjil/vidjil/merge_requests/606/diffs?commit_id=52aa017c75c30eee8bd826ccaaaca63fac495885#aebf9c17d51c0c1fbadd922e57cf2143bcc70201_143_162 :
> Should we divide by 2 the length so that we don't ha...
Depuis #3133 et https://gitlab.inria.fr/vidjil/vidjil/merge_requests/606/diffs?commit_id=52aa017c75c30eee8bd826ccaaaca63fac495885#aebf9c17d51c0c1fbadd922e57cf2143bcc70201_143_162 :
> Should we divide by 2 the length so that we don't have overlaps between up and downstream?
Effectivement, depuis !606 les `up` et `down` contiennent tous les deux la séquence, enfin, quand l'espace est de taille minimale à l'intérieur d'un locus (d'ailleurs, est-ce régulier ou pas ?).
Si on chargeait cela simultanément, cela ferait des `ambiguous` et limiterait l'intérêt d'avoir prolongé... mais bon, on ne les charge pas simultanément. Bref ~"wont-fix" ?https://gitlab.inria.fr/vidjil/vidjil/-/issues/4196Scatterplots "plutôt carrés" ?2020-02-20T17:53:24+01:00Mathieu GiraudScatterplots "plutôt carrés" ?En discutant sur #4195, on a refait le constat que nos vues ~"client-grid", ~"client-bar" (et ~"client-graph") sont plutôt pensées "rectangulaires". On a habituellement un ratio x:y de 4:1 à 3:1, rarement vers 2:1 (sauf quand on fait bo...En discutant sur #4195, on a refait le constat que nos vues ~"client-grid", ~"client-bar" (et ~"client-graph") sont plutôt pensées "rectangulaires". On a habituellement un ratio x:y de 4:1 à 3:1, rarement vers 2:1 (sauf quand on fait bouger le séparateur) ou moins. Le choix des axes V/J par défaut va dans ce sens (très peu de J).
Pourrait-on afficher des ~"client-grid" 1:1 (voire 1:1,5) ? A priori rien ne l'empêche (et @duez: "quand elle existe, la barre de locus pourrait être horizontale"). Certaines combinaisons d'axes devraient déjà faire quelque chose de joli (similarity, compare, ...).
À voir si il faudra trouver un joli `sp2` par défaut pour le panel C de #4195. Rien d'urgent pour l'instant.https://gitlab.inria.fr/vidjil/vidjil/-/issues/4188Retirer les séquences de faible complexité des germlines ?2022-02-17T18:36:48+01:00Mathieu GiraudRetirer les séquences de faible complexité des germlines ?Voir a089d5b6ed dans !606 :
> It appears that `cacacacacac` exists in a J+down sequence.
Maybe we should remove low-complexity sequences?Voir a089d5b6ed dans !606 :
> It appears that `cacacacacac` exists in a J+down sequence.
Maybe we should remove low-complexity sequences?Algo 2022.04https://gitlab.inria.fr/vidjil/vidjil/-/issues/4180Nouvelle vue dessinant les chromosomes et les locus2020-12-04T14:19:03+01:00Mathieu GiraudNouvelle vue dessinant les chromosomes et les locusÉvoqué avec @mikael-s et @duez
Probablement mauvaise idée ~"wont-fix": avoir une vue où serait dessinés les locus sur les chromosome, type figures des publis Biomed 2, pour mieux réaliser d'un coup d'oeil sur quels chromosomes/locus se ...Évoqué avec @mikael-s et @duez
Probablement mauvaise idée ~"wont-fix": avoir une vue où serait dessinés les locus sur les chromosome, type figures des publis Biomed 2, pour mieux réaliser d'un coup d'oeil sur quels chromosomes/locus se sont passés les recombinaisons.
(En utilisant les dessins qui auraient du être fait il y a quelques temps par un graphiste ?)
Mais comment représenter les recombinaisons ? Des points/bars à des positions ?
#3192 (et #1887) sont probablement plus réalisables.