vidjil issueshttps://gitlab.inria.fr/vidjil/vidjil/-/issues2019-01-08T15:11:22+01:00https://gitlab.inria.fr/vidjil/vidjil/-/issues/2143Donner accès aux fichiers produits par les pre-process2019-01-08T15:11:22+01:00Mathieu GiraudDonner accès aux fichiers produits par les pre-processDe la même manière que #2141, on pourrait vouloir donner accès aux fichiers éventuellement produits par un pre-process (pour l'instant uniquement PEAR), dans `DIR_PRE_VIDJIL_ID`.
Tâche vraiment pas prioritaire (on a déjà les logs de PEA...De la même manière que #2141, on pourrait vouloir donner accès aux fichiers éventuellement produits par un pre-process (pour l'instant uniquement PEAR), dans `DIR_PRE_VIDJIL_ID`.
Tâche vraiment pas prioritaire (on a déjà les logs de PEAR...) pour l'instant.
@RyanHerb @mikael-sRyan HerbertRyan Herberthttps://gitlab.inria.fr/vidjil/vidjil/-/issues/2725Pre-process: mettre avant le log la correspondance entre noms serveurs et nom...2022-06-21T14:37:17+02:00Ryan HerbertPre-process: mettre avant le log la correspondance entre noms serveurs et noms des fichiers dans le logAnne ~"Paris-Pitié" pense qu'elle et d'autres commettent parfois des erreurs en chargeant les fichier R1-R2 pour le pré-process PEAR, mais il est difficile de le savoir si l'erreur n'est pas repérée immédiatement. Elle aimerait pouvoir ...Anne ~"Paris-Pitié" pense qu'elle et d'autres commettent parfois des erreurs en chargeant les fichier R1-R2 pour le pré-process PEAR, mais il est difficile de le savoir si l'erreur n'est pas repérée immédiatement. Elle aimerait pouvoir voir le nom des fichiers dans l'output du pré-process.
Je sais que c'est relativement facile à faire, je me posais la question de si ou non celà pouvait ouvrir une faille de sécurité. A priori, je pense que non, car les noms des fichiers sont chiffrés et "salés", mais ne sait on jamais.https://gitlab.inria.fr/vidjil/vidjil/-/issues/2759Configs de base, programmes externes et distribution complète2019-10-07T16:07:24+02:00Mathieu GiraudConfigs de base, programmes externes et distribution complèteNos configs par défaut devrait fonctionner sur ce qu'on distribue de base, ou au moins indiquer clairement ce qu'il reste à installer. À penser au moins pour les paquets Debian et pour ~"server-docker".
Voir d'ailleurs #2639 et #2721.Nos configs par défaut devrait fonctionner sur ce qu'on distribue de base, ou au moins indiquer clairement ce qu'il reste à installer. À penser au moins pour les paquets Debian et pour ~"server-docker".
Voir d'ailleurs #2639 et #2721.https://gitlab.inria.fr/vidjil/vidjil/-/issues/2820Détecter les primers dimers2023-06-28T18:28:32+02:00Mathieu GiraudDétecter les primers dimersMentionné par Aurélie ~"PAR-Debré" : les nouvelles amorces ~"ec-ngs" génèrent plus de dimers.
À controller.Mentionné par Aurélie ~"PAR-Debré" : les nouvelles amorces ~"ec-ngs" génèrent plus de dimers.
À controller.https://gitlab.inria.fr/vidjil/vidjil/-/issues/1989Un pre-process en timeout apparaît toujours running2019-02-28T12:40:31+01:00Vidjil TeamUn pre-process en timeout apparaît toujours runningLorsqu'un pre-process est timeout, l'interface web affiche toujours le process comme en cours (avec la petite icone qui tourne). Et on ne peut pas le relancer (mais pour ça cf. #1960 )
***
@nobodyLorsqu'un pre-process est timeout, l'interface web affiche toujours le process comme en cours (avec la petite icone qui tourne). Et on ne peut pas le relancer (mais pour ça cf. #1960 )
***
@nobodyhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/2875Qualité de chaque échantillon dans un run, contrôles (vue spécifique)2024-02-14T10:49:13+01:00Mikaël SalsonQualité de chaque échantillon dans un run, contrôles (vue spécifique)Avoir l'information pour chaque échantillon uploadé (% de reads mergés, % de reads analysés…).
En lien avec #1362 et #2235.
Avoir l'information pour chaque échantillon uploadé (% de reads mergés, % de reads analysés…).
En lien avec #1362 et #2235.
https://gitlab.inria.fr/vidjil/vidjil/-/issues/3154Récupérer des infos des pré-process : mécanisme2021-10-07T16:17:55+02:00Mathieu GiraudRécupérer des infos des pré-process : mécanismeVoir #2875 et #2247.
Chaque ~"server-pre-process" pourrait générer un `.json` comme le `.vidjil` (mais sans section `clones` ni ...).
Avec en particulier des warnings #2247 et des variables de qualité #2875.Voir #2875 et #2247.
Chaque ~"server-pre-process" pourrait générer un `.json` comme le `.vidjil` (mais sans section `clones` ni ...).
Avec en particulier des warnings #2247 et des variables de qualité #2875.https://gitlab.inria.fr/vidjil/vidjil/-/issues/3170Pre-process: stocker le log en fichier et non pas en texte brut2018-04-13T17:34:07+02:00Mathieu GiraudPre-process: stocker le log en fichier et non pas en texte brut@mikael-s : être cohérent avec ce qu'on fait pour les process principaux@mikael-s : être cohérent avec ce qu'on fait pour les process principauxhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/3222vue commune pour les preprocess de merge2023-06-22T17:18:32+02:00Thonier Florianvue commune pour les preprocess de mergeUne question me vient en analysant #3219 : Laisse-t-on à terme le choix du software de merge ou l'impose-t-on ?
Si on laisse le choix; propose-t-on de conserver les reads non assemblés pour rejouer le merge avec un autre soft (ou même ...Une question me vient en analysant #3219 : Laisse-t-on à terme le choix du software de merge ou l'impose-t-on ?
Si on laisse le choix; propose-t-on de conserver les reads non assemblés pour rejouer le merge avec un autre soft (ou même simplement d'autres paramètres) ?
De plus, propose-t-on une vue unifiée entre les diverses sorties (cf revient à faire un json des log de preprocess ). On pourrait par exemple pour les merge indiquer des tableaux des percentiles sur la longueurs des reads assemblés par exemple; Cette étape serait supplémentaire au software.https://gitlab.inria.fr/vidjil/vidjil/-/issues/3323Ne pas accepter d'ajouter un sample avec un seul fichier quand le pre-process...2018-07-04T19:30:07+02:00Mathieu GiraudNe pas accepter d'ajouter un sample avec un seul fichier quand le pre-process en demande deuxOn peut actuellement valider un sample avec un seul fichier, même quand il en faudrait deux.
Au moins un nouvel utilisateur (set 27878 sur app) a ainsi sélectionné "Merge paired-end" mais a uploadé séparément R1 et R2.
Le javascript dev...On peut actuellement valider un sample avec un seul fichier, même quand il en faudrait deux.
Au moins un nouvel utilisateur (set 27878 sur app) a ainsi sélectionné "Merge paired-end" mais a uploadé séparément R1 et R2.
Le javascript devrait interdire cela.
cc @RyanHerbhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/3427Merge de reads bizarre, séquences trop courtes, clustérisant des séquences qu...2019-01-10T15:21:23+01:00Mathieu GiraudMerge de reads bizarre, séquences trop courtes, clustérisant des séquences qui ne devraient pas l'êtrePrend la suite de #3426.
@flothoni :
> (...) https://app.vidjil.org/?set=28385&config=25
> Lors du lancement de cette analyse (...), nous observons qu'il y a beaucoup de clones dans le top qui sont non segmentés, ou plutôt pour lesqu...Prend la suite de #3426.
@flothoni :
> (...) https://app.vidjil.org/?set=28385&config=25
> Lors du lancement de cette analyse (...), nous observons qu'il y a beaucoup de clones dans le top qui sont non segmentés, ou plutôt pour lesquels la longueur moyenne est très courte (<100 nt) et donc l'assignation ne montre aucun segments. (...) on clusterise de nombreuses séquences variant par des stretch de A.
> (...) J'ai déposé le fichier sur un nouveau patient pour faire des tests : patient 28538Thonier FlorianThonier Florianhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/3637sucess si pear assemble des fichiers de tailles différentes2018-11-27T16:56:56+01:00Thonier Floriansucess si pear assemble des fichiers de tailles différentesPour tester la nouvelle release, j'ai créé un patient, ajouté de nombreux fichiers, et testé d'en ajouter qui seront assemblés avec pear.
J'ai pioché dans un set de fichiers qui sont des résultats de `head -n` de différentes tailles qu...Pour tester la nouvelle release, j'ai créé un patient, ajouté de nombreux fichiers, et testé d'en ajouter qui seront assemblés avec pear.
J'ai pioché dans un set de fichiers qui sont des résultats de `head -n` de différentes tailles que j'utilise souvent pour ce genre d'occasions.
Aujourd'hui, j'ai voulu tester de mixer 2 fichiers de tailles différentes.
Je m'attendais à avoir un échec. Pourtant, nous avons vu un success et le processus vidjil a continuer normalement.
L'erreur de pear:
```
Computing empirical frequencies....: 1 Problem, number of reads does not match! n1 = 1000 n2 = 0
```
@magiraud @mikael\-shttps://gitlab.inria.fr/vidjil/vidjil/-/issues/3749Read merger: INAB tool ?2019-02-26T15:19:10+01:00Mathieu GiraudRead merger: INAB tool ?See #3219.
Nika ~"Paris\-Pitié" already did some tests.
- Requires CDR3 in the R1/R2 overlap. This could not be applied to every user.
- Is their code open-source ? Fotis will check.See #3219.
Nika ~"Paris\-Pitié" already did some tests.
- Requires CDR3 in the R1/R2 overlap. This could not be applied to every user.
- Is their code open-source ? Fotis will check.https://gitlab.inria.fr/vidjil/vidjil/-/issues/3818Concaténation de jeux de données, cat2019-03-18T18:10:38+01:00Mathieu GiraudConcaténation de jeux de données, catAGN aimerait parfois concaténer deux jeux de données, bref un ~"server\-pre\-process" avec `cat`.
En faire déjà un qui prend 2 fichiers, c'est un bon exemple de ~"server\-pre\-process" simple.
(Et aussi un qui en prend 4, 2R1 + 2R2 ?)AGN aimerait parfois concaténer deux jeux de données, bref un ~"server\-pre\-process" avec `cat`.
En faire déjà un qui prend 2 fichiers, c'est un bon exemple de ~"server\-pre\-process" simple.
(Et aussi un qui en prend 4, 2R1 + 2R2 ?)https://gitlab.inria.fr/vidjil/vidjil/-/issues/3836pouvoir composer les preprocess à la carte2020-07-28T11:54:45+02:00Thonier Florianpouvoir composer les preprocess à la carteUne idée venu en parlant avec Joao, mais peut-être compliqué et pas si intéréssante.
On pourrait imaginer que l'on puisse ajouter des preprocess d'après une liste de divers pre/post-process.
Dasn ce cas, on ajoute une ligne ou l'on peux...Une idée venu en parlant avec Joao, mais peut-être compliqué et pas si intéréssante.
On pourrait imaginer que l'on puisse ajouter des preprocess d'après une liste de divers pre/post-process.
Dasn ce cas, on ajoute une ligne ou l'on peux parametre ce preprocess (par exemple choisir le R1 ou R2, le fichier de spike-in, la longueur minimum pour un filtre, ...).
On ne saurait pas comment ensuite conserver ou affichier le résultat de ces différentes étapes.
Encore beaucoup de réfléxion nécessaire pour ce faire.https://gitlab.inria.fr/vidjil/vidjil/-/issues/3993Flash et docker2020-09-21T09:22:31+02:00Mathieu GiraudFlash et dockerSuite à #3911.
Doit-on packager Flash ou pas ? Attention, même question que MiXCR...
Ou juste demander que Flash soit installé, puis `defs.DIR_FLASH`.
Voir #2759.Suite à #3911.
Doit-on packager Flash ou pas ? Attention, même question que MiXCR...
Ou juste demander que Flash soit installé, puis `defs.DIR_FLASH`.
Voir #2759.https://gitlab.inria.fr/vidjil/vidjil/-/issues/4005Evaluer un fastq en amont des preprocess et analyse2019-10-11T11:19:05+02:00Thonier FlorianEvaluer un fastq en amont des preprocess et analyseJe suis tombé aujourd'hui sur des fichiers fastq comportant des erreurs :
```
@NB501924:75:HT525AFXY:1:11101:16318:8143 1:N:0:ATTGAGGA
+
```
Ni pear ni vidjil ne sont capable de prendre ces fichiers en l'état (#1723).
On pourrait im...Je suis tombé aujourd'hui sur des fichiers fastq comportant des erreurs :
```
@NB501924:75:HT525AFXY:1:11101:16318:8143 1:N:0:ATTGAGGA
+
```
Ni pear ni vidjil ne sont capable de prendre ces fichiers en l'état (#1723).
On pourrait imaginer l'appel d'un script qui se charge de vérifier que le format ou le contenu est correct et exploitable.
Dans certain cas, il pourrait aussi corriger certaines erreurs comme celle-ci (attention dans le cas d'un merge d’ailleurs à bien prendre en compte aussi l'équivalent R2/R3).
De plus, il faudrait dans ce cas rendre disponible un rapport depuis l'interface, qui indique que tout est bon pour passer à la suite de l'analyse, ou indiquer que non et l'indiquer clairement à l'utilisateur.
Je sais qu'il existe des scripts permettant de vérifier la conformité du formatage des fasta/fastq. Je ne sais pas si il existe un script tout fait permettant de vérifier ce type d'erreurs, et d'autres qui nous viendrait en tête.
A chaud:
* vérifier le format,
* vérifier des erreurs d'entrées,
* vérifier le nombre de lignes R1vsR2,
* vérifier les séquences vides,
* vérifier la présence de N ou autres caractères non souhaités
* ...
@magiraud @mikael-shttps://gitlab.inria.fr/vidjil/vidjil/-/issues/4030preprocess; afficher le log si echec2019-10-31T19:15:10+01:00Thonier Florianpreprocess; afficher le log si echecAujourd'hui un preprocess pear à échoué à cause d'une erreur de format fastq.gz probablement tronqué ou mal généré.
En attendant, l'utilisateur ne voit qu'un message d'erreur un peu vague de notre serveur et pas le log de pear. Or celui...Aujourd'hui un preprocess pear à échoué à cause d'une erreur de format fastq.gz probablement tronqué ou mal généré.
En attendant, l'utilisateur ne voit qu'un message d'erreur un peu vague de notre serveur et pas le log de pear. Or celui-ci permet de connaître l'erreur de format (patient 34556).
```bash
[ERROR] - Cannot determine the file type of /mnt/upload/uploads/sequence_file.data_file.a1f59a109c47132d.41444e3435302d32305f53325f52325f3030312e66617374712e677a.gz. Ensure it is a BZIP2/GZIP compressed FASTQ file or plain FASTQ.
[...]
PEAR v0.9.10 [May 30, 2016]
Citation - PEAR: a fast and accurate Illumina Paired-End reAd mergeR
Zhang et al (2014) Bioinformatics 30(5): 614-620 | doi:10.1093/bioinformatics/btt593
Forward reads file.................: /mnt/upload/uploads/sequence_file.data_file.xxx.gz
Reverse reads file.................: /mnt/upload/uploads/sequence_file.data_file.xxx.gz
PHRED..............................: 33
[...]
Traceback (most recent call last):
File "pear.py", line 38, in <module>
raise EnvironmentError("Pear failed")
EnvironmentError: Pear failed
```
et Affiché: ![Pb_Vidjil](/uploads/0a28c921d08b255647bfc4e3f5ede25f/Pb_Vidjil.png)https://gitlab.inria.fr/vidjil/vidjil/-/issues/4293Faible proportion de reads mergés avec Flash2020-05-19T17:16:23+02:00Mikaël SalsonFaible proportion de reads mergés avec FlashExemple dans le run 37896, fichier 65545
```
[FLASH] Percent combined: 52.87%
```
Voir si avec #4171 ça change quelque chose.Exemple dans le run 37896, fichier 65545
```
[FLASH] Percent combined: 52.87%
```
Voir si avec #4171 ça change quelque chose.https://gitlab.inria.fr/vidjil/vidjil/-/issues/4325Traçabilité des pre-process2021-01-13T12:28:28+01:00Mathieu GiraudTraçabilité des pre-process
Stocker quelque part la ligne de commande et le numéro de version de Flash, et le rendre disponible jusqu'au ~"client-rapport".
Peut-être que les premières étapes sont déjà faites par !691 ?
Stocker quelque part la ligne de commande et le numéro de version de Flash, et le rendre disponible jusqu'au ~"client-rapport".
Peut-être que les premières étapes sont déjà faites par !691 ?https://gitlab.inria.fr/vidjil/vidjil/-/issues/4423Pre-process calib pour les UMI2020-07-28T11:54:45+02:00Mathieu GiraudPre-process calib pour les UMIExtrait de #2309
Ici réalisation du ~"server-pre-process", quand ce sera pertinent, avec wrapper (et infos de sortie json)
(et, à long terme, #3836)
cc @flothoniExtrait de #2309
Ici réalisation du ~"server-pre-process", quand ce sera pertinent, avec wrapper (et infos de sortie json)
(et, à long terme, #3836)
cc @flothonihttps://gitlab.inria.fr/vidjil/vidjil/-/issues/4442Avoir accès au md5sum des fichiers du serveur2020-07-30T19:32:14+02:00Thonier FlorianAvoir accès au md5sum des fichiers du serveurJ'ai uploadé des données sur le serveur, et il semble qu'il y ai une erreur dans les noms des fichiers et dans les attributions aux patients.
Pour corriger, j'aimerai avoir les md5sum des fichiers (ou autre) pour permettre de vérifier ...J'ai uploadé des données sur le serveur, et il semble qu'il y ai une erreur dans les noms des fichiers et dans les attributions aux patients.
Pour corriger, j'aimerai avoir les md5sum des fichiers (ou autre) pour permettre de vérifier que les données que j'ai renommées au sample XX du patient YY corresponde bien à ce que j'ai en local.
On n'a pas l'information en base ? Sinon il faudrait soit icône sur la page base de données pour l'afficher comme une alerte, soit un tooltip (#4421 :smiling_imp: ).https://gitlab.inria.fr/vidjil/vidjil/-/issues/4493Nom des fichiers mergés et ressenti du succès du pre-process2020-09-30T10:58:25+02:00Mathieu GiraudNom des fichiers mergés et ressenti du succès du pre-process
D'une utilistrice :
> J'ai importé des séquences paired-end et vidjil les appelle par leur nom de fichier R1.
> Comment puis-je savoir si la combinaison R1 et R2 pour un même échantillon a ét éfaite correctement?
Ma réponse :
> S'il...
D'une utilistrice :
> J'ai importé des séquences paired-end et vidjil les appelle par leur nom de fichier R1.
> Comment puis-je savoir si la combinaison R1 et R2 pour un même échantillon a ét éfaite correctement?
Ma réponse :
> S'il y a des résultats, c'est que tout s'est bien passé. Plus en détail, le log du process de merge est disponible en cliquant sur "M+R2..." dans la colonne "pre-process"
Cela dit...
- en général, est-ce que le nom est celui du premier fichier ? On pourrait enlever R1/R2 ou d'autres chaînes fréquentes, et mettre "merged" quelque part ?
- ce n'est pas très clair qu'il faut cliquer dessus (~doc). Peut-être un "COMPLETED" ou un checkmark aiderait et montrerait que tout s'est bien passéhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/1743Rajouter de la doc pour pré-processing, check qualité...2020-08-27T12:00:02+02:00Vidjil TeamRajouter de la doc pour pré-processing, check qualité...Évoqué vendredi dernier au CHR.
Même si on a envie de rendre certains pré-processings accessibles depuis le serveur, nous n'allons pas tout faire... (erreurs, basse qualité, adaptateurs/barcodes mal trimmés...)
Mais par contre, nous p...Évoqué vendredi dernier au CHR.
Même si on a envie de rendre certains pré-processings accessibles depuis le serveur, nous n'allons pas tout faire... (erreurs, basse qualité, adaptateurs/barcodes mal trimmés...)
Mais par contre, nous pourrions donner dans la doc quelques conseils sur comment préparer/vérifier les données d'entrée.
***
FASTQC
cutadapt
Galaxy
***
@nobodyhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/2065Pre-process par défaut2019-10-07T16:10:55+02:00Mathieu GiraudPre-process par défautSuite à #2048.
Faudrait-il des entrées pour le pre-process dans `controllers/default.py` ?
Évidemment, on peut fonctionner sans pear... Mais bon, avoir des entrées permettrait de faire des bons exemples. On pourrait par défaut cré...Suite à #2048.
Faudrait-il des entrées pour le pre-process dans `controllers/default.py` ?
Évidemment, on peut fonctionner sans pear... Mais bon, avoir des entrées permettrait de faire des bons exemples. On pourrait par défaut créer tout de même les deux pre-process, en mettant les droits pour que cela ne soit pas accessible tant que l'admin ne les ait pas activés.
@mikael-s @RyanHerbhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/2243Avertir lorsque le pourcentage de séquences assemblées est faible2018-10-19T11:28:10+02:00Mikaël SalsonAvertir lorsque le pourcentage de séquences assemblées est faibleQuand on lance PEAR, il faudrait avertir l'utilisateur que peu de séquences ont été assemblées.
(cf. #2242)
cc @magiraudQuand on lance PEAR, il faudrait avertir l'utilisateur que peu de séquences ont été assemblées.
(cf. #2242)
cc @magiraudhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/2306NextSeq et 4 lanes2023-02-08T12:24:22+01:00Mathieu GiraudNextSeq et 4 lanesIl semblerait que le NextSeq produise des fichiers pour 4 lanes, soit 8 fichiers au totel (`L00[1234]_R[12]`). David ~"BEL-Belfast" a eu du mal pour les concaténer.
cc @mikael-s @flothoniIl semblerait que le NextSeq produise des fichiers pour 4 lanes, soit 8 fichiers au totel (`L00[1234]_R[12]`). David ~"BEL-Belfast" a eu du mal pour les concaténer.
cc @mikael-s @flothonihttps://gitlab.inria.fr/vidjil/vidjil/-/issues/2309UMI / traitement des identifiants moléculaires uniques2023-06-28T17:22:53+02:00Mathieu GiraudUMI / traitement des identifiants moléculaires uniquesÀ ma grande surprise, je n'ai pas retrouvé d'issue parlant de ces barcodes. Existe-t-il des scripts standard pour traiter ces données ? On en ferait un ~"server-pre-process" ? Des jeux publics sur lesquels on pourrait tester cela, ou bi...À ma grande surprise, je n'ai pas retrouvé d'issue parlant de ces barcodes. Existe-t-il des scripts standard pour traiter ces données ? On en ferait un ~"server-pre-process" ? Des jeux publics sur lesquels on pourrait tester cela, ou bien un jeu de @mfigeac ?
cc @mikael-sWeb 2023.10Thonier FlorianThonier Florian2023-07-05https://gitlab.inria.fr/vidjil/vidjil/-/issues/4550task.py devrait accéder à un dictionnaire pour les (pre-, post-)process, voir...2020-11-13T20:03:34+01:00Mathieu Giraudtask.py devrait accéder à un dictionnaire pour les (pre-, post-)process, voire pour les process ?Suggestion de @duez : un dictionnaire dans `defs.py`, on ne devrait pas avoir à changer `task.py` pour un nouveau pré/post-process qui est juste "une commande à trous" (possiblement avec wrapper)
Discussion avec @duez / @flothoni : les ...Suggestion de @duez : un dictionnaire dans `defs.py`, on ne devrait pas avoir à changer `task.py` pour un nouveau pré/post-process qui est juste "une commande à trous" (possiblement avec wrapper)
Discussion avec @duez / @flothoni : les tasks demandent plus de choses... mais ne faudrait-il pas un wrapper autour de vidjil-algo ou d'autres tâches pour que ~"server-task.py" ne s'occupe que du scheduling ?https://gitlab.inria.fr/vidjil/vidjil/-/issues/4633Connaître le nom des fichiers uploadés, avant le pre-process2021-01-13T15:09:06+01:00Mathieu GiraudConnaître le nom des fichiers uploadés, avant le pre-processDepuis #3154 :
> @mikael-s : "ce qui sera possible avec !691"Depuis #3154 :
> @mikael-s : "ce qui sera possible avec !691"https://gitlab.inria.fr/vidjil/vidjil/-/issues/4666Warning reads Illumina non mergés à 151bp ?2021-01-27T18:23:45+01:00Mathieu GiraudWarning reads Illumina non mergés à 151bp ?Vu avec @flothoni : on a des cas avec un pic à 151bp (en distribution) venant probablement de read non mergées.
Florian, c'est quelque chose que tu as vu souvent ?
Est-ce que cela ferait sens de mettre un warning sur les R1 dans "merge+...Vu avec @flothoni : on a des cas avec un pic à 151bp (en distribution) venant probablement de read non mergées.
Florian, c'est quelque chose que tu as vu souvent ?
Est-ce que cela ferait sens de mettre un warning sur les R1 dans "merge+R1" ? Est-on capable de mettre des ~"client-warning" sur les clones de distribution ?
cc @flothonihttps://gitlab.inria.fr/vidjil/vidjil/-/issues/4669Warning sur certaines séquences en sortie des pre-process2021-01-27T18:45:13+01:00Mathieu GiraudWarning sur certaines séquences en sortie des pre-processEst-ce qu'un pre-process pourrait transmettre des warnings sur certains reads ?
Hum, pas facile, il pourrait éventuellement mettre des choses dans les header, type `>!W91!blabla`, mais il faudrait ensuite du traitement particulier dans ...Est-ce qu'un pre-process pourrait transmettre des warnings sur certains reads ?
Hum, pas facile, il pourrait éventuellement mettre des choses dans les header, type `>!W91!blabla`, mais il faudrait ensuite du traitement particulier dans le ~cpp pour propager ces warnings aux clones. Bof-bof.https://gitlab.inria.fr/vidjil/vidjil/-/issues/4837Faire un test cypress serveur sur les preprocess2021-10-29T10:50:24+02:00Mathieu GiraudFaire un test cypress serveur sur les preprocessPapoté avec @flothoni
Après !691.Papoté avec @flothoni
Après !691.Thonier FlorianThonier Florianhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/4839Preprocess json; pouvoir les tester en CI2021-09-15T17:15:45+02:00Thonier FlorianPreprocess json; pouvoir les tester en CINous avons mis à jour `flash2.py` pour permettre la production de sortie json intégrable aux analyses.
Mais pour le moment il me semble que ce n'est pas testé.
On pourrait rajouter un test la dessus, mais il faudrait avoir une paramétr...Nous avons mis à jour `flash2.py` pour permettre la production de sortie json intégrable aux analyses.
Mais pour le moment il me semble que ce n'est pas testé.
On pourrait rajouter un test la dessus, mais il faudrait avoir une paramétrage permettant de faire appel au merger, puis charger des données mergeable, attendre le merge, lancé une analyse dessus et voir le résultat.
A réfléchir.https://gitlab.inria.fr/vidjil/vidjil/-/issues/4840Clés obligatoires dans le .json d'un pre-process ?2022-04-26T11:36:02+02:00Mathieu GiraudClés obligatoires dans le .json d'un pre-process ?Following discussion from [!691](https://gitlab.inria.fr/vidjil/vidjil/-/merge_requests/691#note_348535):
> > @magiraud : Il devrait y avoir une modification sur `doc/vidjil-format.md` pour spécifier les nouveaux champs (pas tous, il...Following discussion from [!691](https://gitlab.inria.fr/vidjil/vidjil/-/merge_requests/691#note_348535):
> > @magiraud : Il devrait y avoir une modification sur `doc/vidjil-format.md` pour spécifier les nouveaux champs (pas tous, ils dépendent du pre-process, mais au moins le cadre général).
> @flothoni: La seule clef obligatoire est la `parameters` qui déclenche la conversion en `Preprocess` dans le fuse. (...)
> Doit-on rendre d'autres clefs indispensable ? Spécifier par exemple les champs `producer`, `run_timestamp`, `stats` et `warnings` ? Il faudrait mettre une mention dans le code pour vérifier la validité de ces clef dans les Preprocess.https://gitlab.inria.fr/vidjil/vidjil/-/issues/4847Un preprocess sans sortie json devrait être accepté2021-09-17T16:55:57+02:00Mathieu GiraudUn preprocess sans sortie json devrait être acceptéhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/4895Interleaved R1&R2 fastq.gz2021-11-04T17:17:19+01:00Mathieu GiraudInterleaved R1&R2 fastq.gzMentionné par un usager.
Est-ce un format standard ?
Probablement ~"wont-fix", mais juste indiquer dans la ~doc qu'on ne prend pas cela ?
cc @flothoniMentionné par un usager.
Est-ce un format standard ?
Probablement ~"wont-fix", mais juste indiquer dans la ~doc qu'on ne prend pas cela ?
cc @flothonihttps://gitlab.inria.fr/vidjil/vidjil/-/issues/4913Pre-process >50 bp et >100 bp2021-11-26T14:09:54+01:00Mathieu GiraudPre-process >50 bp et >100 bpVu avec une usagère, serait utile (et même dans un premier temps sans #preprocessplusieurs). Pourrait être déployé sur le serveur public. #XXX.
En profiter pour mettre du log json grâce aux nouveaux mécanismes.Vu avec une usagère, serait utile (et même dans un premier temps sans #preprocessplusieurs). Pourrait être déployé sur le serveur public. #XXX.
En profiter pour mettre du log json grâce aux nouveaux mécanismes.Thonier FlorianThonier Florianhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/4915Warning sur preprocess + remonter infos à côté de "analyzed reads"2021-11-26T11:29:20+01:00Mathieu GiraudWarning sur preprocess + remonter infos à côté de "analyzed reads"https://gitlab.inria.fr/vidjil/vidjil/-/issues/5052REndre la page (pre)process dispo aux non admins, sans droits de modification2022-07-05T17:12:33+02:00Thonier FlorianREndre la page (pre)process dispo aux non admins, sans droits de modificationCela permet de voir les CLI
Il ne devrait pas y avoir grand choses à cacher non ?
Voir le contrôleurCela permet de voir les CLI
Il ne devrait pas y avoir grand choses à cacher non ?
Voir le contrôleurhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/5145Upload by network; merge create hard file and no symlink2024-01-19T19:03:58+01:00THONIER FlorianUpload by network; merge create hard file and no symlinkIf you use a network to load data and choose a preprocess with merge, the resulting file will be store as a real file and no as a symlink. In this case, it will take more space.If you use a network to load data and choose a preprocess with merge, the resulting file will be store as a real file and no as a symlink. In this case, it will take more space.Web 2024.04https://gitlab.inria.fr/vidjil/vidjil/-/issues/5147Allowing to remove merged files2024-03-27T16:20:53+01:00Mikaël SalsonAllowing to remove merged filesMerged files can take about as much space as the original files and they can be regenerated from the original files.
We should allow the user (or the admin) to remove some old merged files to save space.
I guess this issue can be gener...Merged files can take about as much space as the original files and they can be regenerated from the original files.
We should allow the user (or the admin) to remove some old merged files to save space.
I guess this issue can be generalized to any kind of pre-process.CHESNIN ClementCHESNIN Clementhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/5261Preprocess with vdj filter for large capture files ?2024-03-27T14:00:29+01:00THONIER FlorianPreprocess with vdj filter for large capture files ?We have number of user that load large file with small part of vdj in it. Should we make a preprocess that launch a vidjil-algo filter on it and delete temp data to save disk space and gain fluidity on real analysis ?
We still have iss...We have number of user that load large file with small part of vdj in it. Should we make a preprocess that launch a vidjil-algo filter on it and delete temp data to save disk space and gain fluidity on real analysis ?
We still have issue on upload data to server but it is already the case.Web 2024.04