vidjil issueshttps://gitlab.inria.fr/vidjil/vidjil/-/issues2022-07-26T09:51:51+02:00https://gitlab.inria.fr/vidjil/vidjil/-/issues/3049Mettre en json structué des infos pour l'instant dans le log2022-07-26T09:51:51+02:00Mathieu GiraudMettre en json structué des infos pour l'instant dans le log@flothoni dans #2235 :
> Discuté hier: pose la question d'avoir les données au format structuré dans le json et non plus en string.@flothoni dans #2235 :
> Discuté hier: pose la question d'avoir les données au format structuré dans le json et non plus en string.json-exporthttps://gitlab.inria.fr/vidjil/vidjil/-/issues/2935Mettre à jour nlohmman json réguilèrement2018-07-03T19:35:06+02:00Mathieu GiraudMettre à jour nlohmman json réguilèrementFait en septembre 2017, 051f32597c, #2615Fait en septembre 2017, 051f32597c, #2615json-export2018-03-01https://gitlab.inria.fr/vidjil/vidjil/-/issues/2120Génération du JSON : l'espace mémoire augmente de 50% à la fin de Vidjil2020-06-11T07:35:25+02:00Mikaël SalsonGénération du JSON : l'espace mémoire augmente de 50% à la fin de VidjilVoici en pièce jointe un graphique montrant la consommation mémoire de Vidjil sur un jeu de données. Le jeu de données n'est pas choisi au hasard, c'est celui qui a provoqué le plus grand pic de consommation mémoire sur vda depuis le déb...Voici en pièce jointe un graphique montrant la consommation mémoire de Vidjil sur un jeu de données. Le jeu de données n'est pas choisi au hasard, c'est celui qui a provoqué le plus grand pic de consommation mémoire sur vda depuis le début. Le jeu a cependant été restreint au premier million de séquences.
Le problème n'est ni dû à l'étape de KmerSegmentation (croissance régulière de la consommation mémoire, mais faible, due au stockage de nouvelles fenêtres) ni à celle de FineSegmentation (stabilité de l'utilisation mémoire), mais après :
* comparaison des fenêtres entre elles ?
* création du JSON ?
* …
Ce jeu de données se caractérise par une très grande proportion de fenêtres différentes (393 000 fenêtres pour 491 000 reads segmentés ou, pour le jeu complet 1,5M de fenêtres pour 1,9M de reads). Le jeu de données avec 1M de reads est sur le cloud (`data/vidjil_bug/issue-2120.fastq.gz`)
![mem](/uploads/d331ccbd532dce7f25e162c217b68a7c/mem.png)
@magiraudjson-export