Skip to content

  • Projects
  • Groups
  • Snippets
  • Help
    • Loading...
    • Help
    • Support
    • Submit feedback
    • Contribute to GitLab
  • Sign in
vidjil
vidjil
  • Project overview
    • Project overview
    • Details
    • Activity
    • Releases
    • Cycle Analytics
  • Repository
    • Repository
    • Files
    • Commits
    • Branches
    • Tags
    • Contributors
    • Graph
    • Compare
    • Charts
  • Issues 1,412
    • Issues 1,412
    • List
    • Boards
    • Labels
    • Milestones
  • Merge Requests 49
    • Merge Requests 49
  • CI / CD
    • CI / CD
    • Pipelines
    • Jobs
    • Schedules
    • Charts
  • Packages
    • Packages
    • Container Registry
  • Snippets
    • Snippets
  • Members
    • Members
  • Collapse sidebar
  • Activity
  • Graph
  • Charts
  • Create a new issue
  • Jobs
  • Commits
  • Issue Boards
  • vidjil
  • vidjilvidjil
  • Issues
  • #2120

Closed
Open
Opened Jan 20, 2017 by Mikaël Salson@mikael-s
  • Report abuse
  • New issue
Report abuse New issue

Génération du JSON : l'espace mémoire augmente de 50% à la fin de Vidjil

Voici en pièce jointe un graphique montrant la consommation mémoire de Vidjil sur un jeu de données. Le jeu de données n'est pas choisi au hasard, c'est celui qui a provoqué le plus grand pic de consommation mémoire sur vda depuis le début. Le jeu a cependant été restreint au premier million de séquences. Le problème n'est ni dû à l'étape de KmerSegmentation (croissance régulière de la consommation mémoire, mais faible, due au stockage de nouvelles fenêtres) ni à celle de FineSegmentation (stabilité de l'utilisation mémoire), mais après :

  • comparaison des fenêtres entre elles ?
  • création du JSON ?
  • …

Ce jeu de données se caractérise par une très grande proportion de fenêtres différentes (393 000 fenêtres pour 491 000 reads segmentés ou, pour le jeu complet 1,5M de fenêtres pour 1,9M de reads). Le jeu de données avec 1M de reads est sur le cloud (data/vidjil_bug/issue-2120.fastq.gz)

mem @magiraud

Edited Jul 03, 2018 by Cyprien Borée
Assignee
Assign to
json-export
Milestone
json-export
Assign milestone
Time tracking
None
Due date
None
3
Labels
cpp cpp-mem priority-1-low
Assign labels
  • View project labels
Reference: vidjil/vidjil#2120