Documenter les besoins mémoire de vidjil-algo (#3770) · Issues · vidjil / vidjil

Documenter les besoins mémoire de vidjil-algo

Ajouter les CD, du même ordre de grandeur que les IGHV (100 kbp), pourrait mettre à plat certaines machines sur dev-ci... alors que le même job s'éxécute en 2 secondes sur un portable. Est-ce parce que les CD ont une structure particulière (beaucoup plus de k-mers que les IGH dans leur ensemble, donc plus de cpp-mem) ? Il suffit qu'on passe au-dessus d'une limite et on swappe.

Indépendamment des CD, cela pose la question de l'efficacité et de ce qu'on conseille comme machines. server.md indique :

vidjil-algo typically uses approx. 1.2GB of RAM to run on a 1GB .fastq and will take approx. 5+ minutes. Therefore in order to process requests from a single user with a few samples, any standard multi-core processor with 2GB RAM will be enough.

Est-ce à mettre à jour après !78 (merged) ? Ces infos devraient être aussi dans vidjil-algo.md.

Enfin, si on conseille 2GB de RAM et si nos slaves ont 1GB de RAM, c'est tout à notre honneur, on teste dans des conditions plus difficiles... mais est-ce que tests-speed serait amélioré avec des slaves qui auraient tous 2GB ?

Depuis https://gitlab.inria.fr/vidjil/vidjil/issues/3652#note_179079.

Ajouter les CD, du même ordre de grandeur que les IGHV (100 kbp), pourrait mettre à plat certaines machines sur ~"dev\-ci"... alors que le même job s'éxécute en 2 secondes sur un portable. Est-ce parce que les CD ont une structure particulière (beaucoup plus de k-mers que les IGH dans leur ensemble, donc plus de ~"cpp\-mem") ? Il suffit qu'on passe au-dessus d'une limite et on swappe.

Indépendamment des CD, cela pose la question de l'efficacité et de ce qu'on conseille comme machines.
`server.md`  indique :

> vidjil-algo typically uses approx. 1.2GB of RAM to run on a 1GB `.fastq` and will take approx. 5+ minutes.
> Therefore in order to process requests from a single user with a few samples,
> any standard multi-core processor with 2GB RAM will be enough.

Est-ce à mettre à jour après !78 ? Ces infos devraient être aussi dans `vidjil-algo.md`.

Enfin, si on conseille 2GB de RAM et si nos slaves ont 1GB de RAM, c'est tout à notre honneur, on teste dans des conditions plus difficiles... mais est-ce que ~"tests\-speed" serait amélioré avec des slaves qui auraient tous 2GB ?

Discussion
Designs

The one place for your designs

To enable design management, you'll need to meet the requirements. If you need help, reach out to our support team for assistance.