Fiabilité de benchmark sur docker / différentes architectures
J'aurai du réagir au moment de !678 (merged).
c'est moi qui avait mis
several-compilers
pour 872678d2, je pense que c'était juste pour viser une machine "tranquille", car le job prend du temps
Mais aussi parce que c'était une seule machine, toujours la même. Maintenant avec server-docker ce sont des machines différentes, donc on ne peut pas comparer sur plusieurs lancements. Mais ce n'est probablement pas grave... Ou on pourrait avoir un tag supplémentaire pour viser toujours la même machine.
Par contre, question naïve, à l'intérieur d'un lancement, on est suffisament confiants dans l'efficacité de server-docker pour que cela mesure effectivement le cpp-speed ? Les runners server-docker ne prennent bien qu'un job à la fois ?