vidjil issueshttps://gitlab.inria.fr/vidjil/vidjil/-/issues2017-09-21T17:47:47+02:00https://gitlab.inria.fr/vidjil/vidjil/-/issues/2659Heure des sauvegardes, check backup, +1 jour2017-09-21T17:47:47+02:00Mathieu GiraudHeure des sauvegardes, check backup, +1 jourActuellement,
- sauvegarde à 4:00 (?) sur vda, finie d'être uploadée sur bbi à 7:30 (mais bon, va s'améliorer avec #1738)
- on vérifie que la sauvegarde de la veille a fonctionné
Pourrait-on
- remonter la sauvegarde de 2h (pour qu'e...Actuellement,
- sauvegarde à 4:00 (?) sur vda, finie d'être uploadée sur bbi à 7:30 (mais bon, va s'améliorer avec #1738)
- on vérifie que la sauvegarde de la veille a fonctionné
Pourrait-on
- remonter la sauvegarde de 2h (pour qu'elle soit fini d'être uploadée à 5:30, avant que l'Europe de l'Est ne commence sa journée) ?
- et vérifier la sauvegarde du jour même (quitte à ce que soit le midi) ? Pas besoin de perdre 1 jour s'il y a un soucis ?https://gitlab.inria.fr/vidjil/vidjil/-/issues/1738Sauvegarde incrémentale, mécanisme plus léger2017-10-25T19:09:24+02:00Vidjil TeamSauvegarde incrémentale, mécanisme plus légerChaque sauvegarde est refaite from scratch ce qui prend de + en + de temps et de + en + de place. 23 min et 2,4G par backup à l'heure actuelle.
Quelle solution plus légère pourrait-on envisager ?
Un rsync ne serait pas pleinement s...Chaque sauvegarde est refaite from scratch ce qui prend de + en + de temps et de + en + de place. 23 min et 2,4G par backup à l'heure actuelle.
Quelle solution plus légère pourrait-on envisager ?
Un rsync ne serait pas pleinement satisfaisant : on veut pouvoir remonter dans le temps (pas à l'infini non plus). Des sauvegardes full tous les mois et incrémentales tous les jours ?
***
tout à fait
- incrément à chercher .analysis / .vidjil
- la DB (6 MB) peut être sauvée chaque jour
***
Monté à high, on a peu de place, cela devient urgent (chaque sauvegarde prend 24G)
***
Devrait être redescendu à 2-3GB, on a > 100 jours devant nous.
***
@magiraud @RyanHerb @mikael-shttps://gitlab.inria.fr/vidjil/vidjil/-/issues/3638Docker : Ne pas modifier les permissions sur les répertoires2018-12-03T19:33:15+01:00Mikaël SalsonDocker : Ne pas modifier les permissions sur les répertoiresLe backup incrémental peut ne pas fonctionner correctement car dès que l'on fait un `docker-compose up` les fichiers qui sont dans `/mnt/data/prod` ont pour heure de modification l'heure à laquelle `docker-compose` a été lancé. Dans ces ...Le backup incrémental peut ne pas fonctionner correctement car dès que l'on fait un `docker-compose up` les fichiers qui sont dans `/mnt/data/prod` ont pour heure de modification l'heure à laquelle `docker-compose` a été lancé. Dans ces conditions il est impossible de savoir quel fichier a été modifié récemment et doit être sauvegardé.
Par exemple :
```
stat /mnt/data/prod/result/results/results_file.data_file.827e7925471f01d8.XXXXXX.txt
File: '/mnt/data/prod/result/results/results_file.data_file.827e7925471f01d8.XXXXX.txt'
Size: 2427078 Blocks: 4744 IO Block: 4096 regular file
Device: fd11h/64785d Inode: 99790894 Links: 1
Access: (0644/-rw-r--r--) Uid: ( 33/www-data) Gid: ( 33/www-data)
Access: 2018-11-29 19:56:44.756165603 +0100
Modify: 2018-05-24 13:40:22.564383085 +0200
Change: 2018-11-29 19:27:39.185893048 +0100
Birth: -
```
La date `Modify` est correcte mais pas celle de `Change`, or c'est celle-ci qui semble faire foi pour `tar`, pour le backup incrémental. À noter que la date est même modifiée à l'extérieur du conteneur. Je ne sais pas comment Docker fait car il y a quand même quelques dizaines de milliers de fichiers…
C'est important car en attendant ça va nous obliger à diminuer le rythme des backups.https://gitlab.inria.fr/vidjil/vidjil/-/issues/4023Docker backup : récupérer et pousser celui de vdb2021-02-25T13:14:16+01:00Mikaël SalsonDocker backup : récupérer et pousser celui de vdbDans vdj#925 on avait un souci de conflit entre la conf `docker-compose.yml` et un conteneur `backup` propre à vdb.
Le conteneur qui est sur vdb permet de configurer son `cron` pour lancer les backups à l'aide d'un fichier de conf. C'es...Dans vdj#925 on avait un souci de conflit entre la conf `docker-compose.yml` et un conteneur `backup` propre à vdb.
Le conteneur qui est sur vdb permet de configurer son `cron` pour lancer les backups à l'aide d'un fichier de conf. C'est plus souple que de modifier le `docker-compose.yml` et ça va dans le sens de #3459 et vdj#767.
Il faudrait que ce soit la solution par défaut, poussée sur notre git.
À intégrer, donc.Mikaël SalsonMikaël Salsonhttps://gitlab.inria.fr/vidjil/vidjil/-/issues/4435Versionner docker-backup2020-07-29T10:33:30+02:00Mathieu GiraudVersionner docker-backupMikaël : "un crontab, puis le serveur de backup"Mikaël : "un crontab, puis le serveur de backup"Mikaël SalsonMikaël Salson