Automatiser le test de la qualité des modèles
Il s'agit de créer un programme permettant d'obtenir rapidement des informations sur la qualité d'un modèle de transcription ou de segmentation entraîné avec Kraken.
Avec LECTAUREP comme cas d'application, il faudrait :
- [set] créer un jeu de données de référence (ex : un set de 10 images variées entièrement segmenté et transcrit)
- [metadonnées] documenter la spécificité de chaque élément du set de référence (qualité de l'image, caractéristiques de la main d'écriture, etc)
- [script] créer un programme pour automatiser le test des modèles de segmentation/transcription sur le set de référence :
- appliquer le modèle aux images du set de référence
- comparer et évaluer la qualité de la transcription à l'échelle de chaque image
- produire un rapport automatique
- [doc] rédiger une documentation
Kraken-benchmark doit pouvoir être généralisé à d'autres documents/projets. Il faut donc pouvoir facilement changer le contenu du set de référence et pouvoir charger des modèles à tester facilement.