Une MAJ de sécurité est nécessaire sur notre version actuelle. Elle sera effectuée lundi 02/08 entre 12h30 et 13h. L'interruption de service devrait durer quelques minutes (probablement moins de 5 minutes).

README.md 2.48 KB
Newer Older
Lucas Terriel's avatar
Lucas Terriel committed
1
#  :notebook: Collection de notebook dans le cadre du projet Ner4Archives
2 3 4



Lucas Terriel's avatar
Lucas Terriel committed
5
[![License: CC BY-NC-SA 4.0](https://img.shields.io/badge/License-CC%20BY--NC--SA%204.0-lightgrey.svg)](https://creativecommons.org/licenses/by-nc-sa/4.0/) [![Python 3.X](https://img.shields.io/badge/Python-3.X-green)](https://www.python.org/) [![Binder](https://mybinder.org/badge_logo.svg)](https://mybinder.org/v2/git/https%3A%2F%2Fgitlab.inria.fr%2Falmanach%2Fner4archives/master?filepath=https%3A%2F%2Fgitlab.inria.fr%2Falmanach%2Fner4archives%2F-%2Ftree%2Fmaster%2FInriaAlmanach%2Fnotebooks)
6 7 8 9 10 11 12

--------------

*Tous les notebooks sont partagés sous licence CC BY-NC-SA 4.0*

## Comment utiliser les notebook jupyter 

Lucas Terriel's avatar
Lucas Terriel committed
13 14 15 16 17 18
Cloner le dépôt :

```
$ git clone https://gitlab.inria.fr/almanach/ner4archives.git
```

Lucas Terriel's avatar
Lucas Terriel committed
19
1. commencer par installer la distribution [Anaconda](https://www.anaconda.com/products/individual#Downloads) qui correspond à votre OS.
20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52

2. Une fois l'installation terminé, placer vous dans le dossier `notebook/` dans votre terminal et lancer la commande :

```
$ conda env create -f environment.yml
```

3. Une fois le processus terminer, vous pouvez visualiser si votre environnement conda a bien été créé :

```
$ conda env list
```

4. Pour activer votre environnement conda : 

```
$ conda activate jupyter-env-ner
```

5. Une fois dans votre environnement activé, exécuter :

```
(jupyter-env-ner) $ jupyter notebook

```

6. Jupyter est maintenant disponible sur votre `localhost`, ouvrez votre naviagateur avec l'adresse inscrite dans votre terminal.

- Le dossier `in_notebook/` correspond au point d'entrée de vos fichiers à traiter
- Le dossier `out_notebook/` corresponda au point de sortie de vos fichiers après l'execution de vos notebook 

## Sommaire

Lucas Terriel's avatar
Lucas Terriel committed
53 54
### Traitement des données 

Lucas Terriel's avatar
Lucas Terriel committed
55
- [Parseur de contenu XML et récupération dans des fichiers texte brut](https://gitlab.inria.fr/almanach/ner4archives/-/blob/master/InriaAlmanach/notebooks/Pipeline_XMLEAD2Text.ipynb)
Lucas Terriel's avatar
Lucas Terriel committed
56 57
- [Sérialisation en un corpus d'entrainement et un corpus de test](https://gitlab.inria.fr/almanach/ner4archives/-/blob/master/InriaAlmanach/notebooks/Serialisation_train_test.ipynb)
- [Transformation de TSV ou CSV en format IOB](https://gitlab.inria.fr/almanach/ner4archives/-/blob/master/InriaAlmanach/notebooks/Pipeline_TSVorCSV2IOB.ipynb)
58

Lucas Terriel's avatar
Lucas Terriel committed
59
### Entrainement de modèles NER et NED
Lucas Terriel's avatar
Lucas Terriel committed
60 61

- [Entrainer un modèle avec Spacy](https://gitlab.inria.fr/almanach/ner4archives/-/blob/master/InriaAlmanach/notebooks/Train_ner_model_spacy.ipynb) (in progress...)