Skip to content
GitLab
Explorer
Connexion
S'inscrire
Navigation principale
Rechercher ou aller à…
Projet
P
python-unitex
Gestion
Activité
Membres
Labels
Programmation
Tickets
Tableaux des tickets
Jalons
Wiki
Code
Requêtes de fusion
Dépôt
Branches
Validations
Étiquettes
Graphe du dépôt
Comparer les révisions
Extraits de code
Compilation
Pipelines
Jobs
Planifications de pipeline
Artéfacts
Déploiement
Releases
Registre de conteneur
Registre de modèles
Opération
Environnements
Surveillance
Incidents
Analyse
Données d'analyse des chaînes de valeur
Analyse des contributeurs
Données d'analyse CI/CD
Données d'analyse du dépôt
Expériences du modèle
Aide
Aide
Support
Documentation de GitLab
Comparer les forfaits GitLab
Forum de la communauté
Contribuer à GitLab
Donner votre avis
Conditions générales et politique de confidentialité
Raccourcis clavier
?
Extraits de code
Groupes
Projets
Afficher davantage de fils d'Ariane
Patrick Watrin
python-unitex
Validations
54bec9e6
Valider
54bec9e6
rédigé
9 years ago
par
Patrick Watrin
Parcourir les fichiers
Options
Téléchargements
Correctifs
Plain Diff
Settings loading and checking
parent
223e89ee
Aucune branche associée trouvée
Aucune étiquette associée trouvée
Aucune requête de fusion associée trouvée
Modifications
3
Masquer les modifications d'espaces
En ligne
Côte à côte
Affichage de
3 fichiers modifiés
config/processor.yaml
+3
-2
3 ajouts, 2 suppressions
config/processor.yaml
setup.py
+5
-5
5 ajouts, 5 suppressions
setup.py
unitex/processor.py
+43
-1
43 ajouts, 1 suppression
unitex/processor.py
avec
51 ajouts
et
8 suppressions
config/processor.yaml
+
3
−
2
Voir le fichier @
54bec9e6
...
...
@@ -10,8 +10,8 @@ resources:
alphabet
:
/home/resources/media/fr/unitex/preprocessing/Alphabet.txt
alphabet-sorted
:
/home/resources/media/fr/unitex/preprocessing/Alphabet_sort.txt
sentence
:
/home/resources/media/fr/unitex/preprocessing/Sentence.fst2
replace
:
/home/resources/media/fr/unitex/preprocessing/Replace.fst2
sentence
:
/home/resources/media/fr/unitex/preprocessing/
sentence/
Sentence.fst2
replace
:
/home/resources/media/fr/unitex/preprocessing/
replace/
Replace.fst2
dictionaries
:
-
/home/resources/media/fr/unitex/dictionary/delaf-short.bin
...
...
@@ -22,3 +22,4 @@ resources:
# functions.
options
:
match-mode
:
longest
output-mode
:
merge
Ce diff est replié.
Cliquez pour l'agrandir.
setup.py
+
5
−
5
Voir le fichier @
54bec9e6
...
...
@@ -44,7 +44,7 @@ class CustomBuild(build):
if
sys
.
platform
==
"
darwin
"
:
library
=
"
libunitex.dylib
"
elif
sys
.
platform
==
"
linux
"
:
elif
sys
.
platform
==
"
linux
"
or
sys
.
platform
==
"
linux2
"
:
library
=
"
libunitex.so
"
else
:
sys
.
stderr
.
write
(
"
Plateform
'
%s
'
not supported...
\n
"
%
sys
.
platform
)
...
...
@@ -125,8 +125,8 @@ setup(
sources
=
[
"
extensions/_unitex.cpp
"
])
],
cmdclass
=
{
"
build
"
:
CustomBuild
,
"
clean
"
:
CustomClean
}
#
cmdclass = {
#
"build": CustomBuild,
#
"clean": CustomClean
#
}
)
Ce diff est replié.
Cliquez pour l'agrandir.
unitex/processor.py
+
43
−
1
Voir le fichier @
54bec9e6
...
...
@@ -27,6 +27,7 @@ class UnitexSettings(object):
def
load
(
self
,
f
):
with
open
(
f
,
'
r
'
)
as
config
:
self
.
__settings
=
yaml
.
load
(
config
)
self
.
check
()
def
check
(
self
):
resources
=
self
.
__settings
.
get
(
"
resources
"
,
None
)
...
...
@@ -40,7 +41,49 @@ class UnitexSettings(object):
alphabet
=
resources
.
get
(
"
alphabet
"
,
None
)
if
alphabet
is
None
:
LOGGER
.
warning
(
"
No alphabet file provided.
"
)
elif
not
os
.
path
.
exists
(
alphabet
):
raise
UnitexException
(
"
Alphabet file
'
%s
'
doesn
'
t exist.
"
%
alphabet
)
alphabet_sort
=
resources
.
get
(
"
alphabet-sort
"
,
None
)
if
alphabet_sort
is
None
:
LOGGER
.
warning
(
"
No sorted alphabet file provided.
"
)
elif
not
os
.
path
.
exists
(
alphabet_sort
):
raise
UnitexException
(
"
Sorted alphabet file
'
%s
'
doesn
'
t exist.
"
%
alphabet_sort
)
sentence
=
resources
.
get
(
"
sentence
"
,
None
)
if
sentence
is
None
:
LOGGER
.
warning
(
"
No sentence grammar provided.
"
)
else
:
_
,
extension
=
os
.
path
.
splitext
(
sentence
)
if
extension
!=
"
.fst2
"
:
raise
UnitexException
(
"
Wrong extension for
'
%s
'
. Grammars must be compiled and have the
'
.fst2
'
extension.
"
)
if
not
os
.
path
.
exists
(
sentence
):
raise
UnitexException
(
"
Sentence grammar file
'
%s
'
doesn
'
t exist.
"
%
sentence
)
replace
=
resources
.
get
(
"
replace
"
,
None
)
if
replace
is
None
:
LOGGER
.
warning
(
"
No replace grammar provided.
"
)
else
:
_
,
extension
=
os
.
path
.
splitext
(
replace
)
if
extension
!=
"
.fst2
"
:
raise
UnitexException
(
"
Wrong extension for
'
%s
'
. Grammars must be compiled and have the
'
.fst2
'
extension.
"
)
if
not
os
.
path
.
exists
(
replace
):
raise
UnitexException
(
"
Replace grammar file
'
%s
'
doesn
'
t exist.
"
%
replace
)
dictionaries
=
resources
.
get
(
"
dictionaries
"
,
None
)
if
dictionaries
is
None
:
LOGGER
.
warning
(
"
No dictionaries provided.
"
)
else
:
if
not
isinstance
(
dictionaries
,
list
):
raise
UnitexException
(
"
The
'
dictionaries
'
element must be a list of .bin files.
"
)
for
dictionary
in
dictionaries
:
prefix
,
extension
=
os
.
path
.
splitext
(
dictionary
)
if
extension
!=
"
.bin
"
:
raise
UnitexException
(
"
Wrong extension for
'
%s
'
. Dictionaries must be compiled and have the
'
.bin
'
extension.
"
)
if
not
os
.
path
.
exists
(
dictionary
):
raise
UnitexException
(
"
Dictionary file
'
%s
'
doesn
'
t exist.
"
%
dictionary
)
if
not
os
.
path
.
exists
(
"
%s.bin
"
%
prefix
):
raise
UnitexException
(
"
Dictionary .inf file missing for
'
%s
'
.
"
%
dictionary
)
...
...
@@ -62,4 +105,3 @@ class UnitexProcessor(object):
def
close
(
self
):
raise
NotImplementedError
Ce diff est replié.
Cliquez pour l'agrandir.
Aperçu
0%
Chargement en cours
Veuillez réessayer
ou
joindre un nouveau fichier
.
Annuler
You are about to add
0
people
to the discussion. Proceed with caution.
Terminez d'abord l'édition de ce message.
Enregistrer le commentaire
Annuler
Veuillez vous
inscrire
ou vous
se connecter
pour commenter