tout ce que j’ai importé, c’est passé https://github.com/common-voice/commonvoice-fr/tree/5699e59244d14bb14d5b7603b91c934b761c9194/CommonVoice-Data/data en fait, c’est simple, ce sont les scripts shell dans https://github.com/common-voice/commonvoice-fr/tree/master/CommonVoice-Data que j’ai fait tourner, donc si y’a pas de wikipedia.sh c’est que j’ai bricolé et j’ai dû constater que ça faisait plus de mal que de bien et j’ai laissé tombé
le projet common voice a, de son côté, fait des imports de wikipedia, j’ai pas suivi, et je sais juste que c’est avec https://github.com/common-voice/cv-sentence-extractor
c’est bien pour ça que pour les imports français j’ai tenu à :
- avoir des scripts
- avec les paramètres de reproduction
- qui génèrent des données finales dont on a la traçabilité avant ajout
Pour ce qui a été fait via Sentence Collector et l’extracteur mentionné avant, je n’ai pas d’autre bonne solution, et en débattre dans https://discourse.mozilla.org/c/voice/239 est la meilleure façon de faire avancer le problème
Alors il y a eu plusieurs publis sur Common Voice, je les aies pas lues
Les utilisations de ton modèles seront-elles sur un français commun parfait ? Il faut quelque chose utilisable au quotidien.
Ensuite, ne pas oublier que les imports Sentence Collector sont la majorité maintenant, de ce que j’en ai entendu la dernière fois. Ces imports nécessitent aussi d’être validés par plusieurs personnes avant d’être acceptés.
Je dis pas qu’il n’y a pas de curation à faire, bien au contraire cf https://github.com/common-voice/commonvoice-fr/issues mais à l’époque de deepspeech j’ai déjà pas eu le temps de le faire, maintenant que je bosse plus du tout autour de ces thématiques c’est encore pire
Oui et non. Moi le premier certaines tournures d’ancien français c’est pas immédiat, mais :
- c’est pour ça qu’il y a les fonctions signaler / passer, si la personne ne sent pas à l’aise il n’y a aucun soucis à passer
- du point de vue du modèle ça peut être pertinent d’avoir des enregistrements de termes qui ne soient pas en français mais qui peuvent avoir leur place dans une phrase en français
Point important : ça n’est que mon opinion de quelqu’un qui a bossé sur le modèle pour essayer d’en faire un truc qui marche pour de vrai (avec l’aide de gens très sympas de eSup Pod) et même si ça n’a pas été fait dans le cadre d’une publi, j’ai constaté les grosses améliorations apportées par l’augmentation importante du volume de français sur Common Voice.
Mais je veux pas non plus qu’on imagine que c’est « la position officielle du projet Common Voice FR », ça reste mon opinion, et je trouve très important ce travail de curation, parce que j’ai aussi vu passer pas mal de déchets (et pas que dans Common Voice) quand j’ai bossé sur les importeurs dans deepspeech.
Et à la fin, c’est bien ceux qui font le travail d’amélioration comme celui que tu proposes qui décident 
Oui, mais c’est quelque chose que j’avais suggéré y’a longtemps, je sais pas si hillary a pu avancer dessus, mais avoir des « profils » et pouvoir identifier des phrases dans certaines catégories permettrait de résoudre ça et améliorer l’utilisation pour les enfants, les personnes pas à l’aise avec le français, en évacuant ces phrases (parce que tout le temps faire « passer » ça peut être pénible à la longue)
Tu as fait un gros travail de catégorisation et de curation, ça serait vraiment triste que ça parte à la poubelle.
Dernier point, tu mentionnes
J’imagine que tu parlais de moi et donc j’insiste, même si je suis toujours salarié, même du temps de DeepSpeech c’était pas mon affectation principale, et même si je pouvais y passer du temps de travail (et des déplacements, pas mal), je n’étais pas dans l’équipe Common Voice. J’ai essayé de faire en sorte que d’autres aussi prennent en charge le projet, et la porte reste très grande ouverte.
/me, hier : “Je suis un 
/me, 24 h plus tard : “WHAT ??? Qu’est ce que j’ai dit ou fait pour avoir 10 réponses, et plusieurs pages de lecture ???”
/me, après avoir tout lu : "Bon… Va falloir répondre maintenant. "
, donc n’hésitez pas à 
Stay focus !)
, on n’est jamais perdu ! 
qui avait l’air de couver. 
En lisant ton post initial et les réponses, 
à vous trois d’avoir repris le sujet au vol !
. Je ne connais pas assez (pour l’instant) ni la programmation, ni le projet, ni les critères pour prendre à ma charge les propositions et méthodes de correction 
.
Attention, je ne dis pas que le débat en cours ne m’intéresse pas, bien au contraire, je dis juste que vous avez pour l’instant des discussions stratosphériques 
par rapport à mes connaissances sur le projet, et par rapport à des newbies 
.
ce qui EST du bruit de ce qui est du signal 
.
de la page que tu cites, skeilnet, c.à.d. 
** que je ne retrouve pas, qu’on devrait se limiter à l’alphabet latin, et donc qu’on devrait “supprimer” les mots non français. …Sauf que, comme les réponses de ce fils l’indiquent, depuis, les règles se sont (ou pas) assouplies 
. Bref, la nature ayant horreur du vide, nous sommes dans un flou artistique 
, perdus dans le brouillard 
, sans boussole 
pour naviguer.
de ceux qui connaissent le projet 
, pour ne pas faire n’importe quoi, et permettre aux nouveaux 
France…).
& 
.
Celle là, elle est un peu capillotracté, je fais référence au nom de ce sub dans Reddit : 
à 
.
J’ai oublié de demander ce que signifie
Message qui sera utile plus tard.
,
C’est assez simple en fait, lorsque qu’un modèle est entraîné, on utilise un sous-ensemble représentatif de nos données pour représenter les données du monde réel (set de données de test).
