Common Voice per il 2020 (aggiornamenti periodici)

[Mte90 (Daniele Scasciafratte)]

Per lo storico pre-Aprile 2020 https://forum.mozillaitalia.org/index.php?topic=73666.msg510096
Siamo migrati a Discourse per le novità Common Voice/DeepSpeech visto che è il punto di arrivo dal sito e dagli snippet su Firefox.

01/04/2020

• Abbiamo riscritto tutti gli importatori del corpus per fare una libreria per semplificare lo sviluppo https://github.com/MozillaItalia/DeepSpeech-Italian-Model
• Stiamo lavorando a un nuovo readme e a una guida d’installazione dei vari tool per usare il modello
• @Sav22999 ha pubblicato Regole/Linee guida per approvazione registrazioni
• Ci stiamo organizzando per un incontro online di revisione
• Abbiamo revisionato il dataset Clips e per il momento non ha alta priorità come da ticket https://github.com/MozillaItalia/DeepSpeech-Italian-Model/issues/50
• Questo venerdì abbiamo la call comunitaria aperta a tutti e che poi pubblicheremo su youtube https://forum.mozillaitalia.org/index.php?topic=74033.0

Vi ricordo che ci trovate su telegram con il nostro bot @mozitabot

[Mte90 (Daniele Scasciafratte)]

25/05/2020

Sono passati quasi due mesi dall’ultimo aggiornamento, come comunità siamo stati impegnati in varie attività dai nuovi talk tematici con video e altre attività online (oltre che al ritorno alla normalità dopo la quarantena), oltre anche il lavoro sul nostro nuovo sito.

• Abbiamo 4 tutorial in Italiano per usare il modello con Python e Deepspeech su Linux
• Abbiamo iniziato la revisione degli importatori per il corpus testuale di cui stiamo decidendo il nome definitivo
• Gli accordi con il politecnico di Torino per l’uso dei loro server sono alla conclusione del fattore scartoffie, in poche parole potremo utilizzare i loro server per generare il modello
• Siamo alla ricerca di sviluppatori che ci aiutino nella revisione degli importatori per il corpus testuale
• La roadmap di sviluppo è stata aggiornata dopo la call tra i vari contributor
• Un notebook per jupyter è quasi pronto
• Si sta sperimentando anche con il progetto TTS
• Stiamo cercando di capire come migliorare la promozione del progetto visto il calo di partecipazione su voice.mozilla.org degli ultimi mesi
• Stiamo prendendo contatti con chi sta sbloccando il Genovese, Veneziano, Friulano, Sardo e Siciliano su voice.mozilla.org

Il modello come sempre si può scaricare su github.

Vi ricordo che ci trovate su telegram con il nostro bot @mozitabot

[Mte90 (Daniele Scasciafratte)]

02/07/2020

Di nuovo sono passati due mesi, il ritorno dalla quarantena, recuperare il lavoro (anche quello universitario) ci sta tenendo impegnati ma qualcosa abbiamo fatto (e come sempre siamo alla ricerca di nuovi contributor che vogliano darci una mano).

• Il 15 Giugno abbiamo organizzato uno sprint online di Revisione per CV, il prossimo sarà il 15 Luglio, siete tutti invitati!
• Ora sono 5 i mantainer o chi ha accesso amministrativo al repo del modello (per meriti ovviamente)
• Sugli script per il corpus testuale è stato fatto un lavoro di revisione e verifica, ora si sta lavorando sul ramo wrapper per https://github.com/MozillaItalia/DeepSpeech-Italian-Model/issues/41
• Si sta anche lavorando per il passaggio a DeepSpeeck 0.7 che richiede dei nuovi script per Docker sul ramo docker_0.73 (c’è bisogno di testing)
• Stiamo discutendo anche del nome del corpus testuale sul ticket dedicato https://github.com/MozillaItalia/DeepSpeech-Italian-Model/issues/65 (aperto a tutti)
• Nuovo dataset rilasciato per italiano, stiamo a 128 ore revisionate https://voice.mozilla.org/it/datasets
• Abbiamo bisogno di promozione di Common Voice e siamo alla ricerca di idee (rientra anche nella idea https://github.com/MozillaItalia/CommunityIssueTracker/issues/88), fate un salto sul nostro bot telegram mozitabot sul gruppo Home
• Siamo sempre alla ricerca di sviluppatori Python e Bash per il progetto del modello (e text corpus), fate un salto sul nostro bot telegram mozitabot sul gruppo Developers
• Per il Linux Day 2020 Online prevediamo due talk uno su Common Voice e uno su DeepSpeech

[Mte90 (Daniele Scasciafratte)]

07/08/2020

Stavolta abbiamo notizie importanti!

• Il 22 luglio abbiamo fatto un altro sprint online di revisione di CV
• Abbiamo rilasciato due versioni del nostro corpus testuale (italiano discrosivo e in prima persona) al momento chiamato Mitads, un lavoro di 9 mesi per sostituire il dump di WIkipedia -> https://github.com/MozillaItalia/DeepSpeech-Italian-Model/releases/tag/Mitads-1.0.0-alpha2
• Stiamo discutendo anche del nome del corpus testuale sul ticket dedicato https://github.com/MozillaItalia/DeepSpeech-Italian-Model/issues/65 (aperto a tutti)
• Nuovo modello disponibile per le novità -> https://github.com/MozillaItalia/DeepSpeech-Italian-Model/releases/tag/2020.08.07
  • Include versione pura e con transfer learning dall’inglese e la versione tflite per entrambi
• Abbiamo finalmente la partnership con l’Università di Torino che ci ha dato un server con qui abbiamo potuto fare tutto questo e che ci permetterà di sperimentare con parametri diversi
• Abbiamo bisogno di promozione di Common Voice e siamo alla ricerca di idee (rientra anche nella idea https://github.com/MozillaItalia/CommunityIssueTracker/issues/88), fate un salto sul nostro bot telegram mozitabot sul gruppo Home
• A giugno è stato rilasciata un altra versione del dataset di CV, stiamo a 130 ore
• Il bot telegram per provare il modello è da considerarsi obsoleto in quanto l’autore non risponde ai nostri tentativi di comunicazione per aggiornarlo
• Stiamo definendo una pipeline per generare il modello e siamo alla ricerca di suggerimenti https://github.com/MozillaItalia/DeepSpeech-Italian-Model/issues/92

Vi ricordo che ci trovate su telegram con il nostro bot @mozitabot

[Mte90 (Daniele Scasciafratte)]

13/10/2020

Abbiamo fatto le vacanze lunghe ma abbiamo lavorato per voi!

La novità è che abbiamo lanciato un dev contest riguardo il modello con la partnership di /r/italyinformatica https://www.reddit.com/r/ItalyInformatica/comments/j6112h/mozilla_italia_developer_contest_in/
Ci sono in palio magliette Firefox originali!

Riguardo CV

VI lasciamo delle statistiche riguardo la lingua italia nei 3 mesi precedenti e in un anno: