Tokenizer trennt häufig Sätze auf

Natürlich :slight_smile: Momentan verwenden wir rust-punkt. Führt aber oft zu Problemen. Es gibt neuerdings jedoch auch die Möglichkeit andere Segmenter zu verwenden, siehe GitHub - common-voice/cv-sentence-extractor: Scraping Wikipedia for fair use sentences.

2 Likes