Tokenizer trennt häufig Sätze auf

[mkohler (Michael Kohler)]

@guerda

Ich werde es noch Mal mit eigenen Sätzen testen, die die Abkürzungen enthalten, jetzt wo ich weiß, wie die Dateien aussehen müssen.

Wäre super, wenn du die Datei in einem Kommentar im Pull Request verlinken könntest.

@guerda

Der Job auf GitHub ist leider fehlgeschlagen, ich verstehe den Grund nicht. Der Rust Installationsprozess scheint Dateien laden zu wollen, was aber fehlschlägt. Scheint mir nicht an meinen Änderungen zu liegen.

Schaue mir das gleich an, werde im Pull Request antworten.