Tokenizer trennt häufig Sätze auf

[mkohler (Michael Kohler)]

@guerda

@stergro

Die abbreviation_patterns bedeuten, dass Sätze, die diese Abkürzungen enthalten, nicht verwendet werden und der Satz nicht zerschnitten wird.

Heißt das, dass der gesamte Satz entfernt wird oder nur das Lemma aus dem Satz?

Der Satz wird nicht verwendet, wenn eine der abbreviation_patterns Regeln zutrifft.

@stergro Der Satz wird trotzdem zerschnitten. Das passiert bevor die Regeln angewendet werden. Aber damit können wir wenigstens einige rausfiltern.