@discobot can you help with all the wikipedia links??
You will need to run Rust nightly as commented in the README:
Feel free to open github issues if you are still facing any issues.
Thanks!
We keep working on this. Basque language has a lot of declensions (suffixes), so the automatic black list has lots and lots of correct words. We have been cleaning it (just partially) because we didn’t want to reject so many correct sentences of the Basque Wikipedia. 
We finally achieved an acceptable result, so we can continue with the process! More info soon. 
1 Like
After some installation hassle, I finally was able run the script for Frisian. I lowered the threshold for generating the blacklist to 50. Still see some very useful words in that list, so going to lower it again. As a test I ran the scraper which ended up with 22.500 sentences. As mentioned above there are a number of incomplete sentences due to abbreviations. A list with known abbreviations with their full explanation would result in more sentences.
Gonna experiment some more with settings and take a closer look at the results.
1 Like
Did some more experiments and finally end up with almost 60k sentences. These have to be enhanced with a solution for abbreviations, otherwise there are too many shortened sentences. So next to the rules in <language>.toml and the blacklist (best result with the frequency limit set to 1 for Frisian), there has to be a file with known abbreviations with something like:
e.g. = for example
i.e. = in other words
…
Next up , Dutch (will probably take up more time generating 
)
Ran the Dutch version overnight. Blacklist generation set to 70. Added some extra less used characters to avoid foreign words.
Finally ended up with 1.25 million sentences!
Ran a quick test and I think these are for the majority good sentences. Luckily not that many abbreviations (e.g. 4.000 for ‘ca.’) and with so many sentences we could decide to just put them in the rules with disallowed symbols.
I think I am going to run it once again with a blacklist generation set to 100 and known abbreviations.
To be continued, but this is very hopeful.
2 Likes
Successfully collected sentences for Russian language without stop words and with some settings in abbreviation_patterns, disallowed_symbols. Got the following result at the end:
file_name = "../wikiextractor/text/CG/wiki_17"
avg = 65.47661916007723
count = 2553330
Sample from output file
$ shuf -n 300 wiki.ru.txt
Входит в состав района Рюген.
Кафедральным собором архиепархии Калабара является собор Святого Иосифа.
Одну из ампул Тереза вкалывает Алби и, похоже, лекарство помогает.
Родился в Бессарабии, Одесская область, Украина.
Гексахлорорениевая кислота образует зелёно-коричневые растворы.
Воспитанник клуба «Нови-Йичин».
Внешне машина отличалась, в первую очередь, иной маской радиатора, с полукруглым сечением.
Авторами песни являются Марко Менгони, Роберто Казалино и Франческо Де Бенедеттис.
Дмитрий Мусэрский родился и провёл детство в Макеевке.
Николая Чудотворца Вревского погоста.
Став главой жемчужной станции в Британской Новой Гвинеи, он изучал причины образования жемчуга.
Позднее выступал в любительских турнирах по футзалу в команде «Удар» Нижние Серогозы.
Южнее находится Бобьяково.
Окончил трёхлетнюю церковно-приходскую школу.
Начал политическую карьеру ещё в период принадлежности Коморских островов Франции.
Аксональные отростки нейронов отвечают за передачу потенциала действия от тела нейрона к синапсу.
Служил на Карельском фронте.
Достаточно хорошо приспособлена для жизни в квартире.
В игре также присутствует возможность маскировки и система отвлечения, чтобы избежать столкновений с зомби.
И даже то, что Синдикат также замешан в этой афере, их нисколько не страшит.
Затем взять ключ и, наконец, покинуть уровень через открывшуюся после взятия ключа дверь.
Результаты группового этапа учитывались в квалификационном турнире и финальных играх.
Родился в семье инженера, впоследствии — участника Великой Отечественной войны, ставшего профессиональным военным.
Все переменные туманности довольно слабы.
В целом, отобранные кластеры обладают значительным потенциалом роста.
Пилот и пассажир располагались рядом в двухместной кабине.
Административный центр — посёлок Восточный.
Также используются сарамакканский и сранан-тонго языки.
Давай, брат, воспарим…».
Правый приток Редница.
Кризис завершился смещением и изгнанием президента Селайи гондурасскими военными в результате государственного переворота.
Имущество выселяемых было конфисковано и обращалось на покрытие затрат по государственным обязательствам.
Расколоть яйцо — означает разбить семью и будущее, иными словами — обрести свободу.
Входит в состав Дардамтинского сельского округа.
Выступал за английские клубы «Сток», «Нортгемптон Таун», «Бернли», «Манчестер Юнайтед» и «Порт Вейл».
Двукратный чемпион Казахстана.
Украшения располагались на голоменях в нижней и верхней части клинка, а также на обухе.
Фамилия Штин произошла от идишского слова «штейн», которое означает «камень».
Турниру посвящены конверты, почтовые марки и значки.
Самый динамично развивающийся город в провинции.
Сын выходца из Нагорного Карабаха; родился и большую часть жизни провёл в Баку.
Голова крупная с продольными килями на лбу.
Далеко-далеко, до Кирхгофской горы, увенчанной башенками лютеранской кирхи.
Целью экспедиции был поиск короткого пути к Северному полюсу через Берингов пролив.
Расстояние до районного центра Бурейского района пос.
Исторически являлся главным городом провинции Руссильон.
Павсаний матерью Евандра называет нимфу, не приводя имени, дочь Ладона.
После окончания консерватории работал концертмейстером-аккомпаниатором в балетной труппе Мариинского театра.
Малая Азия: Турция.
Балагер назначил Аббеса консулом в Японию, удалив его тем самым из центра внимания.
Входит в состав Боралдайского сельского округа.
Слово может быть родственно «семья», «семья, дом».
В районе города осуществляется добыча золота.
Часовня, хлебозапасный магазин.
Административный центр — город Сейняйоки.
Таким образом, умолкание канарейки предупреждало шахтёров об опасности.
Из-за границы Пырин привёз в Россию карандашные зарисовки.
Из обеспеченной семьи.
Однако по социальному положению и обязанностям они походили на сержантов или старшин.
Работал в колхозе трактористом, затем председателем сельского совета.
От первого мужа, Роберта Стивенса, актриса родила двух дочерей.
Часть документов опубликована в Актах Виленской археографической комиссии, Археографическом сборнике документов и др.
Главные роли исполнили Даниэль Отей и Жюльетт Бинош.
Является академиком Российской академии естественных наук и Академии славянской культуры.
Отдельные институты работают в Биробиджане, Анадыре.
Покровителем города считается Антоний Падуанский.
Ближайшие населённые пункты — Писунинская, Лымзино, Стиховская, Мотовилово.
Как правило, понятие означает меру информации, передаваемой документом относительно запроса пользователя.
Родился в г. Полтаве, в рабочей семье.
Музыка Анджело Бадаламенти и слова Дэвида Линча.
Вход в парк свободный.
В том же году состоялся переход Огородника в российский «Зенит».
Воспитанница костанайского бокса.
Субтитры различаются по степени детализации событий.
Она истекла кровью во время операции и так и не пришла в сознание.
Входит в состав округа Шарлевиль-Мезьер.
Его движения неуклюжи и неестественны для нормального человека.
Йохан Воскамп — воспитанник футбольной команды «Лира» из города Де-Лир.
Дина Мифтахутдинова тренировалась в спортивном клубе Вооруженных Сил Украины в Днепропетровске.
Таким образом, и стакан и тост предположительно происходят от слова тостакан.
Шуйо Караджич считается предком Радована Караджича.
В финале встретились «Челси» и «Сток Сити».
Эта гипотеза отчасти объясняет непоследовательность хронологии у Корнелия Непота и Плутарха.
Владеет индонезийским, армянским, английским и французским языками.
Всего в торфяных болотах Европы было обнаружено более тысячи древних трупов.
Правительства государств-рантье заботятся о формировании позитивного общественного мнения.
Возникла на территории бывшей провинции Бургундия.
После окончания аренды «Эшторил-Прая» выкупил права на игрока.
В центре звезды — накладное изображение земного шара, отдельные детали которого покрыты цветной эмалью.
Альбом стал результатом шестимесячной работы группы.
Мезоплеврон не разделён горизонтальной бороздкой.
После традиционно длительного периода обручения Чёрный Гром и Медуза поженились.
Края октаэдров образуют цепочки, которые соединены с атомами кислорода, которые и образуют слои.
Лид и Малала временами упоминают его просто как «Каппадокиец».
Был избран сенатором от Университета Валенсии, представляя Либеральную партию.
Первоначальное название Громки.
Владимир Иванович Немирович-Данченко стал одним из создателей режиссёрского театра во всем мире.
входит в штат Парана.
В Венгрии он получил штраф за небезопасный выезд из боксов.
Через год стартовало активное распространение программы курса, что вызвало аншлаг по всему миру.
О создании церкви повествует ктиторская надпись на главных вратах западного входа в храм.
Поэтому максимальное число треугольников на единицу меньше границы Тамура для этих случаев.
Награждён медалями «За победу над Германией», «За боевые заслуги», «За доблестный труд».
Циммерману принадлежат оркестровки фортепианных пьес Модеста Мусоргского «На южном берегу Крыма.
Вырос вместе с братом и сёстрами во дворце Нойштрелица.
Дожди бывают нечасто, в основном летом.
Служил сельским учителем, затем смотрителем в удельном ведомстве.
Кристофа и св.
Защитная часть шлема выполнена из сверхвысокомолекулярного полиэтилена высокой плотности.
Пирамиды женщин из королевских семей находятся на западном плато начиная от пирамиды Тахарка.
На турнире играл одном звене с одноклубником Владимиром Елизаровым и «динамовцем» Юрием Крыловым.
Участвовала в боях под Минском, Ельней, Вязьмой.
Течёт по лесной болотистой местности.
Используются вдали от береговой линии и при входах в порт в качестве лоцманской станции.
Предполагается, однако, что эти средства банк также сможет в будущем обменять на акции.
Является одной из достопримечательностей Нижнего Новгорода.
Закончил войну в звании капитана.
Административный центр — Талицкий Чамлык.
В природе поедает свой и чужой кал.
При обнаружении его следует арестовать и отправить соотв.
Обучался у иезуитов в Римини, вступил в орден Святого Августина.
Багамы выиграли серебряную медаль, которую по регламенту получил и Эшли.
Входит в состав кантона Ла-Сутеррен.
Но что удивительно — читал наизусть!
Тамилец вынужден эмигрировать в Швейцарию из-за гражданской войны на родине.
При этом последовательность нуклеотидов не изменяется, а лишь прекращается экспрессия соответствующего гена.
К тому же у студии не хватало средств, материально-техническая база была ограничена.
В связи с расширением города Советский район делился два раза.
Имеет металлическое ограждение.
Виды рода Аглайя
Роберто Пунчец — воспитанник хорватского футбольного клуба «Вартекс».
Мишель Онфре родился в семье сельскохозяйственного рабочего.
Они имеют преимущественно серую окраску без выраженного полового диморфизма.
Однако он получил лишь должность начальника сельской полиции штата.
Из-за этого брака император сместил Монтолона с должности посланника при герцоге Вюрцбургском.
Родился в семье служащего.
Формат ресурсов, помещаемых в такой файл, может подразумевать сжатие.
Вместе с селом Бычок входит в состав Бычковского сельсовета.
При жизни отца носил титул сеньора де Бюсси, владения, доставшегося от матери.
Восставшим удалось освободить Иерусалим, однако в конечном итоге восстание было жестоко подавлено императором Адрианом.
Результаты документальной ревизии оформляются актом.
Образование течи топлива возникло, вероятно, вследствие потери герметичности соединительных элементов или топливных трубопроводов.
Также является продюсером целого ряда серий Смешариков.
Буква тав — одна из шести букв бегед-кефет, получающих дагеш каль.
Широко распространены такие автомотрисы, в частности, в Германии.
Сражение при Теламоне знаменовало собой окончательное покорение римлянами Северной Италии.
Брошюра свободно продавалась в магазинах, выдавалась в библиотеках города.
Космическая разведка возникла и развилась как побочный продукт освоения человеком космоса.
Большую помощь оказывал Сейткул Мухамедханов, отец Каюма Мухамедханова.
Однако ключевой денежной единицей на севере Германии был талер.
Листья простые, размещены супротивно.
Специалисты быстро поняли, что этот подход не слишком удобен.
Её командиром был назначен коммунист капитан Герман.
Выступает гостем международных поэтических фестивалей и программ.
Легко обрабатывается, принимает и сохраняет полировку.
Это был дом бога Дагды, его жены Боанн и их сына Энгуса, бога любви.
Точная локализация княжества неизвестна.
В составе Солдатовского сельсовета Нижне-Колосовского района Тарского округа Сибирского края.
От игрока требуется разрезать виртуальным мечом фрукты, появляющиеся из нижнего края экрана.
Поэтому иногда их отмечали под общим названием кыпчак"".
Верхняя сторона тела фиолетовая, синяя, зелёная, бронзовая или чёрная.
До отъезда отца за границу обучался на дому.
На время отхода от дел приходятся внешнеполитические неудачи империи.
Село возглавлял Хатыминский наслег.
Начали поступать самолёты с деревянными кабинами штурмана, которые просто отламывались при посадке.
Речной бассейн реки — Надым.
Записанные песни были сыграны живьём без цифровой обработки.
На реке и её притоках расположены туристские стоянки; вдоль рек проложены туристические маршруты.
Лин рассказывает, что она разочаровалась в людях и в своих идеалах.
Здесь созданы условия для дайвинга.
Входит в состав кантона Мата.
По старому административному делению входил в провинцию Эштремадура.
Входит в состав кантона Плелен-Тригаву.
Посол Израиля на Филиппинах — Эфраим Бен-Матитьяху.
При оформлении залов музея использовали диорамный принцип построения.
В деревне Бортники родился Герой Советского Союза Михаил Александрович Кузьмин.
В этом же поединке Кире забил свой первый гол за «Славию».
Речной бассейн реки — Кама.
А современный музейный комплекс являет собой уникальное собрание памятников истории прославленных родов.
Она вторая по силе хоккейная лига в Словакии, уступает только Словацкой экстралиге.
Окончательная запись была завершенна в начале ферваля.
Составная часть мезорегиона Юго-центральная часть штата Мату-Гроссу.
Растёт на сухих травянистых склонах.
Генеральное направление в верхнем течении - северо-восток, в нижнем - север.
Похоронен на Даниловском кладбище в Москве.
В том же сезоне Луис помог клубу выйти в финал Кубка Перу.
У самого Дува-Сохора было четыре сына: Доной, Докшин, Эмнек и Эркэг.
На склонах располагается несколько озёр — Ротомахана, Окатайна, Таравера.
Одновременно ставила спектакли в других ленинградских театрах.
Доктор философии Колумбийского университета.
Различаются удобоваримые и неудобоваримые углеводы.
Близ Житной Поляны расположен санаторий «Снежка».
Начиная с марта бои в Широкино приобрели позиционный характер.
Департамент коммуны — Южная Корсика.
Рядом проходят автомобильная дорога и железная дорога, станция Роздольский.
Главный офис института находится в Токио, в центральном районе Синдзюку.
В Новороссийске обновленная и переименованная «Кубань» приобрела умеренно-либеральный оттенок.
Несмотря на сохранение монахом деревни, он решил пойти в храм Эдо.
Административным центром городского поселения является посёлок городского типа Кильдинстрой.
Окончил курс Императорского училища правоведения.
Юрьев оставался последним центром сопротивления крестоносцам между Чудским озером и морем.
Он писал работы по строительству автомобильных и железнодорожных дорого, мостов, картографии, энтомологии и топографии.
Большинство израильских официальных документов ссылаются на сообщества израильских арабов, используя термин «меньшинства».
Похоронен на Кунцевском кладбище в Москве.
Подвеска Хара пришла на смену своему предшественнику, подвеске по типу трактора Клетрак.
Слабый довольно специфичный фитопатоген.
После войны в бывшем усадебном доме разместился психоневрологический интернат.
Мезопроподеальное вдавление глубокое.
Алекс и её брат Ронни были воспитаны их матерью-одиночкой Кэрол Макки.
Из-за недостаточной ширины гребного канала в одном заезде могли стартовать не более трёх лодок.
Старался стоять вне политики, в то время поглощавшей лучшие испанские силы.
Отец служил в министерстве образования и религии, затем был директором университетской библиотеки в Сегеде.
В октябре на турнире в Пекине Маттек-Сандс выходит в четвертьфинал.
Входит в состав Кринично-Лугского сельского поселения.
Департамент коммуны — Верхняя Корсика.
У Рэйчел есть брат — Фрэнк Робертс.
Округ коммуны — Лан.
Баумана, но через два года вынужден был вернуться в Ереван, чтобы кормить семью.
Тело длинное с многочисленными сегментами, простомий конической формы.
Артур категорически отказывается спуститься и поговорить с Марти.
Идея создания состоит в предоставлении удобной и простой единой платформы для разработки обучающих программ.
Подвальный этаж благоустроен, в нём освящён престол, имеется баптистерий.
Создатель армии новых видов существ, противостоящей человечеству.
Ракитная; северная и восточная оконечность ул.
Место, точная дата, обстоятельства и причина смерти неизвестны, как и место захоронения поэта.
Развивается в одном поколении за год.
Каменный храм был построен на средства прихожан.
Это связывается с сознательным отказом от элитарности искусства и возвращению к его декоративно-эстетической функции.
Глаза без чёткой выемки.
Административный центр — село Исляйкино.
В целом население было крайне смешанным: огромное количество различных племен, и мусульман, и индусов.
Инициатором перехода был тренер «Бетиса», Эктор Купер.
На аттике находятся часы.
Принимал участие в первом чемпионате Франции.
В настоящее время в нем находится музей.
Родилась в Казахстане.
Центрами консолидации являлись сельские организации Колорадо и партийные авторитеты.
Административный центр — Модимолле.
Сразу после юбилейных выступлений группа ушла в отпуск.
Восстановил Новогрудский замок.
Первый секретарь городского комитета партии являлся фактическим градоначальником.
Департамент кантона — Мёрт и Мозель.
По окончании музыкальной карьеры вновь вернулась к работе на ирландском телевидении.
Вначале он копировал старых мастеров.
Принадлежит к роду Адеркас.
Стратегия развития торговой сети предусматривает дальнейшее открытие новых гипермаркетов «Глобус» в Центральном федеральном округе.
Административный центр — город Курильск.
Бригада Василия Петрова ежегодно перевыполняла производственный план.
Сам Кокерель стал при жизни автором нескольких книг и статей.
Елену приняли в стажерскую группу театра.
Речной бассейн реки — Иртыш.
В этом издании находятся сведения о жизни Адриана.
Штаб-квартира находится в Мекке, филиалы в Медине, Эр-Рияде и Джидде.
Возник на территории бывших провинций Гиень и Гасконь.
Это особенно важно, когда в разных состояниях формируются одинаковые значения выходных переменных.
Как правило представляют собой серийные танки прошедшие соответствующую модернизацию.
Мерам, принятым для лецеизации учебных заведений, враги Ферри дали кличку «изгнания Бога из школы».
Был поклонником японской манги «Капитан Цубаса».
Овладев фортом Гийом, французы установили там батарею, производившую непрерывный обстрел и бомбардировку замка.
Ранее станция закрывалась, была остановочным пунктом.
Всего Кузнецовым было предложено более пятнадцати различных вариантов ордена.
Владеет английским, польским, татарским и башкирским языками.
Разница доходах заметна уже, если у фильма есть одна номинация.
Так, Фома Аквинский учил о совершенной трансцендентности Бога по отношению к творению.
Уже после своего возвращения во Франкское государство Хильдегрим решил принять постриг.
объявили о совместной работе над цифровыми камерами среднего формата.
Центр — город Одесса.
Весь пьедестал заняли советские спортсменки — чемпионкой мира стала Елена Альтшуль.
Премьер-министр Израиля ответил положительно.
среди столичного населения усилилось освободительное движение против британского колониального господства на территории Гайаны.
Данные о сборах фильма носят противоречивый характер.
Также завоевала серебро в составе эстафеты.
Сейчас он находится в московском Парке Победы на Поклонной Горе.
Листья расположены очерёдно, неправильно перисто-рассечённые.
Алфавит также появляется на монетах, латунных пластинах и многочисленных рукописях на тканях или коре.
Центр Демьянского сельского поселения.
Населённых пунктов на реке нет.
Участвуя в Играх, Эш соревновался только в одиночных заездах.
Стенка кисты состоит из плотной фиброзной ткани.
Данная буква была введена в процессе кириллизации алфавитов северокавказских языков в конце годов.
Хиосцы непрерывной чередой прощались с поэтом до полудня.
Голова копьеподобной формы чётко отделена сзади шейным перехватом.
Находится в Смолянской области, входит в общину Златоград.
Предприятия этой отрасли имеются практически во всех районах и в большинстве городов Великобритании.
Имя же и происхождение жены Игоря считается неизвестным.
Находится в Константиновском районе Донецкой области возле села Белокузьминовка.
Словарный перевод иероглифа 薛 — «полынь».
Поль Пето, эрудит и библиофил, родом из Орлеана, также служил советником парламента.
Его первым тренером был Джозеф Ройл.
В результате получится один полный и безошибочный файл.
В Таиланде есть независимые музыканты и студии, создающие музыку для некоммерческого использования.
Мальчик воспитывался в Бакинском детском доме.
Высшими таксономическими единицами являются регионы, области и подобласти.
За эту операцию бригада была удостоена почётного наименования «Нежинская».
Владельцем первого был князь Юрий Николаевич Голицын.
Среди европейских стран лидером является Швеция.
При этом используется нумерация, «доставшаяся» от чемпионатов мира среди мужчин.
Неоднократно участвовал в поставленных Ингмаром Бергманом спектаклях.
В настоящий момент выступает в Примере Венесуэлы, сильнейшем дивизионе страны.
Израильский теоретик Овадья Шохер рассматривает национал-анархизм несколько иначе.
Script executed over ~5 hours on i7-8700K 3.70GHz, but script is single-core, may be it is possible to parallel directories proceeding from wikiexctractor? It will be MUCH faster on my 12-core CPU.
Script works fine, not problems/errors occurred while executed. I will tune up my settings for Russian and make a PR.
1 Like
@nukeador How clear is the text expected to be? How strong it should be filtered? For begin, I can make very strict filters to maximally achieve text without problematic constructions. This will reduce the number of sentences, but I do not think that the loss of ~500K lines will be critical for 2.5M available.
Thanks for this @iLeonidze, we really wanted to have Russian supported here!
2,5M seems to be a fantastic number of sentences. As long as the QA review provides a low error rate, we should be fine. If not, we should be more restrictive with the blacklist (for Spanish we used <80 repetitions for example).
When creating the PR with the filters and blacklist file, please make sure you also provide the following information
1 Like
Can someone elaborate on the setting ‘abbreviation_patterns’ and how to deal with that?
For Dutch I have to deal with abbreviations like ‘ca.’, ‘a.u.b.’, ‘v.Chr.’ and ‘dr.’. I am thinking to put them (approx. 50) in the blacklist, but maybe it’s better to use ‘abbreviation_patterns’?
Hey @Fjoerfoks the best way to understand it is to look at other rulefiles, for example the german.tombl explains a lot in the comment above of the abbreviation_patterns. (only the third line are real abbreviations!)
In general one can say that you seperate different abbreviations with a pipe and then you write the abbreviation with escaped full stops. For example:
“a\\.u\.b\\.|v\\.Chr\\.”
I hope this helps a little.
Started a new PR for Russian. Please, someone who speaks Russian, review the sample file provided.
I will also make some minor fixes related to checks perfomance.
1 Like
Ah, perfect! I can work with that.
Are there any limits to the number of characters on 1 line?
Are these case sensitive?
Raised this also on Github, but like to put the following here too:
Can someone tell me what the status is of abbreviations while scraping sentences?
Are we going to allow them for scraping?
- If no, how to skip these sentences (being a “.” being not the end of a line)?
- If yes, do we keep them within the sentences ‘as is’, and let the user read the full explanation of the abbreviation (e.g.: “etc.” becomes spoken “etcetera”), or
- if yes, are we going to do a search and replace somewhere during the scrapingprocess?
I really like to know before proceeding with the next run.
Last time I ran the Dutch scraping it seemed like it would take around 2 days to finish on my laptop with 6 GB RAM, AMD A8-6410.
This made me think: is it an option for Mozilla to fire up a Virtual Machine with all the prerequisites needed for scraping, which has lots of memory and RAM to speed up this process. Localizers only would need to have SSH-access though e.g. Putty.
Just a thought…
I’m aware that tokenization can be pretty bad. This is how I solved it for German: https://github.com/Common-Voice/common-voice-wiki-scraper/blob/master/src/rules/german.toml#L22. If you have any good ideas for this, please add them to https://github.com/Common-Voice/common-voice-wiki-scraper/issues/11.
It’s hard to get people to do that, so let’s avoid anything like that as far as possible.
Let’s give our best to avoid that.
IMHO it’s fine if you stop it after some time, I don’t think we need the full output for verification before we merge and run it officially.
Given the above, I don’t think this is needed. However there is https://github.com/Common-Voice/common-voice-wiki-scraper/issues/18, but I doubt we can do it for the full export to make sure we can provide timely feedback. However, for smaller chunks we probably can do it and that should IMHO be enough for feedback for validation.
I’ll put this on my list again, will be done after https://github.com/Common-Voice/common-voice-wiki-scraper/issues/9 and https://github.com/Common-Voice/common-voice-wiki-scraper/issues/14.
I think @nukeador raised an issue about how to deal with the large numbers of sentences and how to get these validated.
After using CV for a while, both donating as well as validating, I think it is an option to let the community validate the sentences while speaking. If a user detects a sentence which is not valid, there should be an option to reject the sentence. With 2 rejects, it would be moved to the “graveyard” for an update or total deletion.
What do you think?
Right now we have the report feature that it’s trying to solve the same problem. We just need to create a process to review reports and apply removals when needed.
1 Like
I have this regex in my frisian.toml:
“[A-Z]+\.*[A-Z]”,
but still see names appear in the sentences like “A. H. Draper”.
How can I eliminate these?
Try:
[A-Z]\.\ [A-Z][a-z]+