Использование русскоязычных интернет-корпусов новостей для систем автоматического распознавания речи в сфере медиа-мониторинга

• Published in: Przegląd Rusycystyczny
• Main Author: Borysowski, Daniel
• Format: Article in Journal/Newspaper
• Language: Polish
• Published: Polskie Towarzystwo Rusycystyczne 2022
• Subjects: lang; litt; taiga
• Online Access: https://doi.org/10.31261/pr.12741; https://bibliotekanauki.pl/articles/2085252.pdf; https://bibliotekanauki.pl/articles/2085252

Автор статьи использовал открытые корпусы NewsRu и Taiga, собирающие тексты интерет-новостей, для создания N-граммных языковых моделей для систем автоматического распознавания речи. Модели подверглись комплексной оценке (perplexity, WER, распознавание имен собственных, сравнение с базовой моделью и Google ASR). Автор использовал также рекурсивные нейронные сети для так называемого рескорина N-граммных моделей. Эффективность моделей оценивалась путем распознавания речи с новостного канала Россия 24 (оценке подверглись 37 файлов общей продолжительностью 1,5 часа). Выбор тестовых данных связан с основной целью статьи – распознаванием речи в рамках так называемого медиа-мониторинга. The author of the article used open Internet-news corpuses (NewsRu and Taiga) to create N-gram language models for the needs of automatic speech recognition systems. The models were comprehensively evaluated (perplexity, WER, proper name recognition, comparison with the base model and Google ASR). The author also rescored N-gram models, using recursive neural networks. The effectiveness of the models was assessed by recognizing speech from the news channel Россия 24 (37 files with a total length of 1.5 hours were tested). The selection of test data is related to the main goal of the article – speech recognition for the needs of the so-called media monitoring. Autor artykułu wykorzystał otwarte zasoby korpusowe (NewsRu oraz Taiga), gromadzące newsy internetowe, do stworzenia N-gramowych modeli języka na potrzeby systemów automatycznego rozpoznawania mowy. Modele zostały poddane wszechstronnej ewaluacji (perplexity, word error rate, rozpoznawanie nazw własnych, porównanie z modelem bazowym oraz Google ASR). Autor dokonał także rescoringu modeli N-gramowych, wykorzystując w tym celu rekurencyjne sieci neuronowe. Skuteczność modeli oceniono w drodze rozpoznawania mowy z kanału informacyjnego Россия 24 (przetestowano 37 plików o łącznej długości 1,5 godziny). Dobór danych testowych wiąże się z zasadniczym celem artykułu – rozpoznawaniem ...