ВОССТАНОВЛЕНИЕ ПУНКТУАЦИИ В СИСТЕМЕ АВТОМАТИЧЕСКОГО РАСПОЗНАВАНИЯ РЕЧИ ДЛЯ КАЗАХСКОГО ЯЗЫКА

Аннотация

В статье рассматривается проблема восстановления пунктуации в системах автоматического распознавания речи (ASR) казахского языка. Предложенный подход демонстрирует решение задачи восстановления пунктуации в казахских ASR для четырех основных классов пунктуации (запятая - COMMA, точка - PERIOD, вопрос - QUESTION и восклицательный знак - EXCLAMATION) и класса без пунктуации (O). Эксперименты проводились как на моноязычных казахских текстах, так и на смешанных казахско-русских данных, охватывающих практические параметры многоязычной коммуникации в современных приложениях ASR. Для уменьшения дисбаланса классов восклицательных и вопросительных знаков был создан специально размеченный корпус на основе метода аугментации для восстановления казахской пунктуации. Эксперименты показали, что модель восстановления пунктуации достигла показателя макро-F1 93,55% для четырех классов пунктуации (COMMA, PERIOD, QUESTION и EXCLAMATION). Модель продемонстрировала высокую производительность, показав F1-меры 97,96% для точки, 97,78% для вопросительного знака, 88,57% для запятой и 89,89% для восклицательного знака, что является значительным улучшением по сравнению с предыдущими работами и подтверждает надежность подхода для результатов автоматического распознавания речи на казахском языке.