СРАВНИТЕЛЬНОЕ ИССЛЕДОВАНИЕ МОДЕЛЕЙ LSTM И BERT ДЛЯ ЗАДАЧ МУЛЬТИКЛАССИФИКАЦИИ С ИСПОЛЬЗОВАНИЕМ НАБОРА ДАННЫХ NER

Аннотация

В статье проведён сравнительный анализ моделей LSTM и BERT, применяемых к задачам мультиклассификации на казахском языке с использованием набора данных для распознавания именованных сущностей. Основной акцент исследования сделан на преодолении проблемы ограниченности ресурсов для обработки текстов на казахском языке, посредством адаптации существующих методов машинного обучения для анализа многомерных классификационных задач. Оба подхода продемонстрировали свою эффективность в различных аспектах обработки текстовых данных, включая моделирование контекстных зависимостей и точную классификацию по множеству категорий. Модель LSTM показала высокую способность к учёту временных зависимостей в тексте, что делает её пригодной для решения задач классификации в условиях ограниченных языковых ресурсов. В то же время, модель BERT, основанная на архитектуре Transformer, продемонстрировала превосходные результаты в области контекстного анализа и обработки сложных текстовых структур, что обеспечивает её более высокую производительность при мультиклассификации текстов на казахском языке. Результаты экспериментов свидетельствуют о том, что обе модели могут эффективно применяться для задач классификации текстов на казахском языке, однако модель BERT продемонстрировала более стабильные и надёжные результаты, обусловленные её способностью к более глубокому контекстуальному пониманию. Полученные данные подчёркивают значимость использования современных методов обработки естественного языка для языков с ограниченными ресурсами и открывают перспективы для их дальнейшего исследования и практического применения.