ОЦЕНКА ВРЕМЕННОЙ СТАБИЛЬНОСТИ ЭМОЦИЙ В МУЛЬТИМОДАЛЬНЫХ СИГНАЛАХ

Аннотация

В данной статье предлагается методический подход к оценке временной стабильности эмоциональных состояний в мультимодальных данных. В отличие от других работ, мы вводим многоуровневую формализацию (сигнал → функция → скрытое пространство → предсказание) и набор показателей, включающий число переключений классов, длительность эпизодов и показатель Херста. Стабильность оценивается на уровне траекторий в полярном пространстве, интерпретируемом на основе модели Плутчика. В работе предлагается система показателей, описывающих временную стабильность, и проводится их сравнительный анализ на нескольких мультимодальных архитектурах. Протокол оценки включает разбиения, независимые от дикторов, стандартные метрики (F1/UAR, CCC/MAE) и показатели временной стабильности. В качестве дополнительной проверки был проведён text-only pilot-эксперимент на сбалансированной небольшой подвыборке датасета MELD. Предложенный подход к оценке позволяет точнее характеризовать свойства временной устойчивости моделей. Практическая ценность работы заключается в повышении предсказуемости и интерпретируемости поведения систем человеко-компьютерного взаимодействия и вспомогательных технологий.