МУЛЬТИМОДАЛЬДЫ СИГНАЛДАРДАҒЫ ЭМОЦИЯЛАРДЫҢ УАҚЫТША ТҰРАҚТЫЛЫҒЫН БАҒАЛАУ

Аңдатпа

Бұл мақалада мультимодальды мәліметтердегі эмоциялық күйлердің уақытша тұрақтылығын бағалауға арналған әдістемелік тәсіл ұсынылады. Басқа жұмыстардан айырмашылығы, біз көп деңгейлі формализацияны (сигнал → функция → жасырын кеңістік → болжау) және көрсеткіштер жиынтығын (класс ауыстырғыштарының саны, эпизодтардың ұзақтығы және Херст көрсеткіші) енгіземіз. Тұрақтылық «Плутчик» моделі негізінде түсіндірілетін полярлық кеңістіктегі траекториялар деңгейінде бағаланады. Жұмыста уақытша тұрақтылықты сипаттайтын көрсеткіштер жүйесі ұсынылып, олар бірнеше мультимодальды архитектураларда салыстырмалы түрде талданады. Бағалау хаттамасына динамиктерден тәуелсіз бөлімдер, стандартты көрсеткіштер (F1/UAR, CCC/MAE) және уақытша тұрақтылық көрсеткіштері енгізілді. Қосымша ретінде MELD деректер жиынтығының теңгерілген шағын ішкі жиынтығында text-only pilot-эксперимент жүргізілді.Ұсынылған бағалау тәсілі модельдердің уақыт бойынша тұрақтылық қасиеттерін дәлірек сипаттауға мүмкіндік береді. Практикалық құндылық адам мен компьютердің өзара әрекеттесу жүйелеріндегі және көмекші технологиялардағы мінез–құлықтың болжамдылығы мен түсіндірілуін арттыруда жатыр.