Источник
ACL
Дата публикации
21.05.2022
Авторы
Артем Шелманов
Михаил Бурцев
Кирилл Федянин
Максим Панов
Манвел Аветисян
Леонид Жуков
Александр Панченко
Артем Важенцев
Глеб Кузмин
Аким Цвигун
Евгений Цымбалов
Глеб Гусев
Михаил Бурцев
Кирилл Федянин
Максим Панов
Манвел Аветисян
Леонид Жуков
Александр Панченко
Артем Важенцев
Глеб Кузмин
Аким Цвигун
Евгений Цымбалов
Глеб Гусев
Поделиться
Uncertainty Estimation of Transformer Predictions for Misclassification Detection
Аннотация
Uncertainty estimation (UE) of model predictions is a crucial step for a variety of tasks such as active learning, misclassification / adversarial attack / out-of-distribution detection, etc. Most of the works on modeling the uncertainty of deep neural networks evaluate these methods on image classification tasks. Little attention has been paid to UE in natural language processing. To fill this gap, we perform a vast empirical investigation of state-of-the-art UE methods for Transformer models on misclassification detection in named entity recognition and text classification tasks and propose two computationally efficient modifications, one of which improves the state of the art and outperforms computationally intensive methods.
Похожие публикации
Вы можете задать нам вопрос или предложить совместный проект в области ИИ
partner@airi.net
По вопросам научного
сотрудничества и партнерства
сотрудничества и партнерства
pr@airi.net
Для журналистов и СМИ