en
en
Источник
ACL
Дата публикации
21.05.2022
Авторы
Артем Шелманов Михаил Бурцев Кирилл Федянин Максим Панов Манвел Аветисян Леонид Жуков Александр Панченко Артем Важенцев Глеб Кузмин Аким Цвигун Евгений Цымбалов Глеб Гусев
Поделиться

Uncertainty Estimation of Transformer Predictions for Misclassification Detection

Uncertainty estimation, Transformers, Mahalanobis distance, Dropout, Determinantal point process

Аннотация

Uncertainty estimation (UE) of model predictions is a crucial step for a variety of tasks such as active learning, misclassification / adversarial attack / out-of-distribution detection, etc. Most of the works on modeling the uncertainty of deep neural networks evaluate these methods on image classification tasks. Little attention has been paid to UE in natural language processing. To fill this gap, we perform a vast empirical investigation of state-of-the-art UE methods for Transformer models on misclassification detection in named entity recognition and text classification tasks and propose two computationally efficient modifications, one of which improves the state of the art and outperforms computationally intensive methods.

Читать в источнике

Похожие публикации

AAAI
Beyond Attention: Breaking the Limits of Transformer Context Length with Recurrent Memory
Айдар Булатов, Юрий Куратов, Капушев Ермек, Михаил Бурцев
Читать источник
EMNLP
LM-Polygraph: Uncertainty Estimation for Language Models
Ekaterina Fadeeva, Roman Vashurin, Аким Цвигун, Артем Важенцев, Sergey Petrakov, Кирилл Федянин, Daniil Vasilev, Елизавета Гончарова, Александр Панченко, Максим Панов, Timothy Baldwin, Артем Шелманов
Читать источник
EMNLP
Better Together: Enhancing Generative Knowledge Graph Completion with Language Models and Neighborhood Information.
Alla Chepurova, Айдар Булатов, Юрий Куратов, Михаил Бурцев
Читать источник
EMNLP
Kandinsky: an Improved Text-to-Image Synthesis with Image Prior and Latent Diffusion.
Антон Разжигаев, Арсений Шахматов, Анастасия Мальцева, В.С. Архипкин, Igor Pavlov, Ilya Ryabov, Ангелина Куц, Александр Панченко, Андрей Кузнецов, Денис Димитров
Читать источник
AACL-IJCNLP
Uncertainty Estimation for Debiased Models: Does Fairness Hurt Reliability?
Глеб Кузмин, Артем Важенцев, Артем Шелманов, Xudong Han, Simon Šuster, Максим Панов, Александр Панченко, Timothy Baldwin
Читать источник
AACL-IJCNLP
Exploring Methods for Cross-lingual Text Style Transfer: The Case of Text Detoxification
Дарина Дементьева, Daniil Moskovskiy, David Dale, Александр Панченко
Читать источник
AACL-IJCNLP
Predicting Terms in IS-A Relations with Pre-trained Transformers
Ирина Никишина, Polina Chernomorchenko, Anastasiia Demidova, Александр Панченко, Chris Biemann
Читать источник
Связаться
Присоединяйтесь к AIRI в соцсетях
Вы можете задать нам вопрос или предложить совместный проект в области ИИ

Сообщение отправлено.

Спасибо!

Что-то пошло не так. Попробуйте снова