en
en
Источник
AISTATS
Дата публикации
27.05.2022
Авторы
Татьяна Шаврина Алена Феногенова Александр Панченко Дарина Дементьева Варвара Логачева Ирина Никишина Ирина Кротова
Поделиться

A Study on Manual and Automatic Evaluation for Text Style Transfer: The Case of Detoxification

Аннотация

It is often difficult to reliably evaluate models which generate text. Among them, text style transfer is a particularly difficult to evaluate, because its success depends on a number of parameters.We conduct an evaluation of a large number of models on a detoxification task. We explore the relations between the manual and automatic metrics and find that there is only weak correlation between them, which is dependent on the type of model which generated text. Automatic metrics tend to be less reliable for better-performing models. However, our findings suggest that, ChrF and BertScore metrics can be used as a proxy for human evaluation of text detoxification to some extent.

Читать в источнике

Похожие публикации

TACL
mGPT: Few-Shot Learners Go Multilingual
Oleh Shliazhko, Алена Феногенова, Мария Тихонова, Anastasia Kozlova, Владислав Михайлов, Татьяна Шаврина
Читать источник
EMNLP
LM-Polygraph: Uncertainty Estimation for Language Models
Ekaterina Fadeeva, Roman Vashurin, Аким Цвигун, Артем Важенцев, Sergey Petrakov, Кирилл Федянин, Daniil Vasilev, Елизавета Гончарова, Александр Панченко, Максим Панов, Timothy Baldwin, Артем Шелманов
Читать источник
EMNLP
Kandinsky: an Improved Text-to-Image Synthesis with Image Prior and Latent Diffusion.
Антон Разжигаев, Арсений Шахматов, Анастасия Мальцева, В.С. Архипкин, Igor Pavlov, Ilya Ryabov, Ангелина Куц, Александр Панченко, Андрей Кузнецов, Денис Димитров
Читать источник
AACL-IJCNLP
Uncertainty Estimation for Debiased Models: Does Fairness Hurt Reliability?
Глеб Кузмин, Артем Важенцев, Артем Шелманов, Xudong Han, Simon Šuster, Максим Панов, Александр Панченко, Timothy Baldwin
Читать источник
AACL-IJCNLP
Exploring Methods for Cross-lingual Text Style Transfer: The Case of Text Detoxification
Дарина Дементьева, Daniil Moskovskiy, David Dale, Александр Панченко
Читать источник
AACL-IJCNLP
Predicting Terms in IS-A Relations with Pre-trained Transformers
Ирина Никишина, Polina Chernomorchenko, Anastasiia Demidova, Александр Панченко, Chris Biemann
Читать источник
WMT
Semantically-Informed Regressive Encoder Score
Vasiliy Viskov, George Kokush, Даниил Ларионов, Steffen Egger, Александр Панченко
Читать источник
Связаться
Присоединяйтесь к AIRI в соцсетях
Вы можете задать нам вопрос или предложить совместный проект в области ИИ

Сообщение отправлено.

Спасибо!

Что-то пошло не так. Попробуйте снова