en
en
Источник
AISTATS
Дата публикации
27.05.2022
Авторы
Татьяна Шаврина Алена Феногенова Александр Панченко Дарина Дементьева Варвара Логачева Ирина Никишина Ирина Кротова
Поделиться

A Study on Manual and Automatic Evaluation for Text Style Transfer: The Case of Detoxification

Аннотация

It is often difficult to reliably evaluate models which generate text. Among them, text style transfer is a particularly difficult to evaluate, because its success depends on a number of parameters.We conduct an evaluation of a large number of models on a detoxification task. We explore the relations between the manual and automatic metrics and find that there is only weak correlation between them, which is dependent on the type of model which generated text. Automatic metrics tend to be less reliable for better-performing models. However, our findings suggest that, ChrF and BertScore metrics can be used as a proxy for human evaluation of text detoxification to some extent.

Читать в источнике

Похожие публикации

ACL
A System for Answering Simple Questions in Multiple Languages
Антон Разжигаев, Михаил Сальников, Валентин Малых, Павел Браславский, Александр Панченко
Читать источник
EMNLP
xCOMET-lite: Bridging the Gap Between Efficiency and Quality in Learned MT Evaluation Metrics
Даниил Ларионов, Михаил Селезнёв, Василий Висков, Александр Панченко, Steffen Eger
Читать источник
EMNLP
SparseGrad: A Selective Method for Efficient Fine-tuning of MLP Layers
Виктория Чекалина, Анна Руденко, Глеб Мезенцев, Александр Михалев, Александр Панченко, Иван Оселедец
Читать источник
EMNLP
LLMs to Replace Crowdsourcing For Parallel Data Creation: The Case of Text Detoxification
Даниил Московский, Сергей Плетенёв, Александр Панченко
Читать источник
ACL
Fact-Checking the Output of Large Language Models via Token-Level Uncertainty Quantification
Екатерина Фадеева, Александр Рубашевский, Артем Шелманов, Сергей Петраков, Haonan Li, Hamdy Mubarak, Евгений Цымбалов, Глеб Кузмин, Александр Панченко, Timothy Baldwin, Preslav Nakov, Максим Панов
Читать источник
ACL
Industry vs Academia: Running a Course on Transformers in Two Setups
Ирина Никишина, Мария Тихонова, Виктория Чекалина, Алексей Зайцев, Артем Важенцев, Александр Панченко
Читать источник
ACL
MERA: A Comprehensive LLM Evaluation in Russian
Алена Феногенова, Артём Червяков, Никита Мартынов, Анастасия Козлова, Мария Тихонова, Альбина Ахметгареева, Антон Емельянов, Денис Шевелев, Павел Лебедев, Леонид Синев, Катерина Коломейцева, Даниил Московский, Елизавета Гончарова, Никита Савушкин, Полина Михайлова, Анастасия Минаева, Денис Димитров, Александр Панченко, Сергей Марков
Читать источник
Связаться
Присоединяйтесь к AIRI в соцсетях
Вы можете задать нам вопрос или предложить совместный проект в области ИИ

Сообщение отправлено.

Спасибо!

Что-то пошло не так. Попробуйте снова