en
en
Источник
Nature
Дата публикации
13.03.2023
Авторы
Артем Шелманов Дмитрий Дылов Даниил Чесаков Александр Селиванов Олег Рогов Ирина Федулова
Поделиться

Medical image captioning via generative pretrained transformers

Аннотация

The proposed model for automatic clinical image caption generation combines the analysis of radiological scans with structured patient information from the textual records. It uses two language models, the Show-Attend-Tell and the GPT-3, to generate comprehensive and descriptive radiology records. The generated textual summary contains essential information about pathologies found, their location, along with the 2D heatmaps that localize each pathology on the scans. The model has been tested on two medical datasets, the Open-I, MIMIC-CXR, and the general-purpose MS-COCO, and the results measured with natural language assessment metrics demonstrated its efficient applicability to chest X-ray image captioning.

Читать в источнике

Похожие публикации

EMNLP
LM-Polygraph: Uncertainty Estimation for Language Models
Ekaterina Fadeeva, Roman Vashurin, Аким Цвигун, Артем Важенцев, Sergey Petrakov, Кирилл Федянин, Daniil Vasilev, Елизавета Гончарова, Александр Панченко, Максим Панов, Timothy Baldwin, Артем Шелманов
Читать источник
AACL-IJCNLP
Uncertainty Estimation for Debiased Models: Does Fairness Hurt Reliability?
Глеб Кузмин, Артем Важенцев, Артем Шелманов, Xudong Han, Simon Šuster, Максим Панов, Александр Панченко, Timothy Baldwin
Читать источник
Language Resources and Evaluation
Text augmentation for semantic frame induction and parsing
Saba Anwar, Артем Шелманов, Nikolay Arefyev, Александр Панченко, Chris Biemann
Читать источник
Language Resources and Evaluation
NEREL: a Russian information extraction dataset with rich annotation for nested entities, relations, and wikidata entity links
Natalia Loukachevitch, Екатерина Артемова, Tatiana Batura, Pavel Braslavski, Владимир Иванов, Suresh Manandhar, Alexander Pugachev, Igor Rozhkov, Артем Шелманов, Елена Тутубалина, Alexey Yandutov
Читать источник
ACL
Efficient Out-of-Domain Detection for Sequence to Sequence Models
Артем Важенцев, Аким Цвигун, Roman Vashurin, Sergey Petrakov, Daniil Vasilev, Максим Панов, Александр Панченко, Артем Шелманов
Читать источник
ACL
Hybrid Uncertainty Estimation for Selective Text Classification in Ambiguous Tasks
Артем Важенцев, Аким Цвигун, Глеб Кузмин, Zeerak Talat, Александр Панченко, Максим Панов, Михаил Бурцев, Артем Шелманов
Читать источник
EMNLP
ALToolbox: A Set of Tools for Active Learning Annotation of Natural Language Texts
Аким Цвигун, Леонид Саночкин, Даниил Ларионов, Глеб Кузмин, Артем Важенцев, Иван Лазичный, Никита Хромов, Данил Киреев, Александр Рубашевский, Дмитрий Дылов, Игорь Галицкий, Артем Шелманов
Читать источник
Связаться
Присоединяйтесь к AIRI в соцсетях
Вы можете задать нам вопрос или предложить совместный проект в области ИИ

Сообщение отправлено.

Спасибо!

Что-то пошло не так. Попробуйте снова