en
en
Источник
Nature
Дата публикации
13.03.2023
Авторы
Александр Селиванов Олег Рогов Даниил Чесаков Артем Шелманов Ирина Федулова Дмитрий Дылов
Поделиться

Medical image captioning via generative pretrained transformers

Аннотация

The proposed model for automatic clinical image caption generation combines the analysis of radiological scans with structured patient information from the textual records. It uses two language models, the Show-Attend-Tell and the GPT-3, to generate comprehensive and descriptive radiology records. The generated textual summary contains essential information about pathologies found, their location, along with the 2D heatmaps that localize each pathology on the scans. The model has been tested on two medical datasets, the Open-I, MIMIC-CXR, and the general-purpose MS-COCO, and the results measured with natural language assessment metrics demonstrated its efficient applicability to chest X-ray image captioning.

Читать в источнике

Похожие публикации

NeurIPS
ENOT: Expectile Regularization for Fast and Accurate Training of Neural Optimal Transport.
Назар Бузун , Максим Бобрин, Дмитрий Дылов
Читать источник
IEEE Access
QUASAR: QUality and Aesthetics Scoring with Advanced Representations
Сергей Кастрюлин, Денис Прокопенко, Артём Бабенко, Дмитрий Дылов
Читать источник
Interspeech / ASVspoof
AASIST3: KAN-Enhanced AASIST Speech Deepfake Detection using SSL Features and Additional Regularization for the ASVspoof 2024 Challenge
Кирилл Бородин, Василий Кудрявцев, Дмитрий Корж, Алексей Ефименко, Грач Мкртчан, Михаил Ермаков, Михаил Городничев, Олег Рогов
Читать источник
MICCAI
Centerline-Diameters Data Structure for Interactive Segmentation of Tube-Shaped Objects
Ильяс Сиразетдинов, Дмитрий Дылов
Читать источник
ACL
Fact-Checking the Output of Large Language Models via Token-Level Uncertainty Quantification
Екатерина Фадеева, Александр Рубашевский, Артем Шелманов, Сергей Петраков, Haonan Li, Hamdy Mubarak, Евгений Цымбалов, Глеб Кузмин, Александр Панченко, Timothy Baldwin, Preslav Nakov, Максим Панов
Читать источник
IJCAI
Probabilistically Robust Watermarking of Neural Networks
Михаил Паутов, Никита Богданов, Станислав Пяткин, Олег Рогов, Иван Оселедец
Читать источник
Aging Cell
Epistemic uncertainty challenges aging clock reliability in predicting rejuvenation effects
Дмитрий Крюков, Екатерина Кузьмина, Евгений Ефимов, Дмитрий Дылов, Екатерина Храмеева
Читать источник
Связаться
Присоединяйтесь к AIRI в соцсетях
Вы можете задать нам вопрос или предложить совместный проект в области ИИ

Сообщение отправлено.

Спасибо!

Что-то пошло не так. Попробуйте снова