Марат Хамадеев
Представление в виде сфер улучшило 3D-реконструкцию с помощью нейронных сетей
Трёхмерная реконструкция объектов играет важную роль в самых различных областях, начиная от медицины и архитектуры и заканчивая археологией и индустрией развлечений. Так называют процесс оцифровки формы и внешнего вида разнообразных объектов. В большинстве случаев важно сохранять объект оцифровки нетронутым, поэтому инженеры и ученые активно развивают методы дистанционной (или пассивной) реконструкции, которые основаны на анализе изображений, снятых камерами.
Классическим подходом для решения этой проблемы является 3D-реконструкция на основе множества изображений, сделанных с разных ракурсов (multi-view stereo, MVS), методы которой восстанавливают базовую геометрию сцены в виде облака точек, исходя из фотометрической согласованности. Несмотря на свою популярность, такая реконструкция сталкивается с трудностями, если поверхности тел существенно отражают свет или лишены текстуры.
Появившиеся в последние годы подходы, в которых сцена представляется с помощью неявных нейронных поверхностей, менее подвержены данным проблемам. Помимо прочего, они позволяют восстанавливать связную поверхность в явном виде, а также получать рендеры впечатляющего качества.
На развитие таких методов были направлены усилия ученых их Сколтеха во главе с Евгением Бурнаевым, который также руководит группой «Обучаемый интеллект» в AIRI. Исследователей интересовала возможность улучшения эффективности реконструкции с помощью неявных нейронных поверхностей.
На данный момент лидирующие методы используют нейронные поля расстояний со знаком (signed distance fields, SDF), обученные с помощью дифференцируемого объемного рендеринга с обходом лучей (volumetric ray marching). Традиционный обход лучей включает в себя испускание лучей из точки наблюдения в сторону сцены с последующим суммированием (alpha compositing) предсказанных значений цвета с учетом плотности в точках. Алгоритм рендеринга предполагает равномерный выбор точек вдоль луча.
Авторы предложили улучшить этот подход, добавив в схему дополнительное дискретное представление сцены, основанное на множестве сфер. Новый алгоритм замещает равномерный выбор точек вдоль луча на выбор точек внутри пересечения луча со сферами. Чтобы этот прием сработал, ученым понадобилось предложить метод совместной оптимизации координат сфер и поверхности. Кроме того, они ввели дополнительную схему реинициализации сфер, чтобы избегать застреваний в локальных минимумах, а также механизм отталкивания между сферами, обеспечивающих широкое покрытие сферами реконструируемых объектов.
Традиционная выборка точек вдоль луча и выборка с помощью сфер. Внизу показан график функции расстояний со знаком
Для того чтобы оценить, насколько оправдан такой подход, авторы исследования провели серию экспериментов с тремя популярными бенчмарками для 3D-реконструкции синтетических и реальных объектов: DTU MVS, Blended-MVS и Realistic Synthetic 360. Они смотрели, как меняется эффективность этой процедуры для четырех известных на сегодня методов: UNISURF, VolSDF, NeuS и NeuralWarp — внедряя в них обучение на основе сфер.
Качественное сравнение реконструкции для нескольких методов в бенчмарке Realistic Synthetic 360.
Эксперимент показал, что добавление представления основанного на сферах позволяет эффективно исключить пустой объем сцены из обхода луча без дополнительных вычислений нейронной сети, что в конечном итоге повышает точность процедуры по сравнению с базовыми методами. Авторы отмечают, что, несмотря на увеличение производительности, выбранный подход в ряде случаев может привносить в реконструкцию артефакты, либо, наоборот, упустить лучи, которые не пересекают облако сфер в определенном объеме.
С деталями исследования можно ознакомиться в статье, принятой на конференцию CVPR 2023.
