Нейронне поле випромінювання (, NeRF) — різновид нейронного поля та метод неявного подання тривимірної сцени, призначений передусім для синтезу її зображень із нових точок огляду за набором двовимірних зображень. У класичному NeRF сцена задається неперервною функцією, апроксимованою багатошаровим перцептроном: для просторової координати та напрямку спостереження мережа повертає об'ємну густину й залежний від напрямку колір, що моделює випромінювану енергетичну яскравість. Зображення формують за допомогою об'ємного рендерингу вздовж променів камери.
Метод представили Бен Мілденголл та співавтори 2020 року на конференції ECCV. Початковий NeRF оптимізував окреме нейронне представлення для кожної сцени за набором зображень із відомими параметрами камер; подальші варіанти методу були спрямовані, зокрема, на прискорення навчання й рендерингу, роботу з неточними положеннями камер, великими та динамічними сценами.
Алгоритм
Збирання даних На першому етапі збирають зображення сцени з різних ракурсів і визначають відповідні положення камер. Це стандартні двовимірні зображення, які можна отримувати фотоапаратом або телефоном; спеціалізована камера не є необхідною. Параметри знімання та спосіб отримання зображень мають відповідати вимогам структури із руху (SfM). Для реальних даних параметри камер можна оцінити за допомогою пакета COLMAP, що реалізує структуру із руху. Для оцінювання NeRF і споріднених методів дослідники також часто використовують синтетичні дані. У такому разі зображення, отримані традиційними методами рендерингу без навчання, та відповідні положення камер є відтворюваними й не мають похибок, пов’язаних з оцінюванням камери.
Навчання Для кожної наданої точки огляду (зображення та положення камери) промені камери послідовно проходять крізь сцену, утворюючи набір тривимірних точок із заданим напрямком спостереження, спрямованим до камери. Для цих точок мережа прогнозує об'ємну густину та залежну від напрямку випромінювану енергетичну яскравість за допомогою багатошарового перцептрона (MLP). Потім класичний об'ємний рендеринг формує зображення. Оскільки цей процес є повністю диференційовним, похибку між прогнозованим і початковим зображеннями можна мінімізувати за допомогою градієнтного спуску на багатьох точках огляду. Це спонукає MLP сформувати узгоджену модель сцени.
Примітки