NVIDIA похвасталась новыми методами DLSS в Control и перспективами технологии

NVIDIA DLSS — технология полноэкранного сглаживания на основе машинного обучения с использованием тензорных ядер видеокарт GeForce RTX — со временем значительно улучшилась. Первоначально при использовании DLSS частенько наблюдалось заметное размытие изображения. Однако в новом фантастическом боевике Control от Remedy Entertainment, безусловно, можно увидеть лучшую на сегодня реализацию DLSS. Недавно NVIDIA подробно рассказала, как создавался алгоритм DLSS для Control.

В ходе исследования специалисты компании обнаружили, что определенные временные артефакты, которые ранее квалифицировались как ошибки, могут эффективно использоваться для добавления деталей в изображение. Выяснив это, NVIDIA стала работать над новой исследовательской моделью ИИ, которая использовала такие артефакты для воссоздания деталей, ранее выпадавших из конечной картинки. С помощью новой модели нейросеть стала добиваться огромных успехов и выдавать очень высокое качество изображения. Тем не менее, специалистам пришлось потрудиться над тем, чтобы оптимизировать производительность модели перед добавлением её в игру. Конечный алгоритм обработки изображений позволил добиться повышения частоты кадров на значение до 75 % в тяжёлых режимах.

В общем случае DLSS работает по следующему принципу: игра визуализируется в нескольких разрешениях, а затем на основе таких пар изображений нейросеть тренируется в трансформации изображения в низком разрешении до более высокого. Под каждую игру и под каждое разрешение необходимо долго тренировать собственную модель, поэтому обычно DLSS доступна лишь в самых тяжёлых режимах (например, с эффектами трассировки лучей), обеспечивая в них приемлемую производительность.

NVIDIA отметила, что даже новая улучшенная версия DLSS ещё оставляет простор для улучшений и оптимизаций. Например, при использовании DLSS для разрешения 720p в Control пламя выглядит заметно хуже, чем в 1080p. Подобные же артефакты наблюдаются на некоторых видах движения в кадре.

Поэтому специалисты собираются продолжать совершенствовать модель машинного обучения, дабы добиться ещё более впечатляющих результатов. И даже показали раннюю версию своей следующей перспективной модели DLSS на примере сцены лесного пожара в Unreal Engine 4. Новая модель позволяет восстановить мелкие детали вроде углей и искр, хотя ещё требует оптимизации с точки зрения скорости прорисовки кадров. Когда эта работа будет закончена, владельцы видеокарт на базе архитектуры Turing получат новые драйверы с ещё более качественными и эффективными режимами DLSS.