Sony раскрыла технические детали PSSR 2.0 для PS5 Pro. Во втором поколении апскейлера компания отказалась от п

Sony раскрыла технические детали PSSR 2.0 для PS5 Pro. Во втором поколении апскейлера компания отказалась от подхода, где нейросеть фактически рассчитывала итоговый цвет каждого пикселя, и перешла на гибридную архитектуру.

Теперь нейросеть в основном отвечает за распознавание изображения, определение геометрических границ и фильтрацию шума, а смешивание HDR-цветов и финальная реконструкция выполняются традиционными вычислительными блоками GPU.

Большая часть нейросетевых операций работает с разрешением 540p и ниже. Также Sony заменила прежний выходной фильтр 3×3 на эллиптическую фильтрацию на основе распределения Гаусса.

Благодаря изменениям архитектуры и оптимизации квантизации время обучения модели сократилось примерно с четырёх месяцев до одной недели. Sony также заявляет о снижении задержки рендеринга и расхода видеопамяти по сравнению с первой версией PSSR.

При этом, вопреки слухам, PSSR 2.0 не использует трансформеры — система по-прежнему основана на специализированных свёрточных алгоритмах.

Понятно? Что нихуя не понятно 😁