Компания Sony запатентовала систему на основе искусственного интеллекта, которая генерирует следующий кадр игры, пока графический процессор ещё занят его отрисовкой. Такой подход должен помочь сгладить просадки частоты кадров и сделать изображение стабильнее, не добавляя задержку, которая возникает у некоторых технологий генерации промежуточных кадров. Об этом сообщает «Runet.News».
В предложенной Sony системе ИИ использует последний готовый кадр и предсказывает, как будет выглядеть следующий, не дожидаясь его полной отрисовки.
Пока видеочип формирует новое изображение, нейросеть отправляет свою версию кадра в буфер вывода. В основе системы лежит совместно обученная пара моделей — кодировщик и декодировщик. Первая преобразует готовый кадр в компактное числовое представление, а вторая на его основе восстанавливает предсказанное изображение. Для повышения точности система может учитывать векторы движения, описывающие перемещение объектов между кадрами, и последние действия игрока с контроллера.
Для обучения нейросеть получает последовательности видеокадров: по одному изображению пытается предсказать следующее, а затем сравнивает результат с реальным кадром и вычисляет ошибку. Патент предусматривает проверку этой ошибки относительно заданного порога. В документе также описан вариант, при котором декодировщик выдаёт больше цветовых каналов, чем получает кодировщик, что позволяет формировать несколько предсказанных кадров за один раз.
Sony рассматривает и альтернативу без нейросети: такой алгоритм перемещал бы блоки пикселей в соответствии с их движением, создавая синтетические кадры на основе перемещения элементов изображения. В патенте заявлена возможность поддерживать стабильную частоту вывода кадров без снижения качества картинки, однако это пока лишь описание предполагаемых преимуществ.