Как Nvidia Shield TV увеличивает разрешение видео с помощью искусственного интеллекта
Относительно недавно Nvidia выпустила две новые телеприставки Shield — Shield TV и Shield TV Pro. Их технические характеристики не так уж интересны — от Shield TV 2017 года отличаются новинки не слишком сильно, хоть у первой модели корпус и стал более компактным. Но технические характеристики — это еще не все.
Но главное преимущество этих телеприставок заключается в продвинутых нейросетевых алгоритмах увеличения разрешения картинки до 4K. С помощью искусственного интеллекта Shield TV превращает FullHD-видео в 4K-видео, и весьма успешно — гораздо успешнее, чем это делают даже самые дорогие телевизоры Samsung, Sony и LG.
В этом материале мы расскажем о том, что, собственно, представляет собой масштабирование картинки с использованием искусственного интеллекта, а также порассуждаем о том, стоит ли им пользоваться.
Что такое ИИ-масштабирование?
Представьте себе ситуацию, в которой вы смотрите видео в разрешении FullHD (1920x1080 пикселей) на телевизоре с «родным» разрешением 4K UHD (3840x2160 пикселей). Экрану с примерно 8 млн точек приходится каким-то образом экстраполировать кадры, каждый из которых содержит около 2 млн точек.
Без применения какой-либо технологии масштабирования картинка будет занимать всего четверть площади дисплея и расположится в его центре — и сверху, и снизу, и по бокам будут находиться толстые черные рамки. Естественно, смотреть видео таким образом — не лучший вариант, и именно поэтому любой телевизор в такой сиуации будет стараться наилучшим образом отмасштабировать изображение, добавив недостающие ~6 млн пикселей.
Самый простой способ сделать это — «растянуть» сигнал. В этом случае каждый пиксель просто отображаться четыре раза, и выглядит итоговая картинка довольно плохо. Продвинутые алгоритмы масштабирования работают иначе.
Инженеры по всему миру уже много лет занимаются проблемой создания алгоритма, который бы мог максимально корректно «угадывать» содержимое тех самых недостающих пикселей. Сейчас даже дешевые телевизоры и телеприставки обеспечивают масштабирование приличного уровня, но подход Nvidia совсем иной.
Nvidia — одна из ведущих компаний на рынке ИИ-технологий, и именно этот опыт ее сотрудники решили использовать для решения проблемы масштабирования. Почти во всех случаях нейросетевое масштабирование будет куда эффективнее, чем традиционное.
Алгоритмы Nvidia не просто «угадывают» цвета и яркость тех пикселей, которых нет в сигнале источника — благодаря сотням и тысячам часов видео, на которых обучали искусственный интеллект, они их «знают». Сравнить это можно с технологией DLSS для игр, которая показывает просто невообразимые результаты.
Включение ИИ-масштабирования Nvidia Shield
Разбираться в куче разных опций для включения фирменного масштабирования Shield не придется — у телеприставки для этого есть специальный ярлык. Все, что нужно сделать — открыть меню настроек Android TV в правом верхнем углу домашнего экрана.
По умолчанию упомянутый выше ярлык располагается прямо в секции быстрых настроек этого меню. Здесь можно сразу перейти в соответствующий раздел.
Также до этого раздела можно добраться, если зайти в «Настройки устройства» и выбрать «Экран и звук» — соответствующий пункт находится именно там.
Nvidia даже позволяет включить специальный демонстрационный режим, в котором вы сможете прямо сравнить оригинальное видео с обычным масштабированием с тем же видео, обработанным ИИ-алгоритмами.
Также Shield TV позволяет выбирать интенсивность работы своих алгоритмов масштабирования — низкую или высокую. Этот выбор лучше сделать самому, но высокая интенсивность обычно дает лучший результат.
Стоит ли игра свеч?
Купить и Shield TV, и Shield TV Pro в Беларуси сложно — скорее всего, заказывать их придется в другой стране, существенно доплатив за доставку. Стоит ли это делать? Краткий ответ — очень даже! Если у вас есть качественный 4K-телевизор, на котором вы часто смотрите видео более низкого разрешения (например, с YouTube, старых DVD или локального сервера с фильмами и сериалами), игра действительно стоит свеч.
Стоит отметить и то, что алгоритмы Nvidia работают относительно аккуратно — другие алгоритмы масштабирования часто делают изображение слишком резким или «ломают» его контрастность. Искусственный интеллект Nvidia, натренированный на невероятных объемах видео, этого избегает.
Вот пара фотографий, на которых можно легко увидеть разницу между ИИ-масштабированием и обычным масштабированием телевизора Sony. Исходный сигнал на его 4K-панель шел в разрешении 1080p.
Здесь заметны более четкий текст и конструкция моста
Стоит обратить внимание на более различимый текст и более четкие линии других объектов
Сказать, что разница получается по-настоящему сногсшибательной, особенно в быстрых экшен-сценах, вряд ли можно, но разница эта действительно есть. Особенно хорошо алгоритмы Nvidia работают в медленных сценах со множеством мелких деталей и прямых линий вроде текста или листвы деревьев — в них Shield TV покажет себя лучше всего.
Еще стоит отметить немного более обозначенные цвета — после работы масштабирования Nvidia картинка просто в целом становится чуть более привлекательной, чем была до этого.
Естественно, идеально работает искусственный интеллект не всегда. Так, в старых фильмах он может слишком сильно сглаживать лица актеров, одновременно сильно завышая резкость объектов вокруг. Но такие ситуации достаточно редки, чтобы о них не беспокоиться, да и отключить ИИ-масштабирование в случае чего можно быстро и безболезненно.
Напоследок стоит рассказать о том, что работает эта функция Shield TV только с видео в разрешении 1080p или 720p и частотой 30 кадров в секунду. Таким образом, со многими YouTube-видео алгоритм работать не будет.
