Як працює ШІ в телевізорах і що він уміє?

Безліч сучасних телевізорів ― це вже і не зовсім телевізори. Коли на борту є процесор, оперативна пам'ять і невелике сховище стаціонарної пам'яті, це вже більше схоже на комп'ютер. Та з впровадженням ШІ більшість великих виробників подбали про те, щоб для поліпшення картинки в телевізорах використовувався окремий, спеціально для цього призначений процесор. LG використовує процесори серії Alpha, у Samsung стоять чипи Crystal і Quantum, у Sony — X, а у Phillips ― P5. Далі ми розберемося з перевагами й недоліками найпопулярніших чіпів, а поки повернемося до питання, що саме і як вони покращують.

Розвиток "біг дата" і машинного навчання відкрили перед виробниками нові можливості для автоматичного поліпшення зображення. Процесор навчили визначати, що саме відбувається на екрані, щоб збільшувати яскравість або контраст всього зображення, локально освітлювати чи затемнювати певні ділянки, підвищувати роздільну здатність і все в такому дусі. І це лише на самому базовому рівні. Приміром флагманський чипсет LG Alpha 9 вміє аналізувати умови навколишнього середовища, підлаштовуючи під нього яскравість і контрастність, а процесори Quantum від Samsung чудово себе проявляють в апскейлінгу, у тому числі і аж до 8K.

Докладніше про те, як саме ШІ покращує звук і картинку

Потужність флагманських процесорів на зразок LG α9 і Philips P5 дозволяє їм в режимі реального часу аналізувати та покращувати все зображення чи окремі його частини. Спочатку процесор визначає, що саме виводиться на екран у даний момент. Наприклад, пейзаж із заходом сонця над Токіо, автомобільні перегони, пара забіяк носорогів або сяючі біцепси Дуейна Джонсона. Алгоритми тренували, проганяючи через сотні тисяч зображень, щоб вони навчилися краще їх розпізнавати (тварини, спорт, пейзажі тощо), а після — обробляти зображення відповідно до цієї класифікації. Якщо загалом, то в цьому немає ніякої фантастики, схожі алгоритми розпізнавання ми не перший рік використовуємо в камерах смартфонів.

Власне після цього до роботи й залучаються алгоритми поліпшення, які вибирають оптимальні показники для шумозаглушення, підвищення деталізації, різкості, налаштування яскравості, гами і т.д. У кожного виробника ці «покращувачі» можуть по різному називатися й відрізнятися в деталях, але насправді все зводиться до кількох споріднених між собою процесів, які проходять у декілька етапів.

Важливо: як і ШІ у камерах смартфонів, алгоритми в телевізорах далеко не завжди роблять картинку кращою. З однієї сторони, вони все ще далекі від ідеалу. З іншої — уявлення про ідеальне зображення у різних людей можуть помітно відрізнятися.

Апскейлінг

За малозрозумілим терміном апскейлінг насправді ховається досить простий процес штучного масштабування зображення, необхідний для того, щоб, приміром, купивши телевізор з 4K ви могли нормально подивитися улюблений фільм або серіал в цьому ж таки 4K. Інакше, навіщо взагалі потрібен такий телевізор? Ідея апскейлінга не нова, ви могли зустріти її в деяких DVD-плеєрах від BBK, консолі Sony PlayStation 3, а також в численних шпигунських бойовиках, в яких герой дивиться на фотографію з камери спостереження з гігантськими пікселями, потім каже «комп'ютер, збільшити» і нам відразу ж стають видні риси обличчя лиходія на фото. Перші 4K-телевізори створювалися без ШІ-процесорів, а тому просто масштабували SD-ролики на всю площу матриці з допомогою простого збільшення пікселів.

Технологія апскейлінга в сучасних телевізорах дозволяє нейромережі не тільки розтягувати картинку, але й домалювати відсутні пікселі, згладжувати нерівності, прибрати зайвий шум і розмитість об'єктів, які перебувають у русі. Кінцевий результат в одних випадках виглядає практично ідеально, в інших — цілком терпимо. Залежить це як від конкретного телевізора й процесора, так і від самого зображення. Тому багато виробників оптимізують алгоритми масштабування під різні типи контенту (кіно, спорт, ігри), щоб отримати найкращий результат при перегляді того чи іншого контенту. Від себе додамо, що під час тестів консолей нового покоління ми порівнювали справжній 4K в Xbox Series X з апскейлом до 4K в молодшій Xbox S Series. І різниця була помітна тільки якщо підійти до телевізора ближче, ніж на метр. Порівнювали ми на панелі Samsung QE-55Q77TA, а грали в Gears 5 і Battlefield V.

Телевізори з Upscaling до 4K

Поліпшення яскравості та контрастності/різкості

Після того, як розібралися з 4K, виробники почали популяризувати HDR-контент з розширеним динамічним діапазоном. Дискусія перейшла від розміру пікселів до показників статистичної/пікової яскравості й контрастності. У підсумку в активі кожного пристойного процесора тепер є по декілька подібних алгоритмів, які кардинально відрізняються за своєю суттю та кінцевим результатом. Один телевізор просто підтягує яскравість і збільшує контрастність (і це такий собі покращувач), другий щось робить, але незрозуміло що, а третій ледве що не перетворює звичайний SDR-контент в HDR, покадрово чаклуючи над десятками налаштувань. Відповідно й ефективність таких алгоритмів залежить і від самого процесора, і від контенту, який потрібно поліпшити. В одних випадках різниця буде вражаючою, в інших — ледь помітною, а в третіх захочеться її швидше відключити.

Приміром, у флагманському процесорі Sony X1 Ultimate 8K використовується алгоритм керування підсвічуванням Backlight Master Drive з можливістю контролювати окремі світлодіодні модулі. Флагманський LG α9 вміє застосовувати до зображення алгоритм чотириступінчастого шумопоглинання Quad Step, який проводить коригування помилок, допущених на етапі кодування відео. А чип Quantum 4K від Samsung сцену за сценою аналізує кожну область на панелі телевізора, регулюючи рівень підсвічування в кожній зоні.

Телевізори з технологіями поліпшення яскравості, контрастності

Поліпшення кольору

Окей, картинка тепер у 4K, яскравість і контрастність цілком оптимальні, але все одно чогось не вистачає. Зачекайте, ми ще не добралися до покращувачів кольору. Це, мабуть, найцікавіший і водночас неоднозначний пункт. На, так би мовити, «соковитість» картинки впливає безліч пунктів, включаючи ту ж яскравість і контрастність, а у виробників немає єдиної позиції, адже в темі поліпшення кольору дуже багато маркетингу і мало конкретики, що і як поліпшується.

Приміром, у флагманських телевізорах Sony застосовується 14-розрядна градація відтінків навіть для 8-розрядних джерел, плюс є фіча Super Bit Mapping 4K HDR, яка дозволяє звести до мінімуму ефект сегментації відтінків, властивий звичайним телевізорам. Фактично алгоритми в режимі реального часу проводять оптимізацію по кожному кольору, завдяки чому забезпечується природне зображення з плавними переходами між півтонами. В телевізорах LG можна зустріти зв'язку із двох алгоритмів: Advanced Color Enhancer штучно посилює передачу кольору, а True Color Accuracy коригує її, щоб все виглядало натурально. А в телевізорах H-серії від Samsung використовується алгоритм Purcolor, який дробить пікселі на більш дрібні частини й зафарбовує їх у найбільш відповідний колір. На відміну від більшості колірних покращувачів, Purcolor працює не тільки з основними кольорами (червоний, зелений, синій), але і з додатковими (пурпурний, блакитний і жовтий).

Телевізори з технологіями поліпшення кольору

Посилення глибини чорного

LED-дисплеї минулого не вміли працювати з чорним кольором. Можна було викрутити повзунок рівня чорного в плюс, щоб підсвітити деталі в темних ділянках зображення, але тоді зображення здавалося неприроднім. Або навпаки — прибрати його в мінус, щоб чорний виглядав справді глибоким і чорним. Але у такому разі губилася читабельність інших елементів зображення, а темні сцени виглядали так, ніби їх знімали в колодязі.

З появою ШІ, QLED і OLED-панелей, виробники телевізорів серйозно взялися за чорний колір, розуміючи, наскільки він важливий для сприйняття всієї картинки. Але досягнути хороших результатів не так вже й просто, тому універсального рецепта поки не знайшлося. Найчастіше використовується локальне підсвічування, коли кожен світлодіод екрану підсвічується індивідуально, а непотрібні ділянки взагалі не підсвічуються, даючи змогу залишати чорний колір чорним.

Телевізори з технологіями поліпшення чорного кольору

Шумозаглушення

В деяких телевізорах процесори навчилися штучно знижувати рівень шумів. Наприклад, в Sony є гігантський архів з десятками тисяч еталонних записів, зібраних за роки роботи над виробництвом фільмів і телепередач. Саме по цих базах Sony будує свої нейромережі-покращувачі. Працює це так: процесор «бачить» зображення на екрані та звіряється з базою. Це пудель. Це машина. А це Кріштіану Роналду. Потім у два етапи відбувається очищення: штучний інтелект звіряється спочатку з однією базою даних, знижуючи рівень шумів, потім звертається до другої базі, щоб надати відредагованому зображенню необхідну чіткість.

Інтелектуальна обробка звуку

Алгоритми штучного інтелекту навчилися працювати не тільки з зображенням, але і зі звуком. Варіантів реалізації — безліч. Найбанальніша ― розкласти стерео-сигнал на віртуальні канали 5.1. Задачка складніше ― коригування звуку за жанром. ШІ по ряду показників може спробувати визначити жанр відеоконтенту (кіно, телебачення, музика), після чого оптимізувати звучання так, щоб воно посилювало враження від аудіоряду. Наприклад, зробити голос ведучого телепередачі чіткіше. Або ж додати «ваги» вибухам і спецефектам під час фінальної битви в умовних «Месниках».

І це тільки квіточки. Приміром, у панелях від Samsung (наприклад QE-65Q95TA) застосовується так звана функція об'єктно-орієнтованого звуку (OTS). ШІ аналізує рух об'єктів в кадрі й визначає, з якої ділянки екрану виходить звук, після чого за допомогою вбудованих динаміків та саундабара звучання фокусується в потрібній області екрану. Простіше кажучи, якщо з лівого верхнього кута дисплея в правий нижній кут пливе човен, то звук мотора буде «плисти» услід за ним, а не перебувати в статиці, як у звичайних телевізорах. Флагманські моделі LG як OLED65C9 за допомогою вбудованих в пульт мікрофонів аналізують акустичну сцену приміщення, у якому розміщений телевізор, після чого перерозподіляє звуковий потік для створення 360-градусного ефекту занурення.

Керування розумним будинком

Ну і не забуваємо про розумні функції на зразок рекомендацій контенту, автоматичного перемикання режимів роботи або керування «розумною» побутовою технікою за допомогою голосового помічника. Наприклад, можна запустити за допомогою телевізора робот-пилосос чи вимкнути розумну плиту на кухні. Таким чином телевізор стає новим головою в розумному будинку, замінивши в цій ролі не надто практичні смарт-колонки. Втім, керування смарт-лампочками, інтернет речей та розумні будинки ― це вже тема для окремої розмови.