Jak AI działa w telewizorach i co może zrobić?

Wiele nowoczesnych telewizorów to już nie całkiem telewizory. Kiedy masz procesor, pamięć RAM i trochę pamięci na pokładzie, to bardziej przypomina komputer. Jednak wraz z wprowadzeniem sztucznej inteligencji większość głównych producentów upewniła się, że do poprawy obrazu na telewizorze używany jest osobny dedykowany procesor. LG używa procesorów z serii Alpha, Samsung ma chipy Crystal i Quantum, Sony X i Phillips P5. Następnie zajmiemy się zaletami i wadami najpopularniejszych żetonów, ale na razie wrócimy do pytania, co dokładnie i jak się poprawiają.


Rozwój big data i uczenia maszynowego otworzył przed producentami nowe możliwości automatycznej poprawy wizerunku. Procesor jest w stanie określić, co dokładnie dzieje się na ekranie, a następnie zwiększyć jasność lub kontrast całego obrazu, lokalnie podświetlić lub przyciemnić określone obszary obrazu, zwiększyć rozdzielczość i takie tam. I to tylko na najbardziej podstawowym poziomie. Na przykład flagowy chipset LG Alpha 9 potrafi analizować warunki otoczenia, dostosowując do niego jasność i kontrast, a procesory Quantum firmy Samsung są bardzo dobre w skalowaniu do 8K.

Dowiedz się więcej o tym, jak sztuczna inteligencja poprawia dźwięk i obraz


Moc flagowych procesorów, takich jak LG α9 i Philips P5, pozwala im analizować i poprawiać cały obraz lub niektóre jego poszczególne części w czasie rzeczywistym. Najpierw procesor określa, co jest aktualnie wyświetlane na ekranie. Na przykład krajobraz z zachodem słońca nad Tokio, samochody wyścigowe pędzące do mety, para walczących nosorożców lub lśniący biceps Dwayne'a Johnsona. Algorytmy zostały przeszkolone poprzez przejrzenie setek tysięcy obrazów, aby mogły lepiej zrozumieć, na co patrzą (zwierzęta, sport, krajobrazy itp.), a następnie przetworzyć obraz zgodnie z tą klasyfikacją. Generalnie nie ma w tym fantazji, od kilku lat stosujemy podobne algorytmy rozpoznawania w aparatach smartfonów.

Właściwie potem w grę wchodzą algorytmy strojenia, które dobierają optymalne wskaźniki redukcji szumów, uwydatniania szczegółów, wyostrzania, regulacji jasności, gamma itp. Każdy producent może mieć inne nazwy dla tych „ulepszaczy” i różnić się szczegółami, ale dalej w rzeczywistości wszystko sprowadza się do kilku podobnych procesów, które odbywają się w kilku etapach.

Ważne: podobnie jak sztuczna inteligencja w aparatach smartfonów, algorytmy w telewizorach nie zawsze poprawiają obraz. Po pierwsze dlatego, że wciąż daleko im do ideału. Po drugie dlatego, że wyobrażenia wielu osób na temat idealnego obrazu mogą się znacznie różnić.

Skalowanie


Za niejasnym terminem skalowanie w górę kryje się w rzeczywistości dość prosty proces sztucznego skalowania obrazu. Dzięki temu kupując telewizor z 4K, możesz normalnie oglądać swój ulubiony film lub serial w tym właśnie 4K. W przeciwnym razie, po co w ogóle taki telewizor? Pomysł na upscaling nie jest nowy, być może widzieliście go w niektórych odtwarzaczach DVD BBK, konsoli Sony PlayStation 3 i licznych szpiegowskich filmach akcji, w których bohater patrzy na zdjęcie z kamery monitorującej z gigantycznymi pikselami, po czym mówi „ komputer, powiększ” i od razu widoczne stają się rysy twarzy złoczyńcy na zdjęciu. Pierwsze telewizory 4K powstały bez procesorów AI i pod tym względem też nie błyszczały, po prostu skalując filmy SD na cały obszar matrycy za pomocą prostego zwiększenia pikseli.

Technologia upscalingu w nowoczesnych telewizorach pozwala sieci neuronowej nie tylko rozciągnąć obraz, ale także dokończyć brakujące piksele, wygładzić nierówności, usunąć nadmiar szumów i rozmycie obiektów, które są w ruchu. Efekt końcowy w niektórych przypadkach wygląda niemal idealnie, w innych jest znośny. Zależy to zarówno od konkretnego telewizora i procesora, jak i od rodzaju treści. Dlatego wielu producentów optymalizuje algorytmy skalowania dla różnych rodzajów treści (kino, sport, gry), aby uzyskać jak najlepszy wynik przy oglądania określonej treści. Sami dodamy, że przy testów konsol nextgen porównywaliśmy natywną rozdzielczość 4K w Xbox Series X z upscalingiem do 4K w młodszym Xbox Series S. A różnica była widoczna tylko wtedy, gdy podeszło się bliżej telewizora niż metr. Porównaliśmy na panelu Samsung QE-55Q77TA i graliśmy w Gears 5 i Battlefield V.

Upscaling telewizorów do 4K

Popraw jasność i kontrast/ostrość


Po uporządkowaniu 4K producenci telewizorów zaczęli popularyzować treści HDR o wysokim zakresie dynamiki. Dyskusja przeniosła się z rozmiaru piksela na statystyczną/szczytową jasność i współczynniki kontrastu. W rezultacie każdy mniej lub bardziej inteligentny procesor ma teraz kilka podobnych algorytmów, które są radykalnie różne w swojej istocie i efekcie końcowym. Jeden telewizor po prostu podkręca jasność i zwiększa kontrast (i to taki sobie poprawka), drugi coś robi, ale nie wiadomo co, a trzeci prawie zamienia zwykłe treści SDR w HDR, wyczarowując klatka po... oprawić kilkanaście ustawień. W związku z tym skuteczność takich algorytmów zależy zarówno od samego procesora, jak i treści, które należy poprawić. W niektórych przypadkach różnica będzie dramatyczna, w innych ledwo zauważalna, w innych będziesz chciał jak najszybciej ją wyłączyć.

Przykładowo, flagowy procesor Sony X1 Ultimate 8K wykorzystuje zaawansowany algorytm sterowania podświetleniem Backlight Master Drive z możliwością sterowania poszczególnymi modułami LED. Flagowy LG α9 może zastosować do obrazu algorytm redukcji szumów Quad Step, który koryguje błędy popełnione na etapie kodowania wideo. A chip Quantum 4K firmy Samsung analizuje każdy obszar sceny panelu telewizora po scenie, dostosowując poziom podświetlenia w każdym obszarze.

Telewizory z technologią zwiększania jasności i kontrastu

Wzmocnienie koloru


Dobra, obraz jest teraz w 4K, jasność i kontrast są optymalne, ale czegoś również brakuje. Czekaj, również nie dotarliśmy do wzmacniaczy koloru. To chyba najciekawszy, a zarazem niejednoznaczny punkt. Że tak powiem, na „soczystość” obrazu wpływa wiele punktów, w tym ta sama jasność i kontrast, a producenci nie mają jednolitego zdania w tych kwestiach, więc jest dużo marketingu w temacie poprawy kolorów i mało szczegółów na temat tego, co i jak to poprawia.

Na przykład flagowe telewizory Sony wykorzystują 14-bitową gradację nawet w przypadku źródeł 8-bitowych, a także funkcję Super Bit Mapping 4K HDR, która minimalizuje efekty segmentacji odcieni typowe dla konwencjonalnych telewizorów. W rzeczywistości algorytmy przeprowadzają optymalizację w czasie rzeczywistym dla każdego koloru, co skutkuje naturalnym obrazem z płynnymi przejściami między półtonami. W telewizorach LG można znaleźć kilka dwóch algorytmów: Advanced Color Enhancer sztucznie poprawia odwzorowanie kolorów, a True Color Accuracy koryguje je, aby wszystko wyglądało naturalnie. Telewizory Samsunga z serii H wykorzystują algorytm Purcolor, który dzieli piksele na mniejsze części i maluje je w najbardziej odpowiednim kolorze. W przeciwieństwie do większości wzmacniaczy kolorów, Purcolor działa nie tylko z kolorami podstawowymi (czerwony, zielony, niebieski), ale także z kolorami wtórnymi (magenta, cyjan i żółty).

Telewizory poprawiające kolory

Wzmocnienie głębi czerni


Wyświetlacze LED z przeszłości nie radziły sobie zbyt dobrze z czernią. Możliwe było podniesienie suwaka poziomu czerni, aby rozjaśnić szczegóły w ciemnych obszarach obrazu, ale wtedy obraz wydawał się nienaturalnie prześwietlony. Lub odwrotnie, usuń go na minus, aby czarny kolor wyglądał naprawdę głęboko i czarno. W tym przypadku utracono czytelność innych elementów obrazu, a ciemne sceny wyglądały, jakby zostały sfilmowane w studni.

Wraz z pojawieniem się paneli AI, QLED i OLED, a także licznych ulepszaczy, producenci telewizorów poważnie potraktowali czerń, zdając sobie sprawę, jak ważne jest postrzeganie całego obrazu. Nie jest to takie łatwe do osiągnięcia, więc nie było również uniwersalnego przepisu. Najczęściej stosuje się podświetlenie lokalne, gdy każda dioda LED na ekranie jest podświetlana indywidualnie, a niepotrzebne obszary w ogóle nie są podświetlane, co pozwala na pozostawienie czerni jako czarnej.

Telewizory z czarnymi technologiami ulepszania

Wyciszenie dźwięku


W niektórych telewizorach procesory nauczyły się sztucznie zmniejszać poziom hałasu. Na przykład archiwum Sony ma gigantyczne archiwum dziesiątek tysięcy nagrań referencyjnych zebranych przez lata produkcji filmowej i telewizyjnej. To na tych podstawach Sony buduje swoje usprawnienia sieci neuronowych. Działa to tak: procesor „widzi” obraz na ekranie i sprawdza z bazą danych. To jest pudel. To jest samochód. A to jest Cristiano Ronaldo. Następnie czyszczenie odbywa się w dwóch etapach: sztuczna inteligencja najpierw sprawdza z jedną bazą danych, zmniejszając poziom szumów, a następnie zwraca się do drugiej bazy danych, aby nadać edytowanemu obrazowi niezbędną przejrzystość.

Inteligentne przetwarzanie dźwięku


Algorytmy sztucznej inteligencji nauczyły się pracować nie tylko z obrazem, ale także z dźwiękiem. Opcje realizacji - ciemność jest ciemna. Najbardziej banalne jest rozłożenie sygnału stereo na wirtualne kanały 5.1. Zadanie jest trudniejsze - dostosowanie dźwięku według gatunku. W oparciu o szereg wskaźników sztuczna inteligencja może próbować określić gatunek treści wideo (film, program telewizyjny, muzyka), a następnie zoptymalizować dźwięk, aby wzmocnić wrażenie sekwencji audio. Na przykład spraw, aby głos prezentera telewizyjnego był głośniejszy i wyraźniejszy. Dodaj „wagę” do eksplozji i efektów specjalnych przy ostatecznej bitwy w warunkowych „Avengers”.

A to tylko kwiaty. Na przykład panele firmy Samsung (np . QE-65Q95TA) wykorzystują tzw. funkcję dźwięku zorientowanego obiektowo (OTS). AI analizuje ruch obiektów w kadrze i określa, z której części ekranu dochodzi dźwięk, po czym za pomocą wbudowanych głośników i soundbara dźwięk skupia się na żądanym obszarze ekranu. Mówiąc najprościej, jeśli łódź unosi się od lewego górnego rogu wyświetlacza do prawego dolnego rogu, dźwięk silnika będzie jakby „unosił się” za nim i nie będzie statyczny, jak w konwencjonalnych telewizorach. Flagowe modele LG, takie jak OLED65C9, wykorzystują mikrofony wbudowane w pilota do analizy sceny akustycznej pomieszczenia, w którym znajduje się telewizor, a następnie redystrybuują strumień dźwięku, aby uzyskać wciągający efekt 360 stopni.

Inteligentne sterowanie domem


No cóż, nie zapomnij o inteligentnych funkcjach, takich jak rekomendacje treści, automatyczne przełączanie trybów pracy czy sterowanie „inteligentnymi” urządzeniami gospodarstwa domowego za pomocą asystenta głosowego. Na przykład uruchom odkurzacz robota za pomocą telewizora lub wyłącz inteligentny piec w kuchni. Tym samym telewizor staje się nowym rozdziałem w inteligentnym domu, zastępując mało praktyczne inteligentne głośniki w tej roli. Jednak zarządzanie inteligentnymi żarówkami, internetem rzeczy i inteligentnymi domami to temat na osobną dyskusję.