Виждаме ви с всевиждащо око, списание Popular Mechanics
Неразрешим проблем
С този на пръв поглед неразрешим проблем представители на телевизионната компания NeoBroad се обърнаха към американската изследователска корпорация FICTUM (Factual Integrated Collection and Trends Unification Methods), специализирана в подобни задачи. Изследователският отдел на корпорацията (Department of Advanced Concepts, DAC) по това време се ръководи от легендарния канадец с френски корени - д-р Никола Пание, който дълго време е работил в недрата на американския военно-индустриален комплекс.
Технологията Omniscience работи като радар с фазирана решетка, само в оптичния диапазон. Всеки транзистор на матрицата може да работи както като елемент за управление на подсветката, така и като фоточувствителен сензор. Специален сигнал се смесва с управляващите сигнали, подавани към матричните транзистори. В резултат на това към изображението на екрана се добавя звуков сигнал, невидим за човешкото око (разработчиците го наричат звуково поле). Този динамичен сигнал, приложен към някои от транзисторите, модулира подсветката на екрана по определен начин, докато други транзистори улавят отразеното от предметите в помещението лъчение. Събраните данни се компресират и предават на централен сървър и там специален софтуер реконструира изображението от него. И в LCD, и в плазмените панели се получава в цвят (в LCD - поради използването на цветни филтри, вградени в екрана, в "плазма" - поради модулация на цветните пиксели). Вярно е, че цветовете на LCD панелите са частично изкривени: поради поляризация лъскавите предмети в стаята са боядисани във „фалшиви цветове“. Разделителната способност на такава система е милиметри.
От другата страна на екрана
„Известно е, че почти всеки говорител може да работи като микрофон“, спомня си Николас. - Затова си помислих: защо не можете да накарате екрана да работи като сензор на камерата? В края на краищата под слоя течни кристали вече има чувствителни към светлина полупроводникови елементи - транзистори, които управляват матрицата. Когато светлината ги удари отвън, получете отговор. " Именно в тази посока започна да работи групата на Пание - учените бяха ангажирани с регистрирането на промените в управляващия сигнал, подаван към транзисторите на активната матрица, в зависимост от разпределението на осветлението на екрана отвън.
Изследването отне шест месеца. След това групата на Пание е изправена пред друга почти неразрешима задача - трябваше да дешифрира получените данни. Телевизионният екран не е оборудван с никакви оптични системи, така че не може да става дума за някакво "изображение". Тук на Пание е помогнал предишният му опит: в крайна сметка фазираната антенна решетка (PAR) на радара също няма системи за фокусиране. Вземайки за основа алгоритмите за възстановяване на радарния сигнал, Пание вече е изградил до 2000 г. прототип на система, способна да „шпионира“ случващото се пред телевизионния екран. Освен това това не изискваше никаква хардуерна намеса в телевизионната верига - решението работеше на ниво "фърмуер" (фърмуер) STB-декодери (Set Top Box, декодер за кабелна телевизия) и телевизия, които могат да се актуализират дистанционно чрез мрежата по команда на оператора (данните за доставчика са получили телевизионния модел от STB за избор на подходящия фърмуер).