Проследяване на функциите на лицето с помощта на комбинация от модели за разпределение на точки; EWST Превод

Настоящата технология е защитена от патентоването и пускането на пазара на маркировката „Система и метод за проследяване на чертите на лицето“, Atul Kanaujia и Dimitris Metaxas, Rutgers Docket 07-015, временен патент №. 60/874 451, подадени на 12 декември 2006 г. Никоя част от тази технология не може да бъде възпроизвеждана или показвана под каквато и да е форма без предварителното писмено разрешение на авторите.

Откриване на функции на лицето

Нашата обща рамка позволява широкомащабно автоматично формиране на различни форми от няколко гледни точки. Моделът може да се справи с по-голяма променливост и може да се използва за научаване на непрекъснати нелинейни едра шарка.

В миналото бяха положени няколко усилия за представяне на нелинейни вариации на формата с помощта на ядрото PCA и многослойния персептрон. Резултатите от нелинейните подходи зависят до голяма степен от това дали всички вариации във формата са били адекватно представени в данните за обучението. Прекъсванията в пространството на формите могат да накарат тези модели да генерират неправдоподобни форми. Методите на ядрото страдат от голям недостатък, за да научат функцията за предварително изображение, за да картографират формата в характерното пространство с оригиналното пространство. Предлагаме използването на множество припокриващи се подпространства, за да заснемем по-големи вариации на формата, които се появяват в набора от данни поради пълното движение на главата. Нашата цел е да проследяваме точно чертите на лицето при големи завъртания на главата. Приносът на нашата статия е: (1) Подобряване на специфичността на ASM за справяне с големи вариации на формата чрез изучаване на нелинейни разновидности на формата. (2) Рамка в реално време за проследяване на фигури и (3) Изучаване на нелинейности за точно прогнозиране на възможни 3D ъгли в 2D форми.

Резултатите от фиксирането на фигурата върху пълен профил показват инициализирани със средната челна форма. Базираният на клъстери подход позволява да се идентифицират запушени референтни точки по време на търсенето и се игнорира, като същевременно се оптимизира вероятността за отделни ориентири. Това евристично търсене осигурява много точно подравняване на лицето за напълно профилираното лице.

SIFT Дескриптор за моделиране на външен вид

Използвахме подобрено моделиране на оформлението, използвайки дескриптор SIFT (ляв) градиент, който съответства на цената на ориентир в прозорец с размер 19 × 19. Наблюдавайте множествените минимуми
което причинява лошо подравняване на формите. (Вдясно) SIFT дескриптор за съвпадение на разходите за същия бенчмарк

(Отгоре) Местоположение на чертите на лицето с помощта на ASM с градиентни профили. (Отдолу) Локализация с използване на локални дескриптори като SIFT функции. Наблюдавайте точното местоположение на очните характеристики поради дескрипторите SIFT

Проследяване на форми

Изпълнението на ASM на всеки кадър е изчислително скъпо и причинява силни точки на заглушаване. Проследяваме характеристиките с помощта на тракера за разлика в интензивността на изкопа (SSID) в последователни кадри. SSID проследяването е метод за записване на две изображения и изчислява изместването на характеристиката, като минимизира разходите за съвпадение на интензивността, изчислена върху прозорец с фиксиран размер около характеристиката. При малко междукадрово движение може да се приеме точно модел на линеен превод. За интензивна повърхност в местоположението на изображението Аз ( x i, и аз, t k ), тракерът оценява вектора на изместване д = (δ x i, Δ и аз ) от новото изображение Аз ( x i + δ х, и аз+ δ у, t k + 1 ) чрез минимизиране на остатъчната грешка в прозорец W около ( x i, и аз )

Проследяване на резултатите - щракнете върху изображения, за да видите филми

Откриване на емблема - мигане на очите, откриване на глава и откриване на вибрации - щракнете върху изображенията във видеоклиповете, които гледате

Главоболието и треперенето се откриват чрез разпознаване на модела на движение на носа във видеоклипове

3D глава Не може да се изчисли с помощта на функции на лицето Проследяване - в реално време Щракнете върху изображения, за да видите филми

Проследяване на чертите на лицето чрез комбинация от модели на разпределение на точки, Atul Kanaujia, Yuchi Huang, Dimitris Metaxas, CVGIP 2006, ( PDF )
откриванесимволичрез проследяване на функциите на лицето, Atul Kanaujia, Y. Huang, Dimitris Metaxas,Семинар на CVPR по семантично обучение, 2006, ( PDF )
Мащабно обучение на модели с форми активи, Kanaujia и Dimitris Metaxas, ICIP 2007 ( PDF )
Динамично проследяване на изражения на лицето, използвайки адаптивни, припокриващи се подпространства, Димитрис Метаксас, Атул Канауджия, Жигуо Ли. ICCS 2007 (PDF)

„Система и метод за проследяване на чертите на лицето“, Atul Kanaujia и Dimitris Metaxas, Rutgers Docket 07-015, временен патент No. 60/874 451, подадени на 12 декември 2006 г.