По-ранни доклади от отдел AVT
- Интересува се от проучване
- Студенти
- Служител
- Журналисти
- икономика
- Институт за медийни технологии
- Начало AVT
- хора
- Преподаване
- изследвания
- Публикации
- Софтуер/Изтегляния
- Дисертации
- архив
- По-ранни доклади от отдел AVT
- Завършени проекти (преди 2013 г.)
- Дисертации и хабилитации
- Събития
По-ранни доклади от отдел AVT
21-ви Международен симпозиум на IEEE по мултимедия (2019 IEEE ISM), 9-11 декември 2019 г., Сан Диего, САЩ
Ракеш Рао Рамачандра Рао, Стив Геринг, Вернер Робица, Бернхард Файтен, Александър Рааке
AVT-VQDB-UHD-1: Мащабна база данни за качество на видеото за UHD-1
Понастоящем на пазара се предлагат 4K телевизионни екрани или дори с по-висока разделителна способност. Освен това доставчиците на видео стрийминг могат да стриймват видеоклипове с 4K разделителна способност и извън нея. Затова става все по-важно да имаме правилно разбиране за качеството на видеото, особено в случай на 4K видеоклипове . За тази цел в настоящата статия представяме изследване на субективна и обективна оценка на качеството на 4K видео с ултрависока разделителна способност с кратка продължителност, подобно на дължините на DASH сегмента.
Като първа стъпка проведохме четири субективни теста за оценка на качеството на компресирани версии на 4K видеоклиповете. Видеоклиповете са кодирани с помощта на три различни видео кодека, а именно H.264, HEVC и VP9. Разделителните способности на компресираните видеоклипове варират от 360p до 2160p с честота на кадрите, варираща от 15fps до 60fps. Цялото изходно 4K съдържание беше използвано 60fps. Включихме нискокачествени условия по отношение на битрейт, разделителна способност и честота на кадрите, за да гарантираме, че тестовете обхващат широк диапазон от условия и че напр. възможните модели, обучени на тези данни, са по-общи и приложими за по-широк спектър от приложения в реалния свят. Резултатите от субективната оценка на качеството се анализират, за да се оцени въздействието на различни фактори като битрейт, резолюция, честота на кадрите и съдържание.
Във втората стъпка към всички видеоклипове бяха приложени различни съвременни модели за обективно качество и тяхното изпълнение беше анализирано в сравнение със субективните оценки, напр. използвайки VMAF на Netflix. Видеоклиповете, субективни резултати, както MOS, така и интервали на доверие за последователност и обективни резултати се публикуват за използване от общността за по-нататъшни изследвания.
Връзка към видеоклиповете:
21-ви международен семинар на IEEE по обработка на мултимедийни сигнали (MMSP), септември 2019 г., Куала Лумпур, Малайзия
А. Сингла, У. Робица и А. Рааке
Сравнение на субективните методи за тестване на качеството за всепосочна оценка на качеството на видеото
Награда за най-добра хартия
Доминик Келер (отдел AVT), Тамара Сейболд (ARRI Мюнхен), Янто Скоуронек (бивш отдел AVT) и Александър Рааке (отдел AVT) получиха награда за най-добра книга на 11-та международна конференция за качеството на мултимедийния опит (QoMEX 2019) в Берлин.
Награди за спонсорство за завършили в тази област
За втори път Förderverein Elektrotechnik und Informationstechnik e. В. Илменау във връзка с Факултета по електротехника и информационни технологии на ТУ Илменау наградата си за спонсорство за изключителни тези. Наградената награда уважи постиженията на учениците по време на церемонията по отписване в края на юни. За щастие, две тези от Изследователската група за аудиовизуални технологии, които бяха проведени с индустриални партньори, бяха признати за изключителни поради високата си степен на интердисциплинарност и научен подход, както и тяхното изпълнение.
Поздравяваме победителите Антон Шуберт, който се занимаваше с внедряването на компресиран широколентов аудио кодек за комуникация на водача в автомобилния спорт, и Доминик Келер, който работи по идентифицирането и анализа на текстурните размери във филмите с помощта на методи за оценка на сензора.
IMT на летния фестивал на Тюрингийското държавно представителство в Берлин
През 2019 г. Институтът за медийни технологии (IMT) беше представен на летния фестивал на Тюрингийското държавно представителство в Берлин. Две специализирани области споделиха щанда. Отделът за аудиовизуални технологии демонстрира различните ефекти на видео съдържание в Full HD и UHD резолюция със специално произведено съдържание. В допълнение бяха представени 360 ° видеоклипове (виртуална реалност), които бяха създадени в отдела и се използват за тестове за възприятие. Потапящото възприятие на виртуалната реалност включва и адекватна пространствена аудио сцена. Ето защо отделът за електронни медийни технологии използва микрофонна решетка, за да покаже как се правят тези 360 ° аудио записи и направи резултата звуков директно на щанда.
През лятното време имаше много заинтересовани посетители. Наред с други неща, премиерът на Тюрингия Бодо Рамелов накара проф. Бранденбург и проф. Рааке да му обяснят технологията. По време на събитието те бяха подкрепени от Stephan Fremerey, Dr. Стефан Вернер и Матиас Дьоринг.
Доминик Келер, Тамара Сейболд, Янто Скоуронек и Александър Рааке
Оценка на размерите на текстурата и качеството на видеото във филмите с помощта на техники за сензорна оценка
Документът, резултат от сътрудничеството между членовете на отдела за аудиовизуални технологии и носителя на Оскар ARRI (Arnold & Richter Cine Technik), получи наградата за най-добра книга на тазгодишния 11th Int. Конференция за качеството на мултимедийното изживяване (QoMEX 2019).
В проучване, представено на конференцията QoMEX 2019, сравняваме въздействието на различни алгоритми за интерполация на движение (MI) върху 360 ° видео качество на опит (QoE). За целта проведохме субективен тест с 12 видео зрители, докато беше използван метод за тестване на двойки. Интерполирахме четири различни 20 s дълги 30 кадъра в секунда 360 ° източници на собствената честота на опресняване от 90 Hz на популярните монтирани на главата дисплеи, използвайки три различни алгоритми MI. Впоследствие сравнихме тези видеоклипове с 90 кадъра в секунда един срещу друг, за да разследваме влиянието върху QoE. По отношение на алгоритмите установихме, че смесването на ffmpeg не води до значително подобрение на QoE, докато MCI и butterflow го правят. Освен това стигнахме до заключението, че за 360 ° видеоклипове, съдържащи бързи и внезапни движения, MCI трябва да се предпочита пред butterflow, докато butterflow е по-подходящ за видеоклипове с бавно и средно движение. Докато сравняваме времето, необходимо за изобразяване на интерполирани видеоклипове с 90 fps, ffmpeg blend е най-бързият, докато MCI и butterflow се нуждаят от много повече време.
Публикувано в 26-та конференция на IEEE за виртуална реалност и 3D потребителски интерфейси, март 2019 г., Осака, Япония
А. Сингла, Р. Р. Р. Рао, С. Гьоринг и А. Рааке: Оценка на качеството на медиите, болест на симулатора и присъствие за всенасочени видеоклипове с различни тестови протоколи
QoE за ненасочени видеоклипове включва допълнителни компоненти като болест и присъствие на симулатора. В тази статия е представена поредица от тестове, сравняващи различни тестови протоколи за оценка на интегрално качество, болест на симулатора и присъствие за ненасочени видеоклипове в едно тестово изпълнение, използвайки HTC Vive Pro като монтиран на главата дисплей. За оценки на качеството е използвана петстепенната скала ACR. Освен това бяха използвани добре утвърдените въпросници за симулаторната болест и PresenceQuestionire, веднъж в пълна версия и веднъж само с една единна интегрална скала, за да се анализира колко добре присъствието и болестта на симулатора могат да бъдат заснети само с една скала.
Ашутош Сингла, докато представяше своя плакат на конференцията IEEE VR в Япония
Единадесета международна конференция за качество на мултимедийния опит (QoMEX) (QoMEX 2019). Берлин, Германия. Юни 2019 г.
Стив Геринг, Ракеш Рао Рамачандра Рао, Александър Рааке
nofu - Лек модел без качество на видео, базиран на пиксели, за съдържание за игри
Популярността на стрийминг услугите за игрални видеоклипове се е увеличила неимоверно през последните години, напр. Twitch и Youtube Gaming. В сравнение с класическите приложения за видео стрийминг, видео игри имат допълнителни изисквания. Например, важно е видеоклиповете да се излъчват на живо само с малко забавяне. В допълнение, потребителите очакват ниско спиране, време на изчакване и като цяло високо качество на видеото по време на стрийминг, напр. използване на HTTP-базирано адаптивно стрийминг. Тези изисквания водят до различни предизвикателства за прогнозиране на качеството в случай на стрийминг видео игри. Ние описваме новоразработени функции и модел за машинно обучение без качество на видео, който използва само записания видеоклип за прогнозиране на резултатите за качество на видеото. В различни експерименти за оценка ние сравняваме предлагания от нас модел nofu със съвременни редуцирани или пълни референтни модели и показатели.
В допълнение, ние обучихме нереферентен изходен модел, използвайки бързи + niqe функции. Ние показваме, че нашият модел има подобна или по-добра производителност от другите модели. Освен това nofu превъзхожда VMAF за субективно предсказване на QoE в игрите, въпреки че nofu не изисква никакво референтно видео.
scatter_plot_mos_nofu: резултати за игрален набор от данни и прогнозиране на субективни резултати
7-ми европейски семинар за обработка на визуална информация (EUVIP), Тампере (Финландия), 26-28 ноември 2018 г. (http://www.tut.fi/euvip2018/)
Стив Геринг, Александър Рааке
deimeq - Хибриден модел, базиран на дълбока невронна мрежа, без референтен модел за качество на изображението
Понастоящем моделите за оценка на качеството на референтните изображения се базират предимно на ръчно изработени функции (сигнал, компютърно зрение, ...) или дълбоки невронни мрежи. Използването на DNN за прогнозиране на качеството на изображението води до няколко проблема, напр. входният размер е ограничен; по-високите резолюции ще увеличат времето за обработка и консумацията на памет. Големите входове се обработват чрез коригиране на изображения и обобщаване на качествен резултат. При чист подход за корекция връзките между под-изображенията се губят.
Също така е необходим огромен набор от данни за обучение на DNN от нулата, въпреки че са налични само малки набори от данни с анотации. Ние предлагаме хибридно решение (deimeq) за прогнозиране на качеството на изображението с помощта
Извличане на характеристиките на DNN, комбинирано със случайни модели на гори Първо, deimeq използва предварително обучен DNN за извличане на функции в йерархичен подход на под-изображение, това избягва огромен набор от данни за обучение. Освен това, предложеният от нас подход на под-изображението заобикаля чисто кръпка, поради йерархични връзки между под-изображенията. На второ място, deimeq може да бъде разширен, като се използват базирани на сигнала характеристики от най-съвременните модели. За да оценим нашия подход, ние избираме строга оценка на кръстосани данни с набори от данни Live-2 и TID2013 с няколко предварително обучени DNN. И накрая, ние показваме, че deimeq и неговите варианти се представят по-добре или подобно от другите методи.
Human Vision and Electronic Imaging 2019, Burlingame (Калифорния, САЩ), 13 - 17 януари 2019 г. (http://www.imaging.org/site/IST/IST/Conferences/EI/Symposium_Overview.aspx)
Стив Гьоринг, Джулиан Зебелейн, Саймън Ведел, Доминик Келер, Александър Рааке
Анализирайте и предскажете възприемчивостта на съдържанието на UHD видео
720p, Full-HD, 4K, 8K,. разделителните способности на дисплея се увеличават значително през последното време. Въпреки това много доставчици на видео стрийминг в момента предават видеоклипове с максимална разделителна способност 4K/UHD-1. Като се има предвид, че нормалните зрители на видеоклипове се наслаждават на своите видеоклипове в типични дневни, където разстоянията на гледане са доста големи, възниква въпросът дали дори може да се разпознае повече разделителна способност. В следващата статия ще анализираме проблема с възприемането на UHD в сравнение с по-ниските резолюции. Като първа стъпка проведохме субективен видео тест, който се фокусира върху кратки некомпресирани видеопоредици и сравнява два различни метода за тестване за двойно различаване на две изображения на един и същ източник на видео в различни резолюции.
Избрахме метод с удължена ивица и метод за времево превключване. Установихме, че временното превключване е по-подходящо за разпознаване на UHD видео съдържание. Освен това разработихме функции, които могат да се използват в система за машинно обучение, за да се предскаже дали има полза от показването на дадено видео в UHD или не.
Оценяването на различни модели въз основа на тези характеристики за прогнозиране на видими разлики показва добро представяне на наличните данни от теста. Нашата внедрена система може да се използва за проверка на UHD видео материали или за оптимизиране на приложения за стрийминг.