Снимка брои калории - Utehaeussler Ute Häußler
Снимка брои калории
С усъвършенствана AI, 3D и хиперспектрална технология обработката на изображения превръща конвенционалните смартфони в прецизни устройства за анализ на храните.
Използвайте мобилния си телефон за борба с диабета, точно като Instagram
Над 200 милиона души по света страдат от диабет тип 1 или тип 2 и затлъстяване. Съвременната технология на зрението вече може да помогне в борбата с тези заболявания. Американският стартиращ FoodPhone ™ разработи калъф за мобилен телефон и приложение, което използва проста снимка от смартфон, за да идентифицира незабавно и научно хранителното съдържание на хранене - точно като споделянето му в социалните медии. Приложението FoodPhone ™ се основава на технологията Intel® RealSense ™ 3D и определя обема, текстурата и формата на всички видове храни само с едно изображение. В допълнение към броенето на въглехидрати и калории, иновативният вграден корпус за зрение разпознава съставките на храната въз основа на техния химичен състав и ги показва на потребителя веднага като позната хранителна таблица. Качеството, свежестта и степента на зрялост на храната могат да бъдат проверени "под купата", докато все още са в магазина - функциите NIR (Близо инфрачервена светлина) откриват както видими, така и невидими малки дефекти или следи от налягане. Изборът на плодове или зеленчуци ще бъде детска игра - с FoodPhone мобилният телефон ще сочи към най-доброто и зряло авокадо в бъдеще.
Милиарди хора по света обръщат внимание на диетата си
Диабетиците, спортистите, любителите на фитнеса и много други, които следят теглото си, трябва да внимават какво ядат. Само в САЩ над 100 милиона души използват смартфони всеки ден, за да следят теглото си, фитнеса и диетата си. Броят на случаите на диабет се увеличава бързо във всички съвременни общества. По-специално за диабетиците, броенето на въглехидрати е от ключово значение за управлението на тяхното заболяване. При спешни случаи става въпрос за живот и смърт, тъй като количеството въглехидрати влияе върху регулиращата доза инсулин. Следователно въглехидратите в храната са най-важната информация, от която диабетикът се нуждае за непрекъснато наблюдение на кръвната захар и за правилната настройка на автоматичните инсулинови помпи. И точно в това се крие проблемът: Тези устройства, които са много нежни и удобни за пациента, са полезни само с правилното въвеждане от потребителя. Въпреки това ръчните въвеждания на количества често се оценяват много неточно. Това води до неправилни дозировки на инсулин, които са не само много опасни, но дори могат да бъдат животозастрашаващи за диабетик.
Едно изображение на смартфон създава хранителна таблица
Днешните смартфони имат добра камера, достъп до Интернет и имат мощни процесори, които могат да обработват алгоритми за изкуствен интелект (AI). Благодарение на Instagram, мобилните телефони правят милиони снимки на храни всяка минута в ежедневието. Идеята на FoodPhone е да превърне тези смартфони в диетични помощници, които анализират храната директно в чинията. Приложението FoodPhone с патентованата си технология SpectraPixel ™ прави снимка, свързва се със собствения облачен ИИ на компанията и разпознава съдържанието на ястието - по-специално химичния състав, размера на порцията в грамове, както и качеството и срока на годност. Приложението може да прави разлика между няколко вида храни в чинията и също така да разпознава готови ястия като картофено пюре. Това се постига чрез няколко мултиспектрални камери и NIR сензори, които са интегрирани в стандартен калъф за мобилен телефон. Потребителят веднага получава научен анализ на храненията си.
Този анализ предоставя подробности за въглехидратите, мазнините, протеините и други хранителни вещества, както и за точния размер на сервираните ястия. Комбинирайки различни технологии за обработка на изображения и изкуствен интелект, FoodPhone идентифицира точното количество и състав на храната. Потребителите не трябва да въвеждат данни, да докосват храната си или да изчисляват количеството. И вие получавате резултата веднага - калъфът за мобилен телефон предоставя много лесна за ползване и ефективна хранителна информация с точност от над 90%. Кристофър М. Мъти, основател и главен изпълнителен директор на FoodPhone, казва, че технологията със своята комбинация от изкуствен интелект и разширена реалност ще има положително въздействие върху разпространението на диабета и може да помогне на хората, които гледат диетата си, да постигнат целите си.
Изображение 2 и 3: Снимайки това, което изглежда като изображение, потребителят веднага получава научен анализ на храненето си.
Идея, иновация и изпълнение
„Първоначално просто търсех лесен начин да преброя калориите“, казва Мъти днес. Като страстен хокеист, той беше принуден да наблюдава диетата си, да държи теглото и калориите си под контрол. Искаше да бъде в най-добрия си вид. Но в аналогови времена или по-късно с помощта на компютри и интернет, преброяването на калории за него беше не само неточно, но и изключително сложно и отне много време. Обученият машинен инженер искаше да види какво и колко яде по един прост и бърз начин. Той имаше идеята да анализира ястие със снимка от камера или мобилен телефон в началото на хилядолетието, но технологията още не беше готова. Започва да работи по него през 2013г.
Изчислителната мощ на смартфоните вече се е развила досега, че те могат да обработват сложни алгоритми; и новаторски проекти като ImageNet на Станфордския университет бяха предоставили AI технология, базирана на визия. Заедно с екип от опитни учени в областта на невронните мрежи и изкуствения интелект, 3D и хиперспектралната обработка на изображения, както и опитни инженери в областта на дизайна на камери и обективи, Mutti реши да разработи патенти, за да приложи идеята си на практика.
Фигури 5 и 6: Проучване на дизайна и прототип на калъфа за мобилен телефон FoodPhone
Комбинация от различни зрителни данни чрез изкуствен интелект
Приложението FoodPhone използва мултиспектрална и 3D обработка на изображения, за да идентифицира точно хранителните вещества, както и обема и порцията. Екипът на Mutti разработи необходимия софтуер без маркер като ориентир в зрителното поле на системата за обработка на изображения. Инженерите са избрали дълбочинна камера Intel® D435 RealSense, защото това е USB камера, която се състои от стерео двойка, RGB камера и инфрачервен проектор. Mutti притежава няколко патента за генериране на хиперспектрални изображения чрез обединяване на изхода на няколко камери и различни видове зрителни данни.
Системата за обработка на изображения работи по същия начин, както човек гледа на храната си: цветът е първият елемент, който го поразява. FoodPhone първо използва RGB камерата, за да идентифицира цветовете на плочата. След това стерео камерата генерира 3D данни, за да идентифицира формата, контурите и текстурата на всяка храна - точно както би направило човешкото око. 3D суровите данни дават размерите и общия обем или размера на порцията на храната. С NIR данни, записани от няколко камери и сензори, собствените алгоритми на FoodPhone са в състояние да оценят химичния състав на храната, точно както човешкото усещане за вкус и мирис би направило.
За тази цел наслагването от повече от десет изображения и техните необработени данни се разделя на видима светлина, цвят, спектрални данни и 3D информация. След това специфичните и индивидуални свойства на всяка храна се идентифицират от оптичната, спектралната и физическата информация. С помощта на тези спектрални профили всяка храна може да бъде ясно идентифицирана, тъй като има уникален спектрален пръстов отпечатък.
Изображение 7 и 8: Различни спектрални профили като уникален пръстов отпечатък за зеленчуци и месо.
„Използвахме няколко милиона изображения, за да обучим нашите алгоритми за ИИ“, казва Кристофър Мъти. „Беше много работа за извършване на десетки хиляди класификации на храните, таблици за объркване и други стъпки от процеса. Но сега постигаме точност от над 90%. “За да се изчислят правилно хранителните таблици и теглото, цветът, текстурата, спектралният подпис и обемът на храната трябва да съвпадат. Суровите данни за изображения първо се обработват от Intel® Edison, много малък SoC (система на чип), за да се идентифицират въглехидратите, протеините, мазнините и съдържанието на вода. Оттам цялата събрана информация се прехвърля в облака и преминава през базата данни на FoodPhone, базирана на AI. Смартфонът получава резултатите и ги показва като хранителна таблица на дисплея на мобилния телефон.
Технологията може да направи много повече
Технологията FoodPhone помага на хората да анализират храната в ежедневието - не само при диети. Когато пазарувате в супермаркета, приложението ви показва най-пресните и здравословни продукти на рафта. Това води до по-малко лоши покупки и по-малко развалени продукти и в същото време спестява пари. Потребителите получават цялата информация за съставките, качеството и свежестта на своя смартфон в реално време. Хората с хранителни алергии могат да проверят посочените съставки на храната си и не е нужно да дешифрират никакви „загадъчни“ списъци на съставките. Прост изстрел на храната с мобилен телефон дава подробен списък на съставките и точен срок на годност. Данните NIR помагат да се идентифицират зрелостта на продукта, малки дефекти и възможни бактерии, независимо от най-доброто преди датата на продукта. Най-прясното, зряло авокадо е само на един клик разстояние.
В ориентирани към бъдещето сценарии за интелигентен дом технологията FoodPhone може да бъде вградена във всяка домакинска кухня. Монтиран над плота, малка камера може да сканира всяка храна или отделна съставка в храната. Потребителят получава научен анализ на своите съставки и обобщената хранителна таблица директно по време на подготовката. В допълнение, софтуерът на FoodPhone може автоматично да актуализира седмичния списък на потребителя за пазаруване или поръчка за услуга за доставка.
Мрежовият IoT хладилник (Internet of Things) може да използва технологията на FoodPhone за проследяване на консумираната храна и срока им на годност, както и да ги сравнява директно със списъците за пазаруване и доставка. Няма повече „колбасът е всичко“ - семейството ще бъде информирано незабавно, когато популярното ястие е на изчерпване и може да си купи още - или да остави хладилника си да го направи.
Освен това обработката на изображения и инспекцията на храните, базирана на AI, могат да се борят с измамите с храни и да разкрият истинските съставки. Хората могат да вземат по-добри, по-здравословни решения, знаейки добавени химикали или тайни съставки, които някои производители използват, за да удължат срока на годност, да направят храната да изглежда по-добре или да „пристрасти“ продукти.
Първокласен пример за ориентирано към бъдещето използване на обработката на изображения
Иновативната технология FoodPhone е идеален пример за това как приложенията, базирани на зрението, в ежедневни устройства като мобилни телефони и интелигентни домакински уреди могат да се използват за наистина иновативни приложения и да заемат много малко място. Комбинацията от различни видове AI-базирана обработка на изображения - в случая 3D, RGB и NIR - за извличане на допълнителна информация показва колко мощни са съвременните зрителни системи. Предлагат се стандартни камери с интегрирано откриване на дълбочина и инфрачервени проектори на ниски цени, готови за незабавна употреба и в много малки размери. Лесната за използване и достъпна технология за машинно виждане може да изведе приложенията на индустриалните и потребителските пазари на следващото ниво. Машините не само се научават да виждат, но и да гледат „под черупката“.