Голосовий контролер калорій

Прес-контакт:

Завантажити медіа

*Умови використання:

Зображення для завантаження на веб-сайті офісу MIT доступні некомерційним організаціям, пресі та широкій громадськості за ліцензією Creative Commons Attribution Non-Commercial No Derivatives. Ви не можете змінювати надані зображення, крім як обрізати їх за розміром. При відтворенні зображень повинна використовуватися кредитна лінія; якщо такого нижче не вказано, зарахуйте зображення в "MIT".

Попереднє зображення Наступне зображення

Для людей, які борються з ожирінням, реєстрація кількості калорій та інша харчова інформація під час кожного прийому їжі є перевіреним способом схуднення. Техніка вимагає послідовності та точності, однак, і коли вона не вдається, зазвичай це відбувається тому, що люди не мають часу знайти та записати всю необхідну інформацію.

Кілька років тому команда дієтологів з Університету Тафтса, яка експериментувала з програмами для мобільних телефонів для фіксування споживання калорій, звернулася до членів Групової системи мовних систем в Лабораторії комп'ютерних наук та штучного інтелекту MIT (CSAIL) з ідеєю створення розмовна програма, яка зробить реєстрацію їжі ще простішою.

Цього тижня на Міжнародній конференції з акустики, мови та обробки сигналів у Шанхаї дослідники MIT представляють веб-прототип своєї системи моніторингу харчування, що контролюється мовою.

За допомогою цього користувач словесно описує вміст їжі, а система аналізує опис і автоматично отримує відповідні харчові дані з онлайн-бази даних, що ведеться Міністерством сільського господарства США (USDA).

Дані відображаються разом із зображеннями відповідних продуктів харчування та випадаючими меню, що дозволяють користувачеві уточнювати їх описи - вибираючи, наприклад, точну кількість їжі. Але ці уточнення можуть бути зроблені і усно. Користувач, який починає з того, що сказав: «На сніданок я отримав миску вівсянки, бананів і склянку апельсинового соку», може вносити поправку: «У мене була половина банана», і система оновить дані, які відображає про банани, залишаючи решту без змін.

"Те, що пережили [дієтологи Тафтса], - це те, що програми, які допомагали людям намагатися реєструвати їжу, були трохи нудними, і тому люди не встигали за ними", - говорить Джеймс Гласс, старший науковий співробітник вчений з CSAIL, який очолює групу систем розмовної мови. "Тому вони шукали способи, які були точними та простими для введення інформації".

Першим автором нової статті є Менді Корпусік, аспірант з електротехніки та інформатики Массачусетського технологічного університету. До неї приєднується Гласс, яка є її радником дисертації; її колега аспірант Майкл Прайс; і Кельвін Хуан, дослідник бакалавра в групі Гласса.

Чутливість до контексту

У статті дослідники повідомляють результати експериментів із системою розпізнавання мови, яку вони розробили спеціально для обробки термінології, пов'язаної з продуктами харчування. Але це не було головним напрямком їхньої роботи; справді, онлайн-демонстрація їх системи реєстрації їжі замість цього використовує безкоштовний додаток Google для розпізнавання мови.

Їх дослідження було зосереджено на двох інших проблемах. Одним з них є визначення функціональної ролі слів: система повинна визнати, що якщо користувач записує фразу «чаша вівсяної каші», інформація про поживність вівсяної каші є доречною, але якщо фраза є «вівсяним печивом», це не так.

Іншою проблемою є узгодження фрази користувача із записами в базі даних USDA. Наприклад, дані USDA щодо вівсяних пластівців записуються під заголовком „овес”; слово "вівсяна каша" ніде не зустрічається в записі.

Для вирішення першої проблеми дослідники застосували машинне навчання. Через платформу краудсорсингу Amazon Mechanical Turk вони набирали працівників, які просто описували, що вони їли за останні їжі, а потім позначали відповідні слова в описі як назви продуктів, кількості, назви торгових марок або модифікатори назв продуктів. У "мисці вівсяної каші" "чаша" - це кількість, а "вівсяна каша" - це їжа, а в "вівсяному печиві" вівсяна каша є модифікатором.

Після того, як у них було приблизно 10 000 маркованих описів страв, дослідники використали алгоритми машинного навчання, щоб знайти закономірності в синтаксичних взаємозв’язках між словами, які визначали б їх функціональну роль.

Семантична відповідність

Для перекладу між описами користувачів та ярликами в базі даних USDA дослідники використовували базу даних з відкритим кодом Freebase, яка містить записи про понад 8000 загальноприйнятих продуктів харчування, багато з яких містять синоніми. Там, де бракувало синонімів, вони знову найняли для постачання робітників механічного турка.

Версія системи, представлена на конференції, покликана головним чином продемонструвати життєздатність її підходу до обробки природними мовами; він повідомляє про кількість калорій, але ще не підсумовує їх автоматично. Однак така версія вже працює, і коли вона буде завершена, дослідники Tufts планують провести дослідження користувача, щоб визначити, чи справді полегшує реєстрацію харчування.

"Я думаю, що вирубка лісу надзвичайно корисна для багатьох людей", - каже Сьюзен Робертс, директор Лабораторії енергетичного метаболізму в спонсорованому USDA Дослідницькому центрі з питань старіння людини імені Жана Майєра, який фінансує USDA. “Це робить людей більш самосвідомими про сміття, яке вони їдять, і про те, як мало їм насправді це подобається, і шок від величезних порцій тощо. Але в даний час це дуже нудно реєструвати свою їжу. Існує будь-яка кількість програм, таких як MyFitnessPal, де ви можете вручну вводити його вручну, але навіть за допомогою ярликів це нудно і не настільки зручно для користувача, як це потрібно для мільйонів людей, щоб використовувати його реально регулярно ».

"Система розмовної мови, яку ви можете використовувати з телефоном, дозволить людям реєструвати їжу, де б вони її не їли, з меншою роботою", - додає вона. "Як я бачу, нам потрібно придумати щось, що насправді не є великою роботою, тому це не є додатковим тягарем у житті".