05 февраля 2024 г. 10:02. Категория: Главная 

По данным Всемирной организации здравоохранения, около 15% населения мира страдают от различных форм инвалидности. Эти люди сталкиваются со множеством трудностей при взаимодействии с бытовыми приборами и устройствами. Различные технологические решения призваны улучшить качество их жизни, например, возможность управления устройствами голосом. Однако такие решения часто основаны на шаблонах команд и не могут понимать неструктурированные или частично структурированные команды. В последнее время многие авторы интегрировали системы интеллектуальных персональных помощников, такие как Google Assistant, Siri и Alexa, с системами управления, чтобы использовать преимущества обработки естественного языка (NLP) этих помощников для управления традиционными бытовыми устройствами. Однако такие решения по-прежнему плохо понимают неструктурированные команды и требуют постоянного интернет-соединения для управления устройствами.

В работе над новым проектом на кафедре ТОСЭР Невинномысского технологического института СКФУ предлагается новая система интеллектуального персонального помощника на основе Интернет-вещей. Этот помощник нужен для людей с ограниченными возможностями, позволяющий управлять различными устройствами с помощью структурированных и неструктурированных голосовых команд. Предлагаемый алгоритм принимает голосовые команды пользователя в структурированной или неструктурированной форме и преобразует их в текст с помощью API распознавания речи Google. Затем к полученному тексту применяются методы обработки естественного языка для разбиения команды на токены, чтобы определить название устройства и тип команды (вопрос о состоянии устройства или утверждение). Далее алгоритм логистической регрессии классифицирует остальные токены как положительные или отрицательные, чтобы включить или выключить устройство, и отправляет команду на Raspberry Pi для управления устройством.

Чтобы робот мог эффективно персонализировать физическую помощь, он должен изучить предпочтения пользователя, которые, как правило, могут быть повторно применены к будущим сценариям. В этом проекта мы будем исследовать в том числе задачу персонализации уборки по дому с помощью роботов, которые могут убирать комнаты, поднимая предметы и убирая их. 

Ключевой проблемой пользователя является определение правильного места для размещения каждого предмета, поскольку предпочтения людей могут сильно различаться в зависимости от личного вкуса или культурного фона. Например, один человек может предпочесть хранить рубашки в ящике стола, в то время как другой может предпочесть их на полке. Мы стремимся создавать системы, которые могут узнавать о таких предпочтениях всего из нескольких примеров посредством предварительного взаимодействия с конкретным человеком. Мы показываем, что роботы могут сочетать языковое планирование и восприятие с возможностями краткого обобщения больших языковых моделей (LLM) для вывода обобщенных пользовательских предпочтений, которые широко применимы к будущим взаимодействиям. 

Таким образом, предложенный проект интеллектуального персонального помощника, интегрированная с Интернетом вещей, позволяет людям с ограниченными возможностями управлять различными устройствами, выполнять уборку при помощи структурированных и неструктурированных голосовых команд. Использование методов обработки естественного языка и машинного обучения позволяет такой системе понимать команды, сформулированные в произвольной форме. Это открывает новые возможности для улучшения качества жизни людей с ограниченными возможностями с помощью технологий искусственного интеллекта.