ИИ научили определять активность рабочей руки пользователя смартфона, анализируя данные касаний и свайпов из журнала его сенсорного экрана. По координатам касаний и характерным движениям пальцев руки ИИ определяет мышечную активность опорно-двигательного аппарата пользователя, прогнозируя наступление усталости от использования интерфейса приложений. Это поможет с оптимизацией интерфейсов и с их адаптацией для людей с ограниченными возможностями.
Исследование провели учёные из Университета Аалто (Aalto University) в Финляндии и Лейпцигского университета (Leipzig Universities). Они разработали интересную ИИ-модель Log2Motion, которая позволяет понять, почему длительное взаимодействие со смартфоном вызывает физическую усталость. Традиционные логи экрана фиксируют лишь координаты касаний и свайпов, но не отражают затраченные на это реальные мышечные усилия и энергозатраты пользователя. Новая система решает эту проблему, переводя данные логов в реалистичную симуляцию движений пальца по экрану с учетом биомеханики человеческого тела. Это первый в своем роде инструмент, который даёт возможность заранее оценивать эргономику интерфейсов мобильных приложений.
Модель Log2Motion основана на цифровом моделировании опорно-двигательного аппарата человека: она воспроизводит движения указательного пальца, рассчитывая активность почти 70 мышц, а также скорость, точность и общие энергозатраты на основе предыдущих данных по исследованию с захватом движений. Симуляция работает в реальном времени с эмулятором смартфона и позволяет анализировать каждое касание или жест. Благодаря этому дизайнеры теперь могут количественно измерять физическую нагрузку при работе с тем или иным интерфейсом, что раньше ускользало от разработчиков.
Ключевые результаты исследования показали, что наибольшие усилия требуют вертикальные свайпы вверх-вниз и вниз-вверх, а также взаимодействие с маленькими иконками и элементами в углах экрана. Такие жесты сильно повышают нагрузку на мышцы по сравнению с горизонтальными движениями или работой с центральными элементами интерфейса. Учёные подчеркивают, что даже небольшие различия в расположении элементов могут существенно влиять на комфорт использования интерфейса.
Разработчики надеются, что Log2Motion станет стандартным инструментом для создания более эргономичных и приятных интерфейсов, особенно для людей с ограниченными возможностями — например, с тремором, слабостью мышц или протезами. Данная модель была испытана в условиях работы с экраном смартфона, лежащего на столе, но может быть адаптирована для других случаев, например, когда пользователь лежит на диване и держит смартфон одной рукой.
Добавим, представленные возможности позволяют узнать намного больше о пользователе, его привычках и даже физической форме. Остаётся только ожидать, когда в это будут вложены бюджеты рекламщиков и во что это выльется.
Источник
