NaviSense: новое приложение для помощи людям с нарушениями зрения

Современные технологии, помогающие людям с нарушениями зрения, продолжают развиваться, и команда Университета штата Пенсильвания представила новое приложение — NaviSense. Это решение было создано с учетом реальных потребностей пользователей и возможностей искусственного интеллекта. NaviSense может в реальном времени распознавать объекты и направлять пользователей к ним с помощью голосовых и вибросигналов. В ходе тестирования участники отметили, что навигация в приложении оказалась более точной и естественной по сравнению с существующими аналогами. Разработка была продемонстрирована на конференции SIGACCESS ASSETS`25 в Денвере и завоевала приз зрительских симпатий. Особенность NaviSense заключается в подключении к внешним серверам с крупными языковыми моделями, что позволяет описывать окружающую среду без предварительно загруженных библиотек. Приложение отслеживает движение руки, указывая, где находится нужный предмет относительно телефона. В испытаниях с 12 добровольцами NaviSense значительно ускорил поиск объектов и повысил точность их определения, выделяясь на фоне двух коммерческих аналогов. Участники также оценили удобство использования приложения.