В Нью-Йорке тестируют приложение, помогающее слепым ориентироваться в городе

Shutterstock
Приложение создано на основе искусственного интеллекта, умеющего детально распознавать местность. Эти же данные в будущем помогут автономным машинам, к примеру доставщикам.

Исследователи из Нью-Йоркского университета выпускают базу данных с открытым исходным кодом, чтобы помочь слабовидящим пешеходам ориентироваться в городе.

В базе набор из более чем 200 000 изображений улиц в разное время года. Он используется для тестирования нескольких технологий визуального распознавания местности, которые могут повысить точность навигационных приложений, сообщили в университете. Полная информация о проекте есть в открытом доступе.

Программа навигации использует картинку в 360°, в ней есть, например, тротуары и витрины. Она способна сразу оценить, скажем, вид сбоку. Это поможет слепым и слабовидящим людям, которые перемещаются по оживленным городским тротуарам. Данные также будут полезны автономным машинам, например доставщикам, которые должны двигаться вперед и назад, а также из стороны в сторону, чтобы добраться до места назначения.

«Как человек с нарушениями зрения, я разочарован тем, как мало сейчас инноваций в навигационном пространстве. Носимая навигационная помощь на основе изображений призвана помочь безопасно двигаться в перегруженных, сложных и часто опасных условиях не только слепым людям, но и людям с когнитивными нарушениями, пожилым. В конечном счете этот проект может дать новое понимание доступности, помогая миллионам людей лучше взаимодействовать с миром», — говорит один из руководителей проекта Джон-Росс Риццо, профессор биомедицинской инженерии, машиностроения и аэрокосмической техники Нью-Йоркского университета.

Приложение для помощи слепым и слабовидящим, созданное на основе этой базы данных, начали тестировать с помощью добровольцев в конце января. Оно похоже на привычный голосовой навигатор, только гораздо детальнее и точнее.

Фото: Нью-Йоркский университет

Помимо местоположения человека и направления, в котором он движется, приложение умеет оценивать размер, скорость, положение и траекторию движущегося рядом транспортного средства. Правда, для этого само транспортное средство должно быть подключено к той же системе. Однако ученые надеются, что скоро в «электронных мозгах» всех авто будет такая возможность. Кроме того, уже сейчас при приближении к светофору приложение подключается к нему, чтобы сообщить, какой горит сигнал и когда можно будет идти.

Слабовидящие участники тестирования в целом положительно оценили приложение. Однако в нем обнаружилось несколько проблем. Показания телефонных компасов часто искажались помехами из окружающей среды, не очень точно обозначались границы пешеходных переходов, сложно шла работа на больших перекрестках, вроде тех, где есть пять ответвлений или пешеходный островок. Все эти проблемы обещают решить в будущем.

На сайте могут быть использованы материалы интернет-ресурсов Facebook и Instagram, владельцем которых является компания Meta Platforms Inc., запрещённая на территории Российской Федерации