Компьютерный звук рисует для слепых картину местности.

Описание

Авторам этого передового устройства пригодились наработки разных институтов по системам машинного зрения, искусственного интеллекта, виртуальной реальности, управления роботами и ряда других сходных дисциплин (фото CASBLiP).

Слух хотя бы отчасти восполняет инвалидам отсутствие зрения, но он не может поведать им о наличии перед самым носом фонарного столба. Между тем системы машинного зрения без труда воспринимают окружающий мир. Неудивительно, что на их основе учёные пытаются создать искусственное зрение. Только как всё же лучше донести до слепого человека то, что видит машина?

Свой ответ на этот вопрос даёт проект «Когнитивная вспомогательная система для слепых людей» (Cognitive Aid System for Blind People — CASBLiP), в котором принимают участие семь университетов, компаний и организаций из Великобритании, Испании, Италии и Германии. Координирует и ведёт их совместную работу Исследовательский центр графических технологий политехнического университета Валенсии (Centro de Investigaci?n en Tecnolog?as Gr?ficas), где и базируется этот проект.

Какими вариантами помощи слепым располагает современная техника? Можно предложить человеку усовершенствованную трость с ультразвуковой, лазерной или видеолокацией.

Но подобные устройства всё равно не дают полной картины мира — кибертрости просто попискивают предупреждающими сигналами при появлении опасного объекта в непосредственной близи от владельца. Между тем, рассудили авторы CASBLiP, направление мысли было верным: нужно полагаться на то, что у слепого пациента развито лучше всего – его способность воспринимать звуки, исходящие от предметов (машин, листвы деревьев, шагов прохожих), и хорошо определять направление и удаление источника.


Можно попробовать вернуть слепому человеку зрительные ощущения тем или иным способом. Но всяческие «усилители глаз» и сетчатки-имплантаты – отдельная большая тема. А если не вмешиваться в организм пациента? CASBLiP предлагает носимый прибор, несложный в применении (фотографии CASBLiP).
[banner_centerrs] {banner_centerrs} [/banner_centerrs]

Только вот в обычных условиях звуков не хватает. Во всяком случае — для того чтобы спокойно ходить по городу без белой трости, словно зрячий человек. Но, может, тогда добавить звук синтетический, чтобы «заговорили» и фонарные столбы, и проёмы дверей, и прочие предметы?

Три года работы (на средства Евросоюза, заметим) не прошли даром. Партнёры построили два устройства, каждое из которых может работать отдельно, но по идее их можно соединить в эффективный комплекс.

Первый аппарат называется M1. Выглядит он как чёрные очки, разве что стёкла толстоваты (в них скрыта электроника).


Издалека M1 не отличишь от обычных тёмных очков (фотографии CASBLiP и с сайта cisad.it).

В основе приборчика лежит лазерный сенсор, разработанный компанией Siemens. Первоначально это устройство создавалось для того, чтобы научить автомобили видеть пешеходов, перебегающих дорогу перед носом, но теперь сенсор нашёл своё призвание в иной области.

Эти очки испускают инфракрасный лазерный луч (невидимый для окружающих), который сканирует местность в пределах угла зрения в 60 градусов и на дальность в 5 метров от человека. Отражённые ИК-лучи воспринимает 64-пиксельная камера, незаметно вмонтированная всё в те же очки. По разности времени прихода сигнала в каждую часть матрицы компьютер (его приходится нести в рюкзачке) вычисляет положение близлежащих объектов.


Лазерный сенсор Siemens проверяет всю местность в пределах своего обзора по 25 раз в секунду (иллюстрация Siemens).

Далее эта информация преобразуется в стереозвук, подаваемый владельцу приборчика через наушники. Расположение препятствий по горизонтали передаётся смещением звука вправо или влево, а приближение к препятствию отражается ростом тональности сигнала либо его громкости (тут возможны варианты — лучший выбор ещё определяется).


M1 проходил проверку в закрытых помещениях и на улице. В последнем случае испытательный маршрут насчитывал 500 метров и включал такие препятствия, как столбы, деревья, журнальный киоск и лавочки. Каждый испытуемый должен был пройти этот маршрут всего один раз без подготовки, а потом учёные подсчитали число столкновений и ошибок, дабы оценить возможности прибора (фотографии CASBLiP).

M1 может быть вполне самостоятельным продуктом, но гораздо интереснее его сочетание со вторым прототипом под названием M2. В нём удалось совместить ряд любопытных разработок, выполненных в разных странах.

M2 представляет собой шлем, на котором закреплены две видеокамеры, генерирующие стереокартинку. Специалисты из факультета компьютерных наук университета Бристоля (Departiment of Computer Sciense) разработали мощный алгоритм обработки изображений в реальном времени, способный распознавать объекты и препятствия, такие как деревья, автобусные остановки и лавки в парке, транспортные средства, и, конечно, — прохожих.

Эта система использует стереоизображение для создания «карты глубины». Также M2 может анализировать движение объектов и предсказывать их дальнейшее перемещение.

В результате работы этой программы компьютер (опять-таки M2 требует ношения рюкзака) формирует пространственную карту окружающего мира. Причём обновляет он её 8 раз в секунду.


Британская программа по картинке с камер может определить – куда движется автомобиль и насколько он ближе к человеку, чем строения на заднем плане (иллюстрация University of Bristol).

А чтобы слепой мог по ней ориентироваться, система CASBLiP применяет вторую разработку — программу, созданную в университете Лагуны (Universidad de La Laguna). Она превращает пространственную информацию в трёхмерную акустическую карту, в которой каждый объект представлен звучащей точкой.

Её громкость, тон и определяемое благодаря стереозвуку пространственное расположение помогает слепому представить окружающий мир. При этом, дабы максимально оперативно смещать звуковое поле в наушниках при повороте головы вправо и влево, шлем ещё оснащён специально разработанным в рамках проекта гироскопическим датчиком, передающим на компьютер малейшее движение головы.

Оба аппарата неоднократно испытывались слепыми людьми в самых разнообразных условиях — от стен лабораторий до реальных городских улиц. Конечно, были вопросы и замечания, но в целом все остались довольны. Обучение использованию шло быстро, и люди начинали воспринимать звуковую картину не как искусственно навязанную наушниками, а как звук, идущий непосредственно от предметов, окружающих их.


Пока с обработкой информации со стереокамеры и лазерного сканера справляется ноутбук, так что слепому приходится носить небольшой рюкзак, но кто знает, насколько достаточно мощные для CASBLiP компьютеры сократятся в размерах завтра? Не зря же авторы системы именуют её именно рабочим прототипом (фотографии CASBLiP).

Около десятка испытателей пришли к выводу, что системы типа M1 и M2 могут оказаться полезным и удобным дополнением к другим средствам помощи. Но при этом целый ряд участников эксперимента высказал мнение, что никакая электроника не заменит старую добрую белую трость или собаку-поводыря. А одна участница, тестировавшая M1, сказала, что «подсказки» системы, накладываясь на обычные звуки внешнего мира, иной раз способны, напротив, запутать человека, нежели помочь.

Другой испытатель также отметил, что наряду с новыми информирующими звуками наушники заглушают сигналы извне, по которым слепой ориентируется обычно (например по изменению в звуке собственных шагов). И это — неудобство системы.

С другой стороны, как заметил один из испытуемых, «любое новшество, которое может повысить автономию слепого человека, — позитивно». А значит, учёные и инженеры на верном пути, пусть CASBLiP и нуждается в совершенствовании.


Можно только догадываться, сколько будет стоить такой прибор даже при массовом производстве. Вероятно, никак не дешевле среднего ноутбука (фотографии CASBLiP).

Один из координаторов проекта — Гильермо Перис-Фахарнес (Guillermo Peris-Fajarn?s) из политехнического университета Валенсии говорит: «Предстоит выполнить ещё много работы, прежде чем эта система могла бы выйти на рынок. Прежде всего, нужно доказать, что она является на 100% надёжной. Мы не можем допустить неполадок, когда пользователь переходит дорогу».

По словам Гильермо, консорциум компаний и университетов принял решение продолжить работу в этом направлении даже после окончания финансирования со стороны ЕС. Также Перис-Фахарнес утверждает, что серийный продукт на основе проекта CASBLiP может появиться не ранее чем через три или четыре года.

«Мы ищем партнёров для изготовления коммерчески жизнеспособного продукта. Ведь до сих пор не существует системы, подобной этой, чтобы была доступна. А она должна дополнять существующие вспомогательные средства (те же трости). Но успех будет зависеть от миниатюризации системы и переноса камер на очки», — добавил Перис-Фахарнес.

Кроме того, участники проекта работают над интеграцией в такую систему и спутникового навигатора, который рассказывал бы владельцу — в какой точке города он находится. Вместе со звуковой картиной местности это существенно помогло бы передвижению слепого человека.

Во всяком случае техника тут окажется бесценным подарком и будет незаменимой до тех пор, пока не получат объяснения удивительные скрытые возможности человека. К примеру, умение некоторых слепых пользоваться натуральной эхолокацией, похожей на дельфинью, а других невидящих — так называемым "слепым зрением".