Преобразование изображения в музыку позволяет слепым людям ориентироваться в окружающем пространстве

Описание

Исследователи из Еврейского университета в Иерусалиме разработали и провели испытания системы EyeMusic, основанной на технологиях замены одного вида ощущений на другие (Sensory substitution devices, SSD). В данном случае система EyeMusic в режиме реального времени выполняла преобразование изображения, получаемого с камеры, в последовательность звуков, в своеобразную музыку, что давало слепым людям возможность "увидеть" окружающую среду в звуковом оформлении. После непродолжительных тренировок все пациенты были способны ориентироваться и быстро перемещаться в окружающей среде, используя музыкальные подсказки системы EyeMusic.
[banner_centerrs] {banner_centerrs} [/banner_centerrs]

Развертка получаемого камерой изображения осуществляется непрерывно, каждая новая полоса развертки отмечается соответствующей звуковой меткой, чем выше положение текущей развертки, тем выше, соответственно, частота звука метки. Помимо этого пользователю системы EyeMusic предоставляется возможность сфокусировать камеру и звуковую развертку изображения на небольшой области, что позволяет человеку получить более подробное представление об интересующем предмете, потрогать его и взять в руки.

Алгоритм системы EyeMusic использует звучание различных музыкальных инструментов для того, что бы дать пользователю возможность различать цвета. К примеру, белому цвету соответствует вокал, синему - звук трубы, желтому - скрипка, черному - полная тишина. Каждый инструмент может воспроизводить по пять октав, которые были тщательно отобраны профессиональными музыкантами. В большинстве случаев синтезируемый системой EyeMusic звук приятен для слуха человека, по крайней мере не раздражает человека. Примеры синтезируемых системой EyeMusic звуков можно услышать, обратившись по этому адресу.

Проведенные исследования продемонстрировали, что после короткого периода подготовки, около получаса времени, пользователи смогли уверено перемещаться в окружающем пространстве, используя систему EyeMusic. Этот факт работает в поддержку гипотезы о том, что представление пространства внутри мозга не зависит от метода получения информации. Таким образом, любому человеку доступно воссоздание картины окружающей среды по звукам, а после приобретения некоторого опыта с помощью звука можно точно ориентироваться и быстро перемещаться в пространстве.