Человеческий язык может помочь слепым людям "видеть" мир

Вы когда-нибудь задумывались, почему целоваться приятнее, чем держаться за руки? Язык - это невероятное приспособление, хотя, как известно, его трудно изучать из-за его расположения внутри рта.

Очевидно, что он дает нам доступ к удивительному миру вкуса, но более того, он обладает большей чувствительностью к прикосновениям, чем кончики пальцев. Без него мы не можем говорить, петь, эффективно дышать или глотать вкусные напитки.

Так почему бы нам не использовать его еще больше?

Мое новое исследование посвящено тому, как максимально использовать этот странный орган - возможно, в качестве интерфейса, помогающего людям с нарушениями зрения ориентироваться и даже заниматься спортом. Я понимаю, что это может показаться умопомрачительным, но, пожалуйста, потерпите.

Мои исследования относятся к области, известной как "сенсорное замещение" - междисциплинарной науке, которая объединяет психологию, неврологию, информатику и инженерию для разработки "сенсорных замещающих устройств" (известных как SSD).

SSD преобразуют сенсорную информацию из одного чувства в другое. Например, если устройство предназначено для человека с нарушением зрения, это обычно означает преобразование визуальной информации с видео в звуковую или осязательную.

Рисование картинок на языке

BrainPort, впервые разработанный в 1998 году, является одной из таких технологий. Она преобразует видеосигнал с камеры в движущиеся схемы электрической стимуляции на поверхности языка.

Языковой дисплей" (небольшое устройство в форме леденца) состоит из 400 крошечных электродов, каждый из которых соответствует пикселю с видеокамеры. Он создает на языке тактильный дисплей низкого разрешения, соответствующий изображению с камеры.

Технология может быть использована для того, чтобы помочь жертвам инсульта сохранить чувство равновесия. А в 2015 году Управление по контролю за продуктами и лекарствами США одобрило ее использование в качестве вспомогательного средства для слабовидящих людей.

Представьте, что вы подносите руку к камере и чувствуете, как на кончике вашего языка одновременно появляется крошечная рука. Это похоже на то, как будто кто-то рисует изображения на вашем языке в виде леденцов.

Хотя BrainPort существует уже несколько лет, он не получил широкого распространения в реальном мире, несмотря на то, что стоит в десять раз дешевле, чем имплантат сетчатки глаза. Я использую BrainPort, чтобы проверить, как работает человеческое внимание на поверхности языка, чтобы понять, могут ли различия в восприятии быть причиной этого.

В психологических исследованиях существует известный метод проверки внимания, называемый парадигмой Познера (Posner Cueing paradigm), по имени американского психолога Майка Познера, который разработал его в 1980-х годах для измерения зрительного внимания.

Когда я говорю "внимание", я не имею в виду "устойчивость внимания". Внимание относится к набору процессов, которые приводят окружающие предметы в наше сознание. Познер обнаружил, что наше внимание может быть вызвано визуальными стимулами.

Если мы видим что-то движущееся краем глаза, внимание концентрируется на этом участке. Вероятно, мы эволюционировали таким образом, чтобы быстро реагировать на опасных змей, скрывающихся за углами и по краям нашего зрительного поля.

Этот процесс происходит и между органами чувств. Если вы когда-нибудь сидели летом в саду паба и услышали в одно ухо жуткий гул прилетевшей осы, ваше внимание очень быстро переключится на эту сторону тела.

Звук осы привлекает ваше слуховое внимание к общему местоположению потенциально приближающейся осы, поэтому мозг может быстро распределить зрительное внимание, чтобы определить точное местоположение осы, и тактильное внимание, чтобы быстро смахнуть ее или увернуться от нее.

Это то, что мы называем "кросс-модальным" вниманием (зрение - один из видов ощущений, аудио - другой): вещи, которые появляются в одном органе чувств, могут влиять на другие органы чувств.

Внимание к языку

Мы с коллегами разработали вариацию парадигмы Posner Cueing, чтобы выяснить, может ли мозг распределять тактильное внимание на поверхности языка так же, как на руках или других способах внимания.

Мы знаем много о зрительном внимании и тактильном внимании на руках и других частях тела, но не имеем представления о том, распространяется ли это знание на язык.

Это важно, потому что BrainPort разработан, создан и продается для того, чтобы помочь людям "видеть" через язык. Но нам необходимо понять, является ли "видение" языком тем же самым, что и видение глазами.

Ответ на эти вопросы, как и почти на все в жизни, заключается в том, что это сложно.

Язык действительно реагирует на информацию примерно так же, как руки или зрение, но, несмотря на невероятную чувствительность языка, процессы внимания несколько ограничены по сравнению с другими органами чувств. Язык очень легко чрезмерно стимулировать, что приводит к сенсорной перегрузке и затрудняет восприятие происходящего.

Мы также обнаружили, что на процессы внимания на языке может влиять звук. Например, если пользователь BrainPort слышит звук слева, он может легче определить информацию на левой стороне языка. Это может помочь направить внимание и уменьшить сенсорную перегрузку при использовании BrainPort в паре со слуховым интерфейсом.

С точки зрения реального использования BrainPort, это означает управление сложностью визуальной информации, которая заменяется, и, если возможно, использование другого чувства для распределения части сенсорной нагрузки.

Использование BrainPort в изоляции может быть слишком сильным для получения достоверной информации, и потенциально может быть улучшено за счет использования других вспомогательных технологий, таких как vOICe.

Мы используем эти результаты для разработки устройства, которое поможет скалолазам с нарушениями зрения ориентироваться во время восхождения.

Для предотвращения информационной перегрузки мы используем машинное обучение для определения мест для скалолазания и отсеивания менее значимой информации.

Мы также изучаем возможность использования звуковых сигналов для подсказки, где может находиться следующая зацепка, а затем используем обратную связь на языке для точного определения местоположения зацепки.

С некоторыми доработками эта технология может в конечном итоге стать более надежным инструментом, помогающим слепым или глухим или слепоглухим людям ориентироваться. Она может даже помочь параплегическим людям, неспособным использовать свои руки, более эффективно ориентироваться или общаться.The Conversation

Майк Ричардсон, научный сотрудник по психологии, Университет Бата.