Хелен Папагианнис Дополненная реальность. Все, что вы хотели узнать о технологии будущего

Глава 4. Дополненный звук и аудиогарнитура

жүктеу/скачать 0,82 Mb. бет 8/14 Дата 03.02.2023 өлшемі 0,82 Mb. #64935

Бұл бет үшін навигация:

• Дополненный звук с привязкой к местности
• Дополненный звук для сочувствия и понимания
• Помощь людям с ослабленным зрением при перемещении по городу
• Создание полезных технологий для всех
• Окружая вас звуком
• Воображение и игра со звуком
• Дополненный звук и персонализация
• Постоянно работающая аудиогарнитура

Глава 4. Дополненный звук и аудиогарнитура Звук позволяет нам существовать как в окружающей среде, так и перенестись в какое-то другое место. Слушая, мы можем создать «театр разума», где, используя свое воображение, можно создавать визуальные образы или даже путешествовать во времени. Уже сейчас в нашей жизни встречаются многочисленные примеры звукового дополнения нашей среды: например, человек, едущий в набитом поезде, который не слышит окружающий его шум благодаря шумоподавляющим наушникам, или женщина, которая слушает свою любимую рок-музыку в самолете во время взлета и посадки. В будущем дополненный звук позволит нам блокировать «шум» повседневной жизни и обеспечит более сильные ощущения от звуковых эффектов. «Когда люди говорят о технологии дополненной реальности, они обычно считают, что речь идет только о визуальных эффектах, которые накладываются камерой на изображение. Это всегда касается визуального ряда. Но не многие знают, что то же самое можно делать и со звуком», – сказал Майкл Брейденбрюкер, соучредитель Last.fm и основатель RjDj (Reality Jockey Ltd.). Заблуждение о том, что AR – это только визуальные эффекты, сохраняется и по сей день, несмотря на то, что звук не менее гибок и транспортабелен и зачастую не требует визуального дополнения. Звуковые эффекты могут быть использованы как вместе с другими дополненными ощущениями, так и самостоятельно. Звук может помочь вам лучше ориентироваться в пространстве и быстрее находить необходимую информацию, испытывать яркие ощущения, раскрывать воображение, изменять окружающую среду. В этой главе рассматривается каждая из областей применения дополненного звука и приводятся примеры различных аудиогарнитур, завоевавших популярность на растущем рынке носимых устройств. В дополнение к получению данных из уха о здоровье и активности пользователя, аудиогарнитура позволяет создавать новые формы взаимодействия и общения, включая цифровую умную поддержку, реагирующую на голосовые команды в режиме реального времени. Дополненный звук с привязкой к местности Навигация на местности, информационный тур по музею или управляемая медитация – все это примеры того, как записанный или воспроизводимый в прямом эфире голос становится вашим проводником в своеобразном путешествии. Звук может сделать ваше окружение ярче, дополнив его аудиоэффектами или музыкой, сфокусировав ваше внимание на деталях, которые вы не заметили бы самостоятельно. Дополненный звук может открыть новые грани и качества этого мира. Джанет Кардифф из Канады известна во всем мире своими запоминающимися аудиопрогулками, которые она записывает с 1991 года. Кардифф так говорит о своей работе[51]: Аудиопрогулки похожи по своему формату на аудиогид. Вы берете CD-плеер или iPod и встаете или садитесь в определенном месте и нажимаете на кнопку воспроизведения. На CD вы слышите мой голос, дающий указания, например, «поверните налево» или «войдите в эту дверь», накладываемые на фоновый звуковой ряд: звук шагов, машин, птиц или другие звуковые эффекты. Это важная часть записи. Виртуальный записанный звуковой фон должен соответствовать характеристикам реального мира, чтобы создаваемое новое пространство воспринималось как «бесшовное сочетание» реального и дополненного. В своих записях я не только направляю слушателей, но и делюсь своими мыслями и информацией, которая побуждает дослушать лекцию до конца. Кардифф создает смешанную реальность со звуком в качестве основного элемента, ведя адресованное лично вам повествование в людном месте и делая это место для вас более индивидуализированным. Она также говорит[52], что ее прогулки можно назвать одной из форм «путешествий во времени». Работа Кардифф служит отличным примером прообраза дополненной звуковой реальности, ставшей доступной с использованием современных технологий. Эндрю Мэйсон является основателем и генеральным директором Detour[53], стартапа из Сан-Франциско, предлагающего коллекцию аудиопрогулок дополненной реальности под названием Detours. Мэйсон отмечает, что работа Кардифф, наряду с проектами других создателей, произвела огромное впечатление на него. «Первое, что я сделал, когда начал изучать эту идею, – это стал путешествовать по всему миру, чтобы тестировать разные аудиофайлы, привязанные к местоположению», – объясняет он. Среди них были: «Прогулка с Кардифф по Центральному парку»[54], «Аудиопрогулка по Бруклину» и «Необычные прогулки по Лондону»[55], созданные Фран Панеттой. «Эти работы побудили меня создать звуковую реальность, привязанную к местоположению, для создания кинематографического эффекта в реальной жизни, переноса слушателей в другой мир и максимального погружения их в ощущения и опыт других людей», – отмечает Мэйсон. При включенном приложении Detour, голос местного рассказчика автоматически сопровождает вас в наушниках по ходу движения. Мэйсон отмечает, что Detour отличается от других приложений аудиотуров тем, что при его использовании нет необходимости постоянно брать в руки телефон или щелкать по значкам на карте для воспроизведения аудио. «Мы хотели создать такое приложение, которое позволило бы людям почувствовать, будто их сопровождает кто-то из местных, а технологическая подоплека отошла бы на второй план», – говорит Мэйсон[56]. Когда аудиосопровождение само по себе становится интерфейсом, а смартфон лежит в вашем кармане с выключенным экраном и вам не нужно постоянно на него смотреть, вы можете сосредоточиться на том, что вас окружает, и на рассказе вашего гида. Detour отличается от обычных аудиогидов тем, что эта технология знает ваше местоположение на протяжении всего времени работы, делая возможным динамичное использование, адаптируемое под ваш темп ходьбы, время суток и даже погоду. Нет необходимости нажимать кнопку «Воспроизведение» каждый раз, когда вы достигаете следующего пункта своего маршрута: программа анализирует ваши движения и автоматически определяет, что вы уже там. Для этого Detour использует GPS, iBeacon и другие датчики в вашем смартфоне, определяя точное местоположение. iBeacon – это разработка компании Apple, работающая на базе энергоэффективной беспроводной технологии Bluetooth Low Energy (BLE) для предоставления информации и услуг на основе вашего местоположения. Ее можно использовать при неуверенном приеме сигнала GPS. Сами маяки[57] – это недорогие Bluetooth-передатчики, которые работают как датчики определения расстояния. Приложения на iOS получают сигнал этих маяков и реагируют, когда ваш телефон или планшет попадает в зону охвата сигнала. iBeacon используются в работе приложения Detour, чтобы автоматически запускать конкретную аудиозапись при приближении к определенной геопозиции. В дополнение к iBeacon, Detour использует акселерометр вашего телефона, фиксирующий ваши движения и шаги, и магнитометр для определения направления, в котором вы смотрите. Дополненный звук для сочувствия и понимания Detour был создан для того, чтобы «помочь людям заглянуть за обычно непроницаемую перегородку и открыть для себя то или иное место по-новому», – говорит представитель компании Харис Батт[58]. Detour позволяет вам посетить уникальные места, как, например, Тендерлойн, один из самых необычных и быстро меняющихся районов Сан-Франциско, чтобы увидеть ту его часть, которую немногие могут увидеть, а большинство не замечает. В ходе аудиопрогулки вы не только слушаете рассказы о людях, которые здесь жили и работали, но и можете зайти в церковь, которую они посещали, или в хостел, где они останавливались. «Когда вы повторяете те же движения, которые когда-то совершал кто-то другой, в этом есть нечто, что помогает лучше понять чувства, испытываемые другими людьми», – говорит Марианна Маккьюн, разработчик Detour. Маккьюн 15 лет проработала репортером на радио. Она начинала с молодежной радиопередачи на общественном радио Нью-Йорка под названием Radio Rookies[59], в которой подростки, живущие в неблагополучных районах, рассказывали истории о себе и своей жизни. Маккьюн описывает одну из задач этой программы следующим образом: «Они рассказывают истории о том, что, по их мнению, важно для аудитории, имеющей с ними мало общего, чтобы более образованные и обеспеченные радиослушатели могли лучше понять, как они живут». Она приводит в качестве примера рассказ одной из девушек-подростков, Ширли Диас, по прозвищу Звезда, выступавшей на Radio Rookies. Она говорила на темы, обычно замалчиваемые широкой аудиторией. «Но когда вы слушаете ее, вы чувствуете, что погружаетесь в ее жизнь и начинаете понимать ее точку зрения, – говорит Маккьюн. – Она ведет вас по своему миру так, что вы можете увидеть этот мир ее глазами. Поэтому вы не отстраняетесь, как если бы наблюдали за ее жизнью со стороны, а смотрите на все с ее точки зрения». «Я думаю, что у Detour есть потенциал, чтобы добавить еще один уровень, позволяющий увидеть мир глазами других людей: это даст вам возможность буквально почувствовать то, что испытал кто-то другой», – говорит Маккьюн. Она приводит в пример письмо, которое она получила от человека, попробовавшего аудиопрогулку Detour по Тендерлойну[60]. «Я и несколько моих коллег заинтересовались этой аудиопрогулкой, потому что наши офисы находятся рядом с Тендерлойном, но мы мало что знали об этом районе, – говорится в письме. – Самым ярким моментом единения с программой было, когда когда мы зашли в церковь Святого Бонифация и увидели всех этих бездомных, спящих на церковных скамьях. Мы пожертвовали им кое-какие лекарства и поболтали с одним из волонтеров, который оказался бывшим наркоманом, самостоятельно излечившимся от зависимости». В результате этой прогулки завязалась оказавшая на нас большое влияние беседа, которая, скорее всего, не произошла бы при обычных обстоятельствах. Письмо заканчивалось так: «Странно, как нечто такое простое, как небольшое пожертвование и общение с этим человеком, может полностью изменить ваше отношение к целому району». Маккьюн комментирует это следующим образом: «Я думаю, что сочетание звукового сопровождение и физическое присутствие в описываемом месте побуждают людей выходить за привычные рамки». Дополненный звук обладает способностью преодолевать определенные психологические барьеры и способствовать лучшему пониманию окружающих и сопереживанию. Это помогает вам не только увидеть мир чужими глазами, но и физически ощутить себя на месте другого человека. Это может вдохновить вас на определенные действия и даже изменить всю вашу жизнь, даже если толчком для этого будет простой разговор с кем-то, с кем при обычных обстоятельствах вы бы никогда не встретились. В виртуальной реальности также используются технологии, прокладывающие дорогу разработкам, связанным с сопереживанием. «Облака над Сидрой» (2014) – VR-фильм, снятый режиссером Крисом Милком при поддержке Организации Объединенных Наций. В фильме рассказывается история 12-летней девочки по имени Сидра, живущей в сирийском лагере беженцев в Иордании. Фильм был показан на Всемирном экономическом форуме в Давосе в январе 2015 года группе лидеров, решения которых влияют на жизнь миллионов людей. Как отмечает Милк, эти люди, возможно, никогда бы не испытали тех чувств, которые испытывают живущие в палатках беженцы. Когда вы используете гарнитуру VR и смотрите с ее помощью «Облака над Сидрой», вы наблюдаете за миром маленькой девочки, видя его на 360 градусов во всех направлениях. Вы не смотрите на Сидру через телевизионный экран, а сидите прямо в ее комнате, слышите ее голос, как будто вы находитесь рядом. Ее мир становится и вашим миром тоже. Когда вы смотрите вниз, вы видите, что вы сидите на той же земле, что и она. «Из-за этого, – говорит Милк[61], – вы лучше понимаете ее ощущения. Вы сопереживаете ей сильнее». Хотя технология VR специально предназначена для того, чтобы переносить вас в места или среды, не доступные вам физически, с помощью AR можно еще сильнее увеличить степень сопереживания, как это было сделано в Detour, побуждая вас взаимодействовать с вашей средой, когда это возможно. Одна из целей Мэйсона в использовании Detour – это заставить людей выйти из своей зоны комфорта и начать исследовать окружающий их мир. «Во многих компаниях, похоже, считают наивысшей ступенью развития создать такую возможность, при которой вы будете постоянно сидеть на своем диване в гостиной, куда вам будут доставлять еду, привозить и забирать вашу одежду и где вы сможете общаться с вашими друзьями с помощью VR-гарнитуры Oculus Rift, – говорит Мэйсон[62]. – Возможно, я покажусь вам ретроградом, но я люблю жизнь в ее привычном понимании. Я хочу, чтобы Detour стала компанией, которая поможет людям получать больше позитивных эмоций». Большинство туров являются журналистскими по своему типу, так как в них рассказывается об истории, людях и окрестностях, но в Detour с его дополненными аудиопрогулками, есть, например, проект, в котором рассказывается о войне с мусором в Сан-Франциско. План развития города называется «Нулевые отходы» и его цель – перестать направлять на свалку или сжигание все отходы к 2020 году. Это означает повторное использование или переработку всего, что выбрасывается в Сан-Франциско. Вместо того, чтобы просто показывать вам груду мусора и свалку, данный проект помогает вам задуматься о том, сколько мусора ежедневно производится, показывая вам различные стороны повседневной жизни в Сан-Франциско. Detour изменяет ваше привычное видение мира, благодаря аудиосоставляющей, и вдохновляет на перемены, которые продолжаются еще долго после завершения тура. Помощь людям с ослабленным зрением при перемещении по городу Дополненные аудиопрогулки, такие как Detour и Cardiff, позволяют вам глубже погрузиться в ваше физическое окружение, открывая новый мир, с которым вы, возможно, ранее не сталкивались. Но как насчет людей, которым, возможно, придется полагаться на такую технологию, чтобы просто ориентироваться в повседневной жизни? Cities Unlocked от Microsoft – это новая аудиотехнология, разработанная для незрячих людей, чтобы помочь им перемещаться по городскому пространству. «Я был вдохновлен на создание этого проекта, когда родилась моя дочь и у нее были выявлены проблемы со зрением, – говорит[63] Амос Миллер из Microsoft, у которого также ослаблено зрение. – Я хотел вывести ее прогуляться или пойти с ней в кино и подумал: «Как сделать так, чтобы можно было заниматься подобными вещами без колебания?» Он рассказывает, как система навигации «рисует картину мира с помощью звука, подобно тому, как маяк указывает направление при помощи света» и как эта система снимает страх у людей перед новыми путешествиями. При ношении специальной аудиогарнитуры, использующей костную проводимость и подключенной к вашему смартфону, вы слышите голос, направляющий вас и описывающий место, в котором вы находитесь. Такая гарнитура надевается над челюстной костью и при помощи вибраций передает звук через челюстную кость к внутреннему уху. Это позволяет слышать окружающие звуки, не надевая наушники. Маленькая коробочка, расположенная на задней панели гарнитуры, содержит акселерометр, гироскоп, компас и микросхему GPS для отслеживания вашей позиции. Система подключена к вашему смартфону с данными о местоположении и навигации с GPS и Microsoft Bing Maps[64], чтобы направлять вас, а также ориентируется на сеть радиомаяков с поддержкой Bluetooth (так же, как и в Detour), размещенных в различных районах города. Направляющая аудиотехнология используется для создания трехмерного звукового ландшафта, указывая направление движения и описывая ориентиры по мере продвижения. Если интересующее вас место находится в 10 метрах впереди и справа, голос, уведомляющий вас об этом, будет звучать так, как будто исходит именно оттуда. В дополнение к пошаговым направлениям голосом звуковые сигналы сопровождают вас во время передвижения, например особый сигнал будет указывать на то, что вы придерживаетесь правильного курса, а другой звук предупредит вас о приближении к обочине. Вы также можете запросить у системы дополнительную информацию о местных достопримечательностях, например часы работы, и получить эту информацию из базы данных Bing с помощью голосового или механического запроса. Кроме того, Microsoft разработала интегрированное приложение под названием CityScribe, позволяющее людям помечать в своем городе препятствия, которые не отмечены на большинстве интерактивных карт, такие, как, например, скамейки в парке, низкие выступающие углы, мусорные баки или уличная мебель. Кейт Риддл – одна из тех, кто тестирует гарнитуру Microsoft. Будучи человеком с сильно ослабленным зрением, она отмечает, что эта технология помогает ей посещать новые места и не волноваться, если что-то выйдет из-под контроля, в то время как раньше ей приходилось несколько раз пройти по одному и тому же пути, прежде чем запомнить его особенности. «Благодаря этой технологии я не испытываю больше такого сильного стресса, когда оказываюсь в новом месте, – говорит[65] она. – Это сильно расширяет мои возможности и делает путешествие приятным, а не сложным. Вместо того чтобы выходить в новое место, «потому что нужно», теперь я делаю это «потому что могу»». Для таких людей, как Риддл, эта технология действительно меняет жизнь. Технология Cities Unlocked может получить и более широкое применение. В видеоролике[66] Microsoft рассказывается о том, что нетрудно представить, как в ближайшем будущем эта технология будет использоваться для решения всех видов повседневных задач, таких как поиск ближайшего туалета в большом торговом центре или изучение нового города, когда вы не говорите на местном языке. Эта технология может не только направить вас в интересующее место, но и придать уверенности, позволяя лучше ориентироваться в окружающем пространстве и теснее взаимодействовать с миром. Создание полезных технологий для всех Звук является одним из элементов технологии Cities Unlocked. Первооткрыватель в области взаимодействия человека и машины и главный научный сотрудник Microsoft Билл Бакстон заявляет, что его любимая часть проекта – это не технология, а момент, когда ощущение присутствия технологии исчезает. «Самая лучшая технология – это та, которую ты не замечаешь. Она просто становится частью нашей жизни, – говорит Бакстон[67]. – Правильно взаимодействуя с технологией, пользователь должен чувствовать себя не оператором оборудования, но просто человеком. Идя по улице, вы должны думать о том, что хотите попасть на работу или просто подышать свежим воздухом, или позаниматься спортом, а не о том, что вы управляете при этом какой-то технологией». Ключ к совершенной разработке для Бакстона прост и заключается в следующем: если вы понимаете потребности ограниченного круга пользователей и делаете для него продукт, то в итоге можете сделать нечто полезное для всех. Он приводит следующее объяснение: Я как конструктор интерактивных технологий основное внимание всегда уделяю качеству человеческого опыта. Я очень рано понял, что, если вы хотите что-то понять, нужно, прежде всего, разобраться с экстремальными проявлениями и попытаться понять тех, кто находится на самом краю. Практически всегда то, чему вы научитесь у этих людей, будет справедливо и для всех остальных. Я обратилась к Бакстону[68] с просьбой подробно остановиться на идее разработки «крайних случаев» в интересах всех. Он ответил: «Cities Unlocked – пример такой разработки, нацеленной на узкую аудиторию, которая затем подтолкнула вперед развитие технологии дополненного звука в целом». Бакстон указал мне на его «любимую ссылку» в статье Фрэнка Боуи 1987 года «Создание компьютеров, доступных для людей с ограниченными возможностями»[69]. Боуи писал: «Если бы опции, необходимые разным пользователям, были интегрированы во все компьютеры, качество жизни миллионов людей с ограниченными возможностями могло бы быть значительно выше». Он приводит дизайн зданий как наиболее частый пример концепции всеобщей доступности, ссылаясь на архитектуру и форму автоматических дверей и одноуровневых поверхностей при входе. «Эти особенности архитектуры кажутся нам естественными: они не выглядят так, как будто они были созданы специально для людей с ограниченными возможностями», – отметил Боуи. Он привел в качестве примера пандус, наблюдая за тем, как на каждого человека в инвалидной коляске приходится десять человек без ограничений в возможностях, которые также его используют: родители с детскими колясками, велосипедисты, грузчики и просто пешеходы, которым удобнее подниматься по рампе, чем по лестнице. Боуи приводит примеры, которые подтверждают, что технология, разработанная для удовлетворения особых потребностей пользователей-инвалидов, оказалась применима для всех. Он отметил также компьютеры, которые разрабатывались для понимания и распознавания человеческой речи (в 1987 году), оказавшиеся полезными для таких людей, как руководители, неохотно использующие клавиатуру, или сотрудники, руки которых заняты для выполнения других задач, как, например, у инспекторов качества на заводских сборочных линиях. Я спросила Бакстона, думал ли он, что принципы разработки новых технологий изменились с тех пор, как статья была написана три десятилетия назад. Его ответ был следующим: «В процессе разработки решений, предназначенных для широких масс, создаваемые новые технологии могут помочь и людям с ограниченными возможностями, и наоборот». Это важный момент, поскольку мы разрабатываем будущие технологии дополненной реальности и хотим, чтобы они стали доступными и полезными для как можно большего количества людей. Окружая вас звуком Звук используется в VR для усиления реалистичности виртуальных мест, чтобы они ощущались как настоящие. Мы увидим, что звук применяется в AR в большей степени для увеличения чувства погружения, начиная от звуковых эффектов и заканчивая голосовыми взаимодействиями. Принцип работы проектов Cardiff, Detour и Cities Unlocked заключается в наложении на реальный мир дополнительной виртуальной составляющей, обеспечивая возможность перемещаться в голосовом сопровождении соответствующей программы. В дополнение к навигации звуковое сопровождение позволяет усилить повествовательный и развлекательный эффект дополненной реальности. Джоэл Сьюзэл, директор по VR и AR компании Dolby, говорит[70]: «Аудио в виртуальной реальности – это не роскошь, это необходимость». Он указывает, что в реальной жизни нет границ, мы ощущаем мир вокруг нас во всех направлениях. В VR мы должны стремиться к тому же. В отличие от традиционных фильмов, в которых наше внимание может быть обращено на определенные точки на экране, создание трехмерной среды требует больше, чем просто визуальных стимулов. «Положение ваших ушей изменяется в зависимости от положения головы», – по мнению Сьюзэл, поэтому так важна направленность звука. Звук добавляет степень погружения в среду VR, позволяя кинематографистам сделать вас частью описываемой истории. В Cities Unlocked используются пространственные звуковые сигналы, чтобы направлять пользователя, имитируя звук, исходящий из определенного места. Этот же эффект может применяться в VR и AR, чтобы помочь привлечь внимание пользователя в повествовании или в игре. При ношении очков AR, таких как HoloLens[71] от Microsoft (оснащенных двумя маленькими динамиками, расположенными рядом с ушами), когда вы отворачиваете голову и тело от предметов, издающих звуки, звук передается так, будто его источник находится позади вас, и наоборот – если вы поворачиваетесь к источнику звука. Аналогично, когда вы приближаетесь к виртуальному объекту, звук становится громче. Это помогает сделать виртуальные объекты более реальными. Например, во время игры в AR вы сможете услышать, как виртуальный дракон приближается к вам и ревет в ваше левое ухо. Аудиотехника компании HyperSound[72] обеспечивает еще один способ создания эффекта погружения. Подобно тому, как фонарик направляет луч света, Hypersound направляет звук в виде узкого пучка, используя ультразвуковые волны и концентрируя его в определенном месте для создания точной звуковой зоны. Люди, находящиеся вне области звука, не слышат его, тогда как для людей внутри звуковой зоны, эффект напоминает звук в наушниках. Можно создать частную зону прослушивания в общественном месте или направить звуковой пучок в целевое местоположение. Например, McDonald’s использует HyperSound в экспериментальной программе, чтобы направлять звук телевизора на определенные столы в своих ресторанах, позволяя определенным посетителям слышать звук телевизора и не нарушая покой остальных. Данная технология находит самое широкое применение: от дисплеев в магазинах[73] и музейных интерактивных платформ до игр[74]. Йорг Мюллер[75], доцент информатики Орхусского университета (Дания) разработал уникальный прототип BoomRoom[76], который позволяет напрямую взаимодействовать с виртуальными источниками звука прямо в воздухе. Мюллер и его команда создали небольшую комнату (три метра в диаметре), окруженную кольцом из 56 динамиков, скрытых за шторами. Используя компьютерное зрение и отслеживание жестов, можно управлять звуками как в движении, так и оставаясь неподвижным. Пространственная музыкальная комната была построена как приложение для целой системы. Музыкальный трек может быть присвоен объекту, находящемуся в этой комнате, например вазе. Чтобы трек заиграл, вы должны поднять вазу в воздух и «вылить» его из нее. Жесты, такие как разведенные в стороны или сведенные вместе руки, могут управлять громкостью, высотой частот и басами. Мюллер пишет: «Мы считаем, что способность «касаться» источников звука в воздухе и заставлять объекты «говорить» открывает много новых возможностей для взаимодействия человека и компьютера». В качестве примера он описывает «шариковый автоответчик», представляющий собой чашу, наполненную мраморными шариками: Когда из чаши достают один шар и несут его через комнату, он начинает воспроизводить записанное сообщение. Если пользователь хочет удалить сообщение, он может просто вытащить его из шара и выбросить в корзину. На шарик можно даже записать ответ и отправить его автору сообщения. Если сообщение необходимо сохранить, нужно просто переложить шарик в другую чашу. Конечно же, сам по себе шар не воспроизводит звук, это иллюзия. Это обычный шарик, а колонки, встроенные в стены, воспроизводят звук так, что кажется, будто он исходит из самого шара. Мюллер говорит: «Идея заключается в том, что все объекты сами по себе абсолютно обычные и не являются инструментами». В другом примере Мюллер описывает, как непрочитанные электронные письма могут принять форму стаи птиц, сидящих или парящих в комнате с новыми сообщениями и срочными письмами, пролетающими прямо над пользователем, и все они также создают направленный звук. Различным отправителям можно присвоить разные звуки чириканья птиц. Если пользователь хочет прочитать сообщение, он может подойти к птице, «коснуться» ее в полете, и сообщение будет прочитано голосом. Также можно отвечать или пересылать электронные письма, поймав и направив птицу в соответствующем направлении. Дополненный звук может создавать новые способы взаимодействия с нашим повседневным миром. И это не столько об автоответчике-шарике или о стае птиц, отправляющих ваши электронные письма, сколько о разработке новых парадигм взаимодействия, которые раньше не были возможны. Такое творческое и художественное переосмысление привычных действий вдохновляет на переосмысление того, как мы взаимодействуем с информацией и какие новые уникальные типы взаимодействия можно придумать. Для интеграции BoomRoom в повседневную жизнь необходимо, чтобы панели с колонками стали достаточно дешевыми для встраивания их в стены вашего дома. На данный момент прототип заставляет задуматься о том, как мы можем применять дополненный звук для общения и взаимодействия с окружением, используя движения тела. Воображение и игра со звуком Японским стартапом в сфере носимых технологий Moff Band[77] было разработано устройство для детей, в котором сочетание движений и звуков способствует развитию воображения во время игр и чтения. Надеваемый браслет подключается к приложению на вашем смартфоне или планшете через Bluetooth и использует встроенный акселерометр и гироскопические датчики для определения того, какие движения делает ребенок. Выбранные звуковые эффекты воспроизводятся в реальном времени в зависимости от движений ребенка и включают такие звуки, как, например, барабаны и гитара, лязг японских мечей или звуки, относящиеся к различным видам спорта. Moff Band может распознать два отдельных движения: перемещение руки влево-вправо и вверх-вниз. Вы можете находиться на расстоянии до 10 метров от устройства, и оно будет реагировать на вас, издавая звуки. Двое детей (или взрослых) могут использовать Moff Band, чтобы играть вместе. Например, повторяя движения, совершаемые во время игры в теннис, вы будете слышать звуки отскакивающего теннисного мяча, взмахивая в воздухе воображаемой ракеткой. Кроме того, вы услышите восторженные крики виртуальных зрителей. Moff Band сочетает технологию с физической активностью: дети прыгают и двигаются, чтобы проигрывать звуки. Moff Band в сотрудничестве с телеканалом PBS KIDS запустили приложение PBS KIDS Party. Это приложение (для детей 5-8 лет) предназначено для того, чтобы помогать в обучении через творческие игры и движения при ношении браслета. Приложение включает в себя игры Freeze Dance[78] и Piñata Party[79], а также игру, развивающую счет, и позволяет записывать свои собственные звуки. Konstruct[80] – это AR-приложение, разработанное Джеймсом Аллибаном в 2011 году, и основанное на технологии лондонской компании String[81]. Эта технология позволяет создавать виртуальные скульптуры с помощью смартфона и вашего голоса. Это еще один способ применения дополненного звука: вместо того, чтобы использовать звук для дополнения визуального восприятия, делая его более реалистичным, Konstruct создает абстрактные визуальные эффекты с помощью вашего голоса. По аналогии с Moff Band, оно реагирует на звуки, которые вы производите: речь, свист и даже если вы просто подуете на микрофон. Вы можете комбинировать различные трехмерные фигуры, цветовые палитры и настройки для создания бесконечного набора виртуальных образов. Уровень громкости также влияет на размер фигур. Как Moff Band, так и Konstruct создают виртуальные образы, позволяющие экспериментировать со звуком при помощи вашего воображения, в результате чего каждый раз получаемые образы могут быть персонализированными, настраиваемыми и уникальными. Одной из причин, позволяющих этой технологии создавать эффект погружения, является создание уникальных образов для каждого конкретного пользователя. Дополненный звук и персонализация RjDj, стартап, основанный в Лондоне в 2008 году соучредителем Last.fm Майклом Брейденбрюкером, в котором он реализовал разработанную им нелинейную музыкальную форму под названием реагирующая музыка. Эта музыка реагирует на слушателя и его среду в реальном времени с помощью приложения для смартфонов. Надев наушники, пользователь слышит персонализированную звуковую дорожку, созданную из звуков его физического окружения, которые были записаны с помощью встроенного в смартфон микрофона и микшированны в реальном времени. Хотя в 2013 году сайт RjDj был закрыт и приложение было удалено из открытого доступа, созданные компанией инновации и сегодня остаются актуальными в области дополненного звука. Мы все знакомы с идеей персонализированных плейлистов (Last.fm разработала такой сервис), но RjDj выходит за обычные рамки, персонализируя музыку и песни, чтобы они реагировали на вас и ваше окружение. «Потребовалось почти 10 лет для того, чтобы моя первоначальная идея, благодаря новым технологиям, обрела форму и стала RjDj», – говорит Брейденбрюкер[82]. Приложения RjDj используют новые способы взаимодействия, доступные с iPhone, такие как встроенные элементы, сенсоры, портативность, и создают музыкальный сервис, который раньше был невозможен. Креативный директор RjDj Роберт Томас рассказывает о технологии этих приложений: Приложения RjDj были созданы на базе программного обеспечения «Pure data», находящемся в открытом доступе. В RjDj разработали свой собственный порт для iPhone. У нас был свой собственный инструментарий для создания дополненных звуковых эффектов. В работе наших приложений участвует практически каждый датчик, который можно найти в iPhone, включая информацию о движении, времени, погоде, местоположении и, конечно же, микрофон, позволяющий определить громкость и звуковые частоты. Сегодня приложения дополненного звука, такие как Detour, используют датчики смартфона для определения особенностей вашего окружения, получая информацию о вашем местонахождении и генерируя контент, соответствующий этому месту. Мы рассмотрим также датчики, применяющиеся в других аппаратах, помимо смартфонов, в том числе AR-очках и других устройствах, воздействующих на человеческие чувства. Датчики будут играть важную роль в грядущем будущем AR-технологий, способствуя созданию персонализированного контента, благодаря которому мы сможем быть более вовлеченными в окружающую среду и взаимодействовать с ней по-новому. Here One[83] – это новый продукт компании Doppler Labs, состоящий из пары беспроводных наушников, подключающихся к смартфону через Bluetooth. Here One управляет звуками окружающей среды в реальном времени, создавая персонализированный звук. В первую очередь, Here One создавался для музыкантов и любителей музыки. Используя в приложении элементы управления уровнем высоких, средних и низких частот и эффектов, таких как, реверберация, эхо или фланжер, вы можете настроить звук вокруг вас в зависимости от ваших предпочтений и даже создать новый звук. «Here One не транслирует и не воспроизводит записанную музыку, – объясняет глава компании Ноа Крафт, – «вместо этого цифровой сигнальный процессор внутри Here One действует как звуковая студия в ушах, предоставляя вам регулятор громкости, эквалайзер и эффекты для преобразования звуков в реальном мире». Крафт прогнозирует следующую версию Here One, которая будет обеспечивать выделение определенных частот и тонов для коррекции шума реального мира, например детского плача или шума проезжающего поезда. В этой связи мы можем рассматривать Here One как форму настраиваемой реальности (глава 2), «самостоятельно созданного личного пространства», как описывает его Стив Манн, но здесь основное внимание уделяется звуку, а не картинке. В отличие от настраиваемой реальности, отделяющей нас от мира и друг друга, такие программы, как Here One, могут использоваться для того, чтобы сфокусироваться на чем-то, изолировав нежелательные и усилив интересующие звуки, такие как, например, голос человека, с которым вы обедаете в шумном ресторане. Для Крафта будущее Here One контекстуально. Он описывает то, как видит применение этого приложения, следующими словами[84]: Мы рассматриваем его как устройство, которое вы вставляете в ухо и оставляете, пока различные внешние условия оптимизируются. Машинные алгоритмы, над которыми мы работаем, будут по-настоящему интуитивными. Итак, представьте, что вы идете в ресторан, где, используя геопозиционирование и статистические данные, полученные в результате анализа ваших предпочтений, мы можем сказать: «Эй, Билл, мы знаем ваши предпочтения в уровне шума». Обычно когда вы идете в ресторан, вы уменьшаете уровень громкости на пятнадцать процентов. Но мы также знаем параметры этой комнаты, и мы знаем, что вы находитесь в левом углу, где присутствует двусторонняя реверберация. И поскольку вы переключили аппарат в режим разговора, мы активизируем направленные микрофоны и снизим уровень внешнего шума, чтобы, находясь в заднем углу, вы могли с комфортом пообщаться с вашим собеседником. Крафт говорит о VR как о технологии, которая изолирует и «выводит вас из реальности», и он, так же как и Мейсон из Detour, хочет, чтобы вы были сильнее погружены в реальность. Крафт верит в будущее, в котором «вам не нужно будет сидеть и смотреть на лица на экране, как мы все делаем это сейчас», и где мы будем использовать наши чувства расширенным образом для реализации их полного потенциала, будь то снижение внешнего шума или запуск интеллектуального помощника голосовыми командами. Постоянно работающая аудиогарнитура Беспроводные наушники-вкладыши, такие как Here One, создают новый способ слушать и взаимодействовать с вашим окружением. Как говорит Ноа Крафт, аудиогарнитура позволяет настраивать вашу среду с помощью голосовых команд. Голос – это самый распространенный инструмент для общения, и мы давно привыкли к наушникам и беспроводным Bluetooth-гарнитурам; это все может помочь быстрее интегрировать эти устройства в нашу жизнь. Ноэль Ли, основатель и главный исполнительный директор компании-производителя наушников Monster, говорит, что наушники – это «первое общедоступное носимое устройство»[85]. Современная тенденция в развитии носимых устройств заключается в том, чтобы сделать их незаметными, и ухо обеспечивает хороший потенциал для этого. Основной целью создания портативных наушников от Motorola – Moto Hint, впервые представленных в 2014 году, было сделать их незаметными для пользователя, мультидоступными и способными воспринимать голос. Hint – это наушник, который помещается внутри уха и совместим с любым смартфоном или планшетом, поддерживающим функцию Bluetooth. Он оснащен динамиком, сенсорной панелью, двумя микрофонами для подавления шума, аккумулятором и ИК-датчиком приближения, который позволяет устройству автоматически включаться, когда вы вставляете его в ухо. Вы можете пользоваться Hint, чтобы звонить и отвечать на телефонные звонки, или слушать подкасты или музыку с радиусом дальности около 45 метров. Но самая интересная функция беспроводного наушника заключается в том, что вы можете с помощью вашего голоса управлять интеллектуальными персональными помощниками, такими как Moto Voice, Google Now или Siri (будущее дополненных персональных помощников описывается в главе 7). Вы можете задать вопрос и получить ответ на такие вопросы, как «Нужно ли мне брать сегодня зонтик?», «Какая у меня следующая встреча?» или «Как далеко я от дома?», не беря в руки телефон. Когда Hint сопряжен со смартфоном Motorola, таким как Moto X, наушник переходит в режим, в котором постоянно включен микрофон, и вы можете взаимодействовать с аудиогарнитурой, произнося одну из настроенных вами голосовых команд телефона. Однако при использовании Hint на iPhone или устройстве на базе Android вы не можете активировать его голосом: вам нужно будет каждый раз нажимать на иконку приложения, чтобы активировать Google Now или Siri. Хотя Hint не идеален, он способствует развитию технологии hands-free (оставляющей руки свободными) и сокращению необходимости отвлекаться, чтобы посмотреть на экран смартфона. В 2016 году Apple представила беспроводные наушники AirPods[86]. Пользователи получили доступ к Siri, дважды нажав на AirPod, без необходимости доставать iPhone из своего кармана. AirPods автоматически подключаются к вашим устройствам Apple, таким как iPhone и Apple Watch, с мгновенным переключением звука между устройствами. В проморолике AirPods Джонни Айв, главный директор по дизайну Apple, говорит: «Мы на заре беспроводного будущего, к которому шли много лет, где технология идеально объединяет вас и ваши устройства». В будущем аудиогарнитура будет иметь широкие возможности для создания персонализированного опыта, в котором отслеживается не только ваш голос, но и ваше тело. Устройства, которые носятся в ухе, могут использоваться для сбора биометрической информации, включая кровяное давление, сердечный ритм, ЭКГ и температуру тела. Компания Valencell[87]разрабатывает технологию биометрических датчиков для носимых устройств, в частности модуль датчика-вкладыша в ушную раковину PerformTek для сбора физиологических данных из уха. В технологии используется фотоплетизмография, неинвазивная оптическая техника для измерения кровотока и пульса. Используя метод фотоплетизмографии, на поверхность кожи направляется свет, и оптический детектор измеряет изменения рассеянного света от кожи и кровеносных сосудов (это часто делается в больницах с помощью устройства, которое размещается у вас на пальце). Valencell лицензирует свою сенсорную технологию PerformTek для производителей бытовой электроники, мобильных устройств и аксессуаров, спортивных и фитнес-брендов, а также компаний – производителей игр, для интеграции в их продукты. К таким устройствам относятся наушники с функцией контроля сердечного ритма от LG[88] и фитнес-гарнитура iRiver ON компании iRiver, Bluetooth-гарнитура с функцией наблюдения за частотой сердечных сокращений. Во время прослушивания музыки iRiver ON способствует более эффективной тренировке, отслеживая ваши биометрические показатели, включая частоту сердечных сокращений, сжигаемые калории, а также скорость и пройденное расстояние. Например перед тем, как начать пробежку, вы помещаете это устройство в ухо и подключаете его к своему смартфону. Во время работы устройство считывает ваши биометрические данные через наушники. Система голосовой обратной связи в устройстве позволяет уведомить вас о том, что цели по сердечному ритму и сожженным калориям достигнуты. Все данные отправляются в приложение на смартфоне в режиме реального времени и могут быть просмотрены позже. Возможности аудиогарнитуры не ограничиваются здравоохранением и фитнесом. В игровой индустрии, где широко распространено использование гарнитур, наушники с биометрическими сенсорными датчиками могут кардинальным образом изменить привычные игры. Стивен ЛеБеф, генеральный директор и соучредитель Valencell, считает, что биометрия может обеспечить более яркие ощущения от игры. Новые технологии могут быть применены в фитнес-играх, в которых ваш сердечный ритм используется в качестве основного показателя, экшн-играх, требующих от вас физически задерживать дыхание, пока ваш персонаж плавает, а также для переключения между различными игровыми режимами в зависимости от вашего настроения или напряжения. «Приглашая игрока в биометрическое путешествие по его эмоциональным состояниям, используя монитор сердечного ритма, игра может научить вас управлять стрессом без необходимости думать об этом, – говорит ЛеБеф[89]. – Например, игроки могут использовать связь между разумом и телом, чтобы превратиться из Брюса Бэннера в Невероятного Халка, просто изменив свое эмоциональное состояние». Как видно из всех примеров, приведенных в этой главе, расширенный звук – это не просто звук, но создание невидимых эффектов, которые нами движут: подсказывают путь, сопровождают в игре или занятиях спортом, а также влияют на наши эмоции, порождая чувство сопереживания и усиливая эффект от повествования или игры. В каждом из этих примеров пользователь, независимо от того, слушает он или говорит, в результате испытывает более глубокое чувство общности с местом, событием или человеком посредством контекстного понимания и персонализации. Дополненный звук привлекает наше внимание к окружающему миру, звуки которого мы можем усилить или ослабить. Звук в AR будет не только использоваться для дополнения визуальных эффектов, повышая их реалистичность, но и исследоваться самостоятельно, как способ взаимодействия, имеющий свои уникальные характеристики, отличные от других дополненных чувств. жүктеу/скачать 0,82 Mb. Достарыңызбен бөлісу: