Вы надеваете специальные цифровые очки и выходите из отеля на улицу незнакомого города. Произносите вслух конечный пункт назначения, и на внутренней поверхности линз очков отображается оптимальный маршрут, который прокладывается в зависимости от наплыва туристов в это время года, пробок на дорогах в текущий момент и наименьшего количества пересадок. По пути вы с любопытством разглядываете прохожих и если на ком-то задерживаете свой взгляд, то на экране мгновенно появляются еголичные данные, такие как имя, возраст, профессия и адрес странички в Facebook. Фантастика? Не спешите так думать, потому что современные технологии довольно быстро развиваются именно в этом направлении.
Дополненная реальность (Augmented Reality или AR) — полная противоположность виртуальности. Вместо того чтобы выстраивать вокруг пользователя воображаемый цифровой мир, эта технология меняет восприятие реального. «Ситуация, когда киберпространство начинает протекать и смешиваться с реальностью», — так прекрасно охарактеризовал эту технологию американский математик и писатель-фантаст, автор романов «Мир Гримма», «Мирная война», «Затерянные в реальном времени» Вернор Виндж. А Рольф Хайнич, автор книги о дополненной реальности «The End of Hardware», называет новую технологию способом создания «гиперссылок в реальном мире» и уверен в том, что она сделает жизнь конечного пользователя более удобной.
Как все начиналось
Сам термин Augmented Reality изобрели в 1990 году инженеры компании Boeing Том Коделл и Дэвид Майзелл, пытавшиеся усовершенствовать трудоемкий этап строительства пассажирских самолетов при прокладке сотен разнообразных кабелей. Сборщикам приходилось постоянно сверяться с чертежами, что серьезно замедляло работу. Система дополненной реальности, над которой задумались инженеры, должна была решить эту проблему. Рабочие, осуществлявшие прокладку кабелей, получали небольшие переносные компьютеры и полупрозрачные аналоговые дисплеи. С помощью встроенных в дисплеи датчиков программа определяла, куда человек смотрит, и выводила необходимую информацию. Появляющиеся схемы и пояснения совмещались на дисплее с реальными поверхностями, по которым прокладываются кабели.
И сегодня именно такой образ, подразумевающий наличие ноутбука и очков со встроенными дисплеями, ассоциируется с дополненной реальностью. Правда, пока подобные очки чаще можно встретить в боевиках, чем в повседневной жизни, так как стоимость их очень высока, а технология очень далека от совершенства. По причинам ограниченного поля зрения, невысокого разрешения и негативного влияния на глаза без особой необходимости их никто не использует.
В середине последнего десятилетия прошлого века Дзюн Рекимото из лаборатории Sony в Токио предложил еще одно решение, подходящее для дополненной реальности. Специальные очки он попытался заменить так называемой «волшебной линзой», которое представляло мобильное устройство с видеокамерой с одной стороны и дисплеем с другой. Обычный телефон с камерой? Правильно, но в 1994 году, когда Рекимото только начинал свои эксперименты, ему пришлось создавать подобное устройство собственными руками. Чтобы увидеть, как выглядит интересующее вас место в дополненной реальности, достаточно посмотреть на него через подобное устройство как через лупу. На сигнал, поступающий с видеокамеры в реальном времени, накладываются информация и необходимые виртуальные объекты, после чего скомпонованный видеоряд отправляется на дисплей. В отличие от очков-дисплеев, «волшебная линза» не обеспечивает полного погружения в дополненную реальность и предоставляет пользователю решать, нужна ему подобная информация в текущий момент времени или нет. Такая реализация понятна без лишних объяснений и не требует редкого и дорогостоящего оборудования. Тем более, что камера, необходимые датчики и экран подходящих размеров сейчас имеются в любом хорошем смартфоне.
Бывают и другие способы доступа к дополненной реальности. Например, некоторые исследователи создают AR-системы с использованием проекторов. Так, в компании Mitshubishi работали над проектом «информационного фонаря» для складов. Если навести такое устройство на контейнер, то оно высвечивает сведения о его содержимом прямо на стенке. А в технологическом институте штата Джорджия построили систему дополненной реальности для птицефабрик, которая проецирует пометки для работников на ползущие по конвейеру куриные тушки. Другой популярный подход к дополненной реальности можно было бы по аналогии с «волшебной линзой» назвать «волшебным зеркалом». Его используют в сочетании с персональным компьютером, а не с мобильным устройством. Переработке в реальном времени подвергается видео, получаемое с помощью web-камеры, которая подключена к компьютеру. Поскольку компьютеры редко передвигаются с места на место, программы, работающие по принципу «зеркала», не используют датчики движения и позиционирования, которые часто необходимы для мобильных приложений дополненной реальности. Вместо этого они полностью полагаются на распознавание образов.
Один из следующих прототипов мобильной системы дополненной реальности (MARS) был создан в 2001 году технологами Колумбийского университета. Устройство весило 11,5 кг и состояло из специальных очков, мощного ноутбука с дополнительными аккумуляторами и антенны, крепящейся к голове. Предполагалось, что с помощью MARS полицейские смогут вычислять из толпы преступников, а обычные пользователи, например, узнавать номер рейса, посмотрев на пролетающий самолет.
Если до сих пор речь шла только о визуальной стороне дополненной реальности, то стоит отметить, что эта технология не сводится лишь к обработке видео и статичных изображений. Существует также масса приложения, в которых вместо изображения применяется звук или текст. Порой такое представление дополненной реальности даже оказываются предпочтительнее тех, что основаны на обработке изображений. И хоть технология дополненной реальности сегодня широко применяются в компьютерных играх и при создании рекламы, сфера ее применения намного шире и более полезна. Она стирает границу между материальными предметами и компьютерной информацией. Любой материальный предмет в ней можно сделать гиперссылкой, а сам мир в этом случае может превратиться в гигантский пользовательский интерфейс.
Как создается дополненная реальность
В простейшем случае для создания эффекта дополненной реальности необходимы четыре основные составляющие: web-камера, компьютер, маркер и программное обеспечение. Пользователь распечатывает на листе бумаги специальное изображение (маркер) и подносит его к web-камере. Запущенное на компьютере приложение распознает маркер и отобразит на его месте какой-либо элемент: текст, фотографию, объемный объект и т.д. В случае с браузерами дополненной реальности, о которых мы расскажем чуть ниже, для телефонов роль маркера выполняют данные, получаемые с GPS-приемника, акселерометра и электронного компаса.
Одним из возможных способов применений дополненной реальности является анализ окружающей пользователя обстановки и предоставление ему нужной информации. Программы, обеспечивающие работоспособность такого рода приложений в мобильных устройствах, наряду с прочим опираются на возможности банков данных и биржевых порталов интернета. Например, программа Wikitude World Browser (www.wikitude.org) для iPhone, некоторых смартфонов на базе Android и последних версий Symbian 3/5 задействует огромный объем данных из Wikipedia и английского справочника Qype. В данном случае пользователь наводит камеру своего смартфона на какой-либо объект, а Wikitude осуществляет поиск информации о нем в интернете. Как только программа находит что-либо соответствующее, на дисплее рядом с действительным изображением объекта появляется текст с описанием. Если пользователь перемещает камеру на другой объект, данные обновляются в режиме реального времени. Для вычисления координат местонахождения пользователя программное обеспечение смартфона считывает показатели GPS-приемника, для вычисления угла наблюдения используется акселерометр, а для определения направления взгляда — компас. Все эти данные сравниваются с содержимым соответствующих интернет-служб и сводятся воедино на экране смартфона.
Аналогичными возможностями обладает браузер Layar, который можно установить на некоторые модели телефонов под управлением Android, а также iPhone 3G/3GS/4. Информация в нем сгруппирована по так называемым слоям, которые можно сравнить с аналогичными элементами при работе в графическом редакторе. Любой желающий может создать на сайте браузера (www.layar.com) свой собственный слой. Предположим, вы хотите выбрать место, чтобы перекусить в одной из основных европейских столиц, где находитесь в командировке. Включите соответствующий слой и захватите камерой смартфона вид оживленной улицы. Тут же на экране вашего гаджета начнет появляться информация о находящихся в зоне прямой видимости ресторанах и кафе. Кстати, недавно вышла новая версия Reality Browser 3.5 от Layar, которая уже не требует ввода какого-либо поискового запроса либо открытия специального слоя, чтобы погрузиться в дополненную реальность. Естественно, что этот проект в итоге стал коммерческим и некоторые слои предоставляются за отдельную плату, например, данные об аренде или продаже жилья. Кстати, к платформам iPhone и Android уже в скором времени официально прибавится Windows Phone, под которую могут быть написаны приложения для дополненной реальности. Однако, самое главное для развития этого направления — это продвижение на рынок более производительных и экономичных аппаратных решений, например, на основе платформы Nvidia Tegra 2.
Еще один браузер дополненной реальности Junaio разработан компанией Metaio из Мюнхена. Junaio позволяет загружать и подписываться на каналы, которые могут создавать сами пользователи. Вы можете настраивать свои собственные каналы, вставлять 3D-объекты, фотографии, заметки или ссылки на сайты относительно вашего текущего месторасположения, а также делиться ими с друзьями. Скачать Junaio можно бесплатно из App Store.
И если предыдущим способам сопутствует кропотливая работа по созданию огромного количества слоев, то в индустрии компьютерных игр дела обстоят немного проще. В игре требуется знать лишь относительное расстояние от пользователя до камеры, а разработчики имеют возможность создавать программы для сугубо специфических аппаратных средств и располагают большими возможностями, поскольку компьютеры и игровые приставки гораздо производительнее по сравнению со смартфонами. Например, в игре EyePet, созданной London Studio для Sony PlayStation 3, пользователь может взаимодействовать с виртуальным домашним питомцем. Видеокамера записывает все движения вашей руки, которые интерпретируются программным обеспечением как соответствующие команды: погладить, накормить, поиграть и т.п. Также виртуальный питомец реагирует и на различные предметы из реального мира. Например, если покатить в его сторону мяч, то он отпрыгнет от него.
Связующим звеном между двумя реальностями является так называемая координатная метка (Fiduciary Marker) — лист бумаги с нанесенным на него рисунком. С ее помощью игрок может управлять различными объектами в виртуальном мире, например, передвигать батут или обогреватель. В качестве интерфейса взаимодействия программного обеспечения и маркера используется web-камера, передающая программе данные о местоположении, угле обзора, а также удалении и идентификаторе маркера. Подобным образом реализуется обратная связь в интерактивных книгах, анимированных инструкциях, рекламных роликах и компьютерных играх. Программное обеспечение для работы дополненной реальности можно создавать, пользуясь наряду с прочими и бесплатной библиотекой ARToolKit.
Недостатком подобной системы является отсутствие надлежащей гибкости: без web-камеры и монитора она не будет работать, а ее практическое использование окажется весьма ограниченным. А вот сложные программы дополненной реальности продвигаются в направлении полезного применения, пусть пока и довольно медленно. Наряду с существующей технологией дополненного видео сегодня ученые активно работают над интеллектуальными методиками интеграции виртуальных миров в существующую реальность.
Сегодня в центре внимания разработчиков находятся системы, которые при использовании незаметны постороннему глазу. К их числу можно отнести, например, закрепляемый на голове дисплей (Head Mounted Display, HMD) и прозрачные экраны (See-Through Display), выполненные в виде очков и стекол, которые внешне ничем не отличаются от обычных. Первые прототипы изготавливаются сейчас во Фраунгоферском институте. Очки для проекта iStar (Interactive See-Through Augmented Reality Display — интерактивный прозрачный дисплей дополненной реальности) состоят из OLED-дисплеев с CMOS-сенсорами, которые следят за движениями глаз и позволяют настраивать изображение в зависимости от направления взгляда. Разработчики не только занимаются совершенствованием устройств с прозрачными дисплеями и дополненным видео, но и выявляют возможности их применения в повседневной жизни. Так, например, системы AR могли бы заменить классические руководства по эксплуатации. В новых инструкциях все шаги сопровождались бы анимацией, проецирующейся на дисплей в зависимости от того, на что направлен взгляд пользователя. Кроме того, технология Augmented Reality могла бы найти применение на лобовых стеклах автомобилей для демонстрации данных о режиме езды, примерке одежды, отображения информации о товарах в магазине и составе блюд в ресторане, а также в архитектурном проектировании для расширенной демонстрации 3D-моделей.
Особого внимания, как еще одна технология дополненной реальности, заслуживает система SixthSense («Шестое чувство»), созданная Пранавом Мистри в лаборатории MIT Media Lab. В нее входят камера, карманный проектор, зеркало, ноутбук и цветные ленты для пальцев, которые выступают в роли маркеров. Их перемещение в пространстве фиксируется, а выводимое проектором изображение меняется соответствующим образом. Для демонстрации возможностей данной системы разработано несколько приложений, одним из которых является виртуальная карта. Ее изображение проецируется на стену или пол, а пользователь осуществляет навигацию по ней при помощи мультисенсорных команд. Также можно специальным жестом отдать камере распоряжение сфотографировать объект, на который вы направили свой взгляд.
Где уже используется
Если отбросить пресловутые примеры дорисовки возможной траектории полета мяча во время футбольного матча, то можно обратить внимание, что масса примеров использования дополненной реальности существует и в современном кинематографе. В играх дополненная реальность используется для придания большей интерактивности, поскольку перед игроком открывается иллюзия настоящих нарисованных в пространстве линий, объектов и фигур, которые он может перемещать. Иногда в играх подобные технологии реализуются через специальные очки, встроенные в шлем, и стереокамеры. Например, игра Invizimals, запущенная на PSP с подключенной видеокамерой, как раз и позволяет заглянуть в дополненную реальность. Видеосигнал с камеры, подающийся на экран карманной приставки, «на лету» обрабатывает программа, которая подселяет в него маленьких трехмерных существ. По настоящему столу или шкафу, если посмотреть на них через PSP с запущенной Invizimals, начнут прогуливаться нарисованные монстры. Вышедшая в прошлом году приставка Microsoft Kinect также очень наглядно демонстрирует возможности дополненной реальности. А счет развлекательных программ и игр, использующих зачатки дополненной реальности, как, например, Nude IT («раздевание» сфотографированного человека), различных шутеров, гонок и экшенов под различные платформы уже идет на сотни.
Известно и множество примеров использования дополненной реальности в полиграфии, где благодаря этому появилась возможность создавать 3D-иллюстрации на обычной бумаге. Чтобы увидеть их на мониторе компьютера, требуется лишь поднести напечатанную страницу с особыми маркерами к web-камере. Недавно дополненная реальность проникла и в архитектуру. Так, в Токио на выходящую на улицу сторону небоскреба нанесли специальный QR-код, позволяющий считывать информацию о том, что происходит внутри здания. Если навести на строение камеру смартфона, то вы сможете наблюдать в режиме реального времени за обновлением статусов находящихся там пользователей сети микроблогов Twitter.
Близкой к дополненной реальности является и технология LBS (Location-based servies, службы на базе местоположения абонента). Здесь используются GPS или сигналы от базовых станций оператора, что позволяет загрузить наиболее близкие к пользователю данные. Так, например, при вхождении в зону действия LBS-сервиса, основанного на предоставлении туристической информации, пользователю на его мобильный телефон или смартфон с включенной электронной картой местности могут поступать сведения о работе музеев, исторические справки и другая необходимая справочная информация. Такие возможности, например, доступны в новых версиях Google Maps для Android и iPhone.
Технологии AR на мобильных устройствах в Европе и США стали развиваться примерно с лета 2009 года. Именно тогда на рынке стали появляться смартфоны, оснащенные одновременно камерой, цифровым компасом и A-GPS-модулем, позволяющими быстро определить географические координаты абонента. Для этого необходимо лишь включить камеру, навести ее на какой-нибудь объект (в зависимости от сервиса AR) и дождаться появления на экране дополнительной информации. Для комфортной работы с подобными технологиями сам смартфон должен быть достаточно мощным, а подключение к интернету скоростным, так как все маркеры на экране прорисовываются в режиме реального времени и ощутимо загружают процессор.
В России и Беларуси также ведутся разработки AR для геоинформационных сервисов. Например, не так давно появился клиент AlterGeo для интерактивной пользовательской навигации Wi2Geo, а белорусские разработчики выпустили первый цифровой компас Spyglass для наложения на показываемое на камере изображение. Оба продукта сделаны для iPhone. А туристический сервис Toozla, разработанный на JAVA, позволяет получать через интернет аудиоэкскурсии под конкретное место (работает в Санкт-Петербурге, Москве, Вильнюсе, Лондоне, Зальцбурге, Вене, Праге, Лос-Анджелесе и других городах). Кроме того, пользователи могут сами создавать аудиозаметки с помощью своего телефона, которые сразу будут зафиксированы в том месте, где находится пользователь. Серьезные работы имеет в своем портфолио и российская компания AR-Door.
Такие интерактивные спецэффекты не могли не заинтересовать рекламную индустрию. Робкие попытки использовать дополненную реальность в подобных целях делались и раньше, но теперь эта отрасль по-настоящему ухватились за новую технологию. Лондонское рекламное агентство Poke London сделало для Coca-Cola набор AR-игр во Flash, в которые можно играть прямо в браузере. Перед игрой нужно всего лишь включить web-камеру, распечатать маркер и использовать его для воссоздания персонажа дополненной реальности. Концерн Nissan прилагал к своим рекламным брошюрам диск с AR-программой и маркером. Если запустить ее и поднести маркер к web-камере, то над ним на экране компьютера появится трехмерная модель автомобиля Nissan. Для автомобилей Mini была проведена аналогичная рекламная кампания, в рамках которой в самых популярных немецких автомобильных журналах был размещен черно-белый рекламный макет. Достаточно было зайти на специальный сайт и поднести рекламу к web-камере, как на экране из страницы как будто вырастало объемное изображение автомобиля Mini Cabrio. Макет содержал специальный двухмерный код, а программное обеспечение со стороны сервера распознавало его и выводило на экран необходимую информацию. Двигая маркер, автомобили можно рассмотреть со всех сторон и даже заглядывать в салоны. Тот же принцип используется в AR-приложении, которое выпустила фирма Topps, печатающая коллекционные карточки с портретами известных бейсболистов. Маркером может служить любая карточка и если поднести одну из них к web-камере, то на экране компьютера по ней забегает маленькая объемная фигурка соответствующего спортсмена. Список можно было бы продолжать довольно долго. Кстати, сегодня Intel уже продвигает систему, которая позволит примерять одежду виртуально, не посещая магазины, а производитель часов Tissot даже предлагает возможность примерить часы с помощью дополненной реальности.
В апреле 2010 года появилась новая социальная AR-сеть Tagwhat (www.tagwhat.com), которая построена на быстром бесплатном доступе к множеству AR-ярлыков (AR tags), подвешиваемых поверх реального мира пользователями дополненной реальности. Эти действия осуществляются ими либо с мобильных телефонов, либо через картографический интерфейс на стационарных компьютерах. Такие ярлыки могут содержать мультимедийные данные, URL сайтов, номера телефонов и электронные адреса, а все участники сети получают возможность следовать за потоками AR-ярлыков друг друга. Также социальная AR-сеть предусматривает возможность добавления комментариев к ярлыкам в дополненной реальности. Этот стартап уже используется директорами музеев, учителями, родителями, писателями, владельцами магазинов и т.д. Хоть он и представляет «дикую» смесь браузера Layar с социальными сервисами Twitter и Facebook, в перспективе, если разработчики добавят функции распознавания образов и лиц, эта социальная сеть может стать достаточно популярной.
Будущее стучится в двери
Дополненная реальность постепенно покоряет различные сферы жизни и деятельности человека, вторгаясь в мир мобильных устройств, космоса и автомобилей. Стремительное развитие вычислительных технологий делает возможной такую реальность, которую раньше можно было представить лишь в фантастических романах. Ричард Уормсли из T-Mobile считает, что «общение в социальных сетях ведет к размыванию границ между on-line и реальной жизнью, в итоге чего станет возможно применение хранимой в пользовательских аккаунтах информации в контексте нашей повседневной жизни. Потенциал рынка программного обеспечения и устройств для AR огромен, а за креативными идеями, надеемся, дело не станет. Кстати, для желающих принять участие в создании будущего, компания Qualcomm в прошлом году организовывала конкурс на разработку приложений дополненной реальности. С результатами вы можете ознакомиться на специальной интернет-странице компании по адресу http://developer.qualcomm.com/ar. Надеемся, что подобный стимул для развития технологии дополненной реальности с общим призовым фондом в 200000 долларов был предложен компанией не в последний раз.
Григорий Сафаров. При подготовке статьи были использованы материалы сайтов qualcomm.com, zoom.cnews.ru, khusainov.com, xakep.ru и chip.ru
