Даже учитывая тот факт, что с ноября 2010 года уже было продано 10 млн. экземпляров, Kinect остается самым быстро продаваемым гаджетом в истории. Он также стал самым популярным консольным аксессуаром за последние 5 лет и единственной технологией, которая может, как утверждают в Microsoft, превратить самого пользователя в игровой котроллер. Комбинируя работу камер и трехмерных сенсоров с вашим голосом и мимикой, Kinect может захватить движение 48 узлов человеческого тела, отличить вас от других домочадцев и позволить вам контролировать игровой процесс, используя речь, жесты и движения. Kinect заставил Wii выглядеть игрушкой из далекого прошлого и вывел Xbox360 на совершенно новый рынок.

Однако Kinect представляет собой нечто гораздо большее, чем просто игрушку. Работая с открытыми исходными кодами и неофициальными драйверами, сообщество энтузиастов подключила Kinect к персональному компьютеру. Хакерам удалось создать контроллеры жестов для Windows и разработать очень перспективные демо-проекты из всех, которые нам доводилось видеть до сих пор. Как оказалось Kinect имеет неограниченный потенциал, и может найти применение в различных сферах, начиная с виртуальной хирургии и заканчивая контролем с помощью жестов над приложениями Windows.

Эти эксперименты, конечно, не могли не заинтересовать Microsoft. Создатели Kinect никогда не отрицали, что у них имеются далеко идущие планы относительно использования своего продукта, и выпуск нового официального средства разработки ПО должен облегчить и форсировать возможность создания различных приложений для Kinect. По сути, появление этого продукта на рынке в Microsoft связывают с началом новой компьютерной эры.

Натурализация Natal

Так было не всегда. Изначально развитию Kinect мешала довольно безнадежное положение, в котором оказался отдел Microsoft по разработке развлекательных проектов в середине 2007 года. И хотя Xbox 360 по-прежнему пользовался популярностью среди закоренелых геймеров, эта приставка не могла достучаться до сердец широкой аудитории, как это делали быстрее продающиеся Nintendo и ориентированный на движения тела Wii. Microsoft было необходимо революционное устройство, и в надежде на его появление команда передала бразды правления проектом Алексу Кипману. А ровно через 2 года группа Кипмана уже была готова продемонстрировать свой чудо-продукт по кодовым названием Project Natal.

Natal не был на 100% собственной разработкой Microsoft. Основа аппаратного обеспечения пришла от молодой израильской компании PrimeSense, которая в 2006 году продемонстрировала революционный сенсор, отслеживающий движения тела в трехмерном пространстве. Устройство от PrimeSense содержало в себе сенсор глубины, работающий в ближнем ИК-диапазоне, калибрующий проектор, специальную интегральную схему на одном чипе (SoC) и дополнительно комплектовалось цветной RGB видеокамерой. При использовании системы, которая в PrimeSense получила название «Светового Кодирования», проектор заполняет сцену светом ближнего ИК-диапазона, невидимого человеческому глазу. Обычная CMOS-матрица (такая же, как и в большинстве web-камер) фиксирует отражение этого света и передает его для обработки в SoC. При этом используется сложный алгоритм для конвертации данных отраженного света в полную трехмерную структурную карту. Эта информация также может комбинироваться с данными, полученными от RGB камеры для назначения каждому трехмерному пикселю цветовой характеристики. После сбора этой информации и выделения из общего потока части, относящейся к человеку «в кадре», геймеры получают все инструменты, необходимые для управления телом в трехмерных играх, контролируемых движениями.

Игры всегда были стимулом развития технологии PrimeSense. Однако именно Microsoft распознала весь потенциал сенсора и сделала его базовой технологией проекта Natal. Конечно, было добавлено несколько новшеств к исходной конфигурации проекта, включая более продуманный дизайн подставку с электроприводом, которая автоматически настраивет положение камеры для удержания игроков в кадре. Но основная заслуга Microsoft — в создании программного обеспечения. Разработать систему идентификации речи было не сложно, так как корпорация трудится над этой технологией много лет, совершенствуя ее в таких продуктах, как Office и Windows. А вот создать систему отслеживания движения геймера оказалось не просто, ведь для работы с высокодинамичными играми Kinect необходимо отслеживать движение 20 или более узлов в трехмерном пространстве на скорости 30 кадров в секунду, одновременно настраиваясь на форму различных человеческих тел и работая с широким диапазоном стартовых позиций. И поверьте, это была отнюдь не тривиальная задача.

Решение было найдено после того, как разработчики вспомнили об исследованиях, проводимых Microsoft в Кембридже еще в 2002 году. Двум ведущим ученым-исследователям Эндрю Блейку и Кентаро Тояме тогда удалось создать новую модель отслеживания человеческих движений, при работе которой использовался принцип вероятности, основанный на системе «образцов». Ученые строили свою модель на предположении, что если часть тела начала двигаться определенным образом, то с большей долей уверенности можно рассчитать, как она будет двигаться далее. Исследования, проведенные позже Эндрю Фитцгиббоном и Джейми Шоттоном, усовершенствовали технику, обеспечив Kinect возможностью распознания определенных частей тела и расчетом триллионов потенциальных положений при необходимой частоте кадров. Kinect не просто следит, как движется ваша рука или голова, он постоянно пытается угадать, куда переместится вектор движения в следующее мгновение. И этот процесс не прерывается даже тогда, когда камера контроллера не может видеть части тела полностью.

И после того, как технология была тщательно проработана, разработчики игр из легендарной компании Rare под руководством Кудо Цунода из Microsoft приступили к работе над выпуском программного обеспечения для контроллера. Первые устройства проекта Natal были готовы для публичной демонстрации в августе 2009 года, а чуть более года спустя Kinect дебютировал на рынке.

На сцену выходят хакеры

То, что Kinect найдет своих приверженцев в этой среде, было неизбежным фактом. «Эта классная и совершенно новая технология, доступная за весьма разумную цену. Поэтому она и выглядит привлекательно для взлома, — считает Джон Симонс, основатель проекта KinEmote по хакерскому взлому. — Мне сразу же в голову пришла мысль, что благодаря доступности и дешевизне трехмерной камеры, множество людей узнают о ней и найдут потрясающие виды применения».

Kinect подсоединяется к Xbox 360 посредством стандартного порта USB 2, поэтому все, что необходимо персональному компьютеру для управления этим контроллером — это программное обеспечение. Как только Kinect поступил в продажу, компания по производству аппаратного обеспечения Adafruit Industries, объявила о назначении поощрительной премии «OpenKinect» в размере 3000 долларов, которая будет вручена тому программисту, кто первый напишет драйверы для Kinect. Буквально через пару недель обладателем премии стал Гектор Мартин, а уже через несколько дней за этим последовали и первые хакерские взломы Kinect. От виртуальных кукол-марионеток, управляемых жестами, до инструментов, предназначенных для  работы с оцифрованным изображением и превращающих образы пользователей в облака из мельчайших частиц – сообщество хакеров стало искать новые оригинальные способы, как приспособить этот контроллер для своих нужд.

Первая реакция Microsoft на это не выглядела чрезмерно позитивной. «Microsoft не будет мириться с модификациями своего продукта», — заявил представитель Microsoft в интервью новостному сайту CNET, сообщив также, что устройство имеет защиту, предназначенную для снижения вероятности взлома продукта. Но уже по прошествии нескольких дней официальная позиция корпорации была смягчена. Прежде всего, в Microsoft признали, что на самом деле Kinect не был модифицирован, а просто обеспечен новыми драйверами. Затем Шеннон Лофтис, руководитель игрового подразделения Microsoft, призналась, что была потрясена, узнав, что люди «настолько вдохновлены продуктом, что они начали творить и думать о том, что еще они могут с ним сделать». И такая смена позиции корпорации, денно и нощно ведущей борьбу за авторские права, произошла всего через месяц после запуска Kinect на рынок.

Стоит отметить, что кое-кто в Microsoft всегда отстаивал возможность совмещения Kinect c персональным компьютером. В своем сообщении, размещенном в блоге, Джонни Ли, бывший член команды разработчиков этого продукта, признался, что это он обратился в Adafruit Industries с предложением по организации розыгрыша премии «OpenKinect». «Без сомнения, этот конкурс оказал сильное влияние на рост осведомленности о потенциале Kinect, лежащем вне игр для Xbox 360, как внутри компании, так и за ее пределами. 3000 долларов оказались самым лучшим вложением из всех потраченных мною когда-либо денег», — пишет Джонни Ли.

Теперь же все эти начинания вышли на официальный уровень. Сначала PrimeSense сформировала новую некоммерческую организацию под названием OpenNI и выпустила через нее свои собственные драйверы, промежуточное программное обеспечение и приложения для Kinect. Затем, в феврале 2011 года, Microsoft объявила, что выпустит партию некоммерческих Kinect с набором средств по разработке программного обеспечения под операционную систему Windows 7. Сообщество хакеров горячо приветствовало этот шаг. «Такое решение отражает сильную перемену официальной позиции Microsoft, которая теперь принимает наше открытое сообщество и поощряет инновации, — говорит Дшошуа Блейк, основатель общественной группы «OpenKinect. — Со всеми возможностями Kinect, раскрытыми теперь и для персональных компьютеров, развитие технологии на платформах Windows, а также Mac и Linux теперь непременно ускорится. Конечно, еще существуют некоторые проблемы, такие, как отношения между корпорацией и сообществом, но, я надеюсь, что мы сможем работать вместе. К конце концов, мы же на одной стороне».

Новые пользовательские интерфейсы

Разве Kinect не создан только для игр и развлечений? Может быть и нет. Хакерские взломы Kinect, которые привлекли столько внимания в начале, в большинстве своем были нелепы и незначительны по важности, как, например, взлом, превращающий бейсбольную биту в лазерный меч, а игроков в Minecraft в статуи. Но сегодня уже есть десятки программ, превращающих игроков в скопление из передвигаемых блоков, а рисунки из эскизных линий в облака из блуждающих точек. И эти программы использовались для создания уникальных музыкальных видеоклипов или абстрактных художественных инсталляций. Поклонники компьютерных игр также не преминули воспользоваться преимуществами данной технологии. Хотите поиграть в Portal, Second Life, Left 4 Dead 2 или Angry Birds с помощью Kinect — теперь это возможно.

Однако у Kinect есть и серьезная сторона. Среди всех этих взломов с целью развлечения вы обнаружите демонстрацию контролируемого при помощи Kinect футуристического интерфейса, подобному тому, который мы видели в фильме «Особое мнение», а также программы, позволяющие заменить манипуляции с компьютерной мышью движением руки в пространстве. Загрузите текущую бета-версию программы KinEmote (http://kinemote.net) и вы сможете использовать жесты рук для управления приложениями Windows, где указатель будет следовать за вашей рукой, а сжатие кисти в кулак используется для клика по иконке, перетаскивания и освобождения объектов. Вот где начинают проявляться намеки на столь ожидаемый естественный пользовательский интерфейс.

Конечно, многие могут привести резонные доводы. Неужели нам действительно может понадобиться управлять компьютером, находясь от него в 2,5 метрах размахивая руками? Но на это можно посмотреть и с другой стороны, как, например, сделал руководитель компании Ideum Джим Спадачини. Его фирма специализируется на конструировании интерактивных дисплеев и стендов и он сразу же разглядел потенциал Kinect. «Недорогая платформа для разработки стендов с большей физической интерактивностью определенно является тем, что привлечет к ней много музеев, — заявляет он. – Они будут стараться из всех сил, чтобы успеть за техническим прогрессом и подарить посетителям новые и захватывающие ощущения». Сегодня Ideum уже поставляет инструменты, позволяющие Kinect работать со средствами просмотра изображений, модулями виртуальной реальности и картами Google, предоставляя пользователям возможность менять точки обзора, панораму вокруг себя и масштаб изображения, пользуясь лишь жестами. «Для музеев с большим количеством посетителей это отличное решение. Посетители не будут ни к чему прикасаться, а повредить виртуальные экспонаты просто невозможно», — отмечает Спадачини.

Естественная среда использования Kinect, гостиная вашего дома, как нельзя лучше подойдет для воплощения многих инноваций. Распознание речи и жестов на основе работы Kinect уже сейчас может использоваться для управления видео, для смены телеканалов или инициализации игр на Xbox 360, а обновление, которое появится в ближайшее время, позволит пользовательскому аватару присутствовать в интерактивных чатах. Приложение KinEmote на персональных компьютерах уже можно использовать в среде Windows для проигрывания медиафайлов и управления проигрыванием с помощью одних лишь жестов. «Эта технология будет развиваться, — заявляет Джон Симонс из KinEmote. — Представьте себе, что ваш телевизор или медиацентр будут знать, кто из членов семью хочет им воспользоваться. Устройства предложат соответствующий контент, выбранный на основе предпочтений того или иного члена семьи, его возраста или пола».

Действительно интересным аспектом является то, как Kinect вписывается в эволюцию персональных компьютеров. Ключевым фактором здесь является система «технического зрения». «Снабдить компьютер возможностью зрительного восприятия на самом деле означает снабдить его гораздо большим функционалом. Он сможет не просто видеть образ, но и понимать его, — отметил Крейг Мунди из Microsoft в своем недавнем видеообращении. – Это станет большим шагом по внедрению естественного пользовательского интерфейса, когда машины уже смогут видеть нас, слушать и говорить. Выход Kinect можно считать одной из знаковых эпох в компьютерной эре, потому что мы встаем на путь превращения компьютера из инструмента в помощника».

Исследовательская группа Microsoft уже заявляла об экспериментальных проектах по комбинированию Kinect c дисплеями, снабженными системами линз Wedge. Это направление поможет однажды начать использовать Kinect для проекции трехмерных изображений. И речь идет не только о научных изысканиях. Так, например, в своих комментариях, сделанных во время выступления в Южной Америке, Стив Баллмер выдвинул на первый план возможность применения Kinect в бизнесе. «Зачем мне носить с собой пульт управления проектором слайдов, — спросил он. — Я уже три раза забывал его где-то. Мне следует лишь вот так двинуть рукой, а камера распознает мой жест и возьмет контроль над демонстрацией слайдов».

Кое-кто даже считает, что интерфейсы в стиле Kinect в конце концов сделают персональные компьютеры невидимыми. «Я думаю, что работа, которая сегодня ведется Microsoft и в сообществе KinEmote, является лишь первым и мимолетным знакомством с удивительным потенциалом нашего будущего, — говорит Джошуа Блейк. — Конечно, персональные компьютеры останутся, но у нас появятся также интерактивные сенсорные экраны-поверхности и пространства, интегрированные в нашу среду. Станет естественным начинать взаимодействие с компьютером и получать доступ к информации, которая нам нужна, именно тем способом, который нам нужен. Неважно, будет это осуществляться через прикосновение, захват движения, речь или другие механизмы».

Возможно, теперь и не стоит видеть в Kinect только игрушку, а хакеров расценивать лишь как креативных шутников? Немного, но по-своему, Kinect рассказывает нам о том, как могут развиваться компьютерные технологии ближайшего будущего. А реальный потенциал изобретения находится уже практически за следующим углом, вероятно, где-то в лабораториях Microsoft или в подвале гения-самоучки.

Пять лучших хакерских взломов Kinect

1. Kinect на службе у хирургов

Кто хочет использовать клавиатуру и мышь в операционном зале? Исследователи из Школы Медицины при Университете Wake Forest (Северная Каролина) используют комплект аксиальных компьютерных рентгеновских томографов для подробной трехмерной визуализации, которая может помочь хирургии. Теперь с Kinect они могут делать это, оставляя руки свободными и пользуясь только жестами для продвижения через трехмерные образы.

Ученные из Швейцарии обнаружили возможность несколько жуткого применения для Kinect – управление виртуальной аутопсией (или виртопсией) с использованием трехмерной виртуализации трупа, отсканированного при помощи магнитно-резонансной томографии.

2. Распыляющийся человек

Виктор Мартинс является одним из самых интересных художников, работающих с Kinect. Он использует этот контроллер для создания следов после объекта в виде его клонов или для манипуляции с отрезами ткани, мехами или текстурами, напоминающими кожу при помощи своих оцифрованных трехмерных форм. Однако, гвоздем программы его творчества является своеобразная дезинтеграция, при которой зафиксированное трехмерное динамическое изображение его тела трансформируется в миллионы частиц, которые опадают и рассыпаются перед глазами зрителя. Эта впечатляющая демонстрация показывает, как контроллер стоимостью в 129 фунтов стерлингов и пытливый ум поработавших над кодом хакеров, смогли в результате создать то, что раньше было прерогативой лишь профессиональных студий, работающих с цифровыми эффектами.

3. Захват движения в реальном времени

Компьютерная анимация (CGI), использующая захват движения, «кушает» голливудские бюджеты, не правда ли? Теперь продюсеры могут вздохнуть свободно и серьезно урезать бюджеты новых картин. Хакер Джеймс Уолш с помощью Kinect и драйверов от OpenKinect нашел новый способ работы с DAZ Studio (пакет ПО для создания трехмерных фигур и дизайна). Начав с цветных шаров, отображенных на суставах человеческого скелета, Уолш перешел к мультипликационным героям и человеческим фигурам с синхронизированной артикуляцией, собранным в реальной среде. Конечно, этой технологии еще далеко до мультфильма «Полярный Экспресс», но принимая в расчет скромность затрат, это достижение на самом деле впечатляет.

4. Робот-гуманоид V-SIDO

Существует множество примеров с использованием роботов, управляемых естественным пользовательским интерфейсом. Некоторые из таких роботов способны брать в руки различные предметы или с помощью сенсоров Kinect передвигаться в трехмерном пространстве. Лидером по созданию разработок в этой области является Ватару Йошизаки. Его робот-гуманоид, управляемый посредством Kinect, пользуясь созданным компанией Asuro Engineering программным обеспечением V-Sido, копирует каждое движение человека, сохраняя при этом равновесие.

5. Da Vinci Physics Illustrator

Изначально предназначенное для сенсорного рабочего стола Microsoft Surface программное обеспечение Da Vinci Physics Illustrator, созданное компанией Razorfish, является одним из ошеломляющих примеров того, как мы будем взаимодействовать с компьютерами будущего. Da Vinci Physics Illustrator дает пользователю возможность рисовать двухмерные объекты с симуляцией физических процессов реального мира. Так, например, гравитация, магнетизм и планетарное притяжение могут оказывать влияние на созданный вами объект. С помощью Kinect объекты можно рисовать, а затем брать их и перетаскивать через экран с помощью руки.

Оригинал статьи «KINECT: Taking control of computing» из журнала PC Pro за июнь 2011 года. Автор — Стюарт Эндрюс (Stuart Andrews). Перевод – Ринат Алиметдинов.