Очки дополненной реальности Microsoft HoloLens очень быстро превратились из любопытного гаджета в полезный инструмент, который можно применять при решении разнообразных профессиональных задач, в том числе и в медицине. Они стали еще одним звеном, связывающим современные технологии и хирургию. Эта технология уже используется в медицинских образовательных учреждениях, в планировании операций и все чаще непосредственно в самих операционных. Примером этому могут служить сложнейшие операции, проведенные в прошлом году с применением технологии смешанной реальности.
Доктор Энрике Ламперт, хирург-ортопед Института ортопедии и травматологии Жарагуа-ду-Сул (Instituto de Ortopedia e Traumatologia de Jaraguá do Sul) из Санта-Катарины в Бразилии вместе со своим партнером доктором Бруно Гоббато применил инновационное устройство во время артродеза (операции по созданию «искусственного окостенения», при которой достигается полная неподвижность сустава). Здесь важно было установить винты для фиксации позвоночника в тех местах, где движение причиняло боль. Гарнитура стала гидом для хирургов, помогая более точно расположить винты, чтобы избежать повреждений нервов или разрушения импланта. С помощью HoloLens команда визуализировала 3D-модель позвоночника пациента, созданную во время компьютерной томографии (КТ), которая включала в себя идеальное расположение винтов.
Хирурги из Индии и Британии с помощью Microsoft HoloLens смогли виртуально присутствовать в одной операционной и совместно выполнить операцию по удалению опухоли. Операция по поводу колоректального рака прошла на базе лондонской больницы The Royal London Hospital. Хирургу из Великобритании Шафи Ахмеду ассистировали коллеги — профессор Шайлеш Шриханде, онкохирург из Tata Memorial Hospital в Мумбаи, крупнейшей онкологической клиники Индии, и Хитеш Патель, консультирующий колоректальный хирург из частной клиники BMI The London Independent Hospital. Еще одним виртуальным консультантом стал Иэн Нотт (Ian Nott) из США, соучредитель и технический директор компании Aetho, разработавшей AR-приложение Thrive для очков Microsoft HoloLens. Специалисты, работавшие в очках, могли не только слышать, но видеть друг друга в виде графических фигур-аватаров, как будто они действительно находились в одной операционной. Хирургам были доступны томографические снимки внутренних органов пациента, которые отображались в виде трехмерных голограмм, и врачи могли делать на них виртуальные пометки, обсуждая ход операции.
Компания Scopis из Германии, специализирующаяся на разработке программного обеспечения для дополненной реальности в медицине, представила платформу для хирургических операций на позвоночнике с использованием очков HoloLens от Microsoft. Во время хирургического вмешательства голографическая навигационная платформа через очки HoloLens проецирует на пациента элементы смешанной реальности. Новая технология позволит хирургам правильно устанавливать элементы, в частности, при транспедикулярной фиксации позвоночника. Кроме того, применение HoloLens поможет сократить время проведения операций, а также уменьшить радиационное облучение при рентгене позвоночника.
Мадридская клиника имени Грегорио Мараньона (General Hospital Universitario) вместе с испанской компанией Exovite запустила инновационный проект по использованию технологии Microsoft HoloLens для помощи хирургам в удалении злокачественных опухолей в мышцах. Система, получившая название HoloSurg, предоставляет набор виртуальных интерактивных панелей, проецируемых в поле зрения хирурга, и позволяет видеть одновременно реальные и виртуальные объекты. На этих панелях отображаются жизненно важные сведения о пациенте, такие как хирургический атлас, рентгеновские и томографические изображения в 2D и 3D, позволяющие хирургам точно находить местоположение опухолей, которые необходимо удалить. HoloLens позволяет отображать эту информацию в любом удобном для врача месте, сканируя помещение со всеми находящимися в нем объектами и создавая трехмерную карту реального окружения. Клиника имени Грегорио Мараньона начала использовать эту систему в отделениях травматологии и ортопедии, где возможность работы с трехмерными моделями пациентов жизненно важна для точного планирования и оперативного вмешательства. Так, в ортопедической хирургии использование HoloLens позволяет хирургам корректировать операции, чтобы повысить вероятность как можно более полного удаления опухоли.
Такие учреждения, как кливлендский Университет Кейс Вестерн Резерв (Case Western Reserve University in Cleveland) и Сиднейский университет (University of Sydney) используют технологию Microsoft HoloLens для обучения студентов. С помощью специальной гарнитуры студенты могут видеть и изучать анатомическое устройство так, будто находятся внутри тела. Трехмерные модели, спроецированные через очки смешанной реальности, графически показывают, как сердце качает кровь, как функционирует нервная система, как кости взаимодействуют с мышцами, как расположены жизненно важные органы. Студенты могут ходить вокруг виртуальных изображений и даже сквозь них, чтобы максимально подробно изучить предмет. А в столице Норвегии Осло, группа признанных специалистов исправляет врожденные дефекты в крошечных детских сердцах. До недавних пор эти хирурги применяли собственный высокотехнологичный способ планирования таких сложных операций: использовали 3D-принтер для создания физических моделей каждого сердца. Но теперь технология HoloLens с подробными трехмерными изображениями вытеснила это решение, бывшее передовым всего несколько лет назад. «HoloLens позволяет проводить операции без сюрпризов. Все можно тщательно спланировать заранее. Каждый человек имеет свои уникальные анатомические особенности, и хирург должен знать, что он делает», — отмечают врачи. Кроме того, смешанная реальность открывает широкие возможности для повышения качества домашнего ухода за пациентами, включая пожилых и инвалидов.
Уникальная технология Microsoft HoloLens применяется и в Азербайджане! Более того, с помощью методики, разработанной нашими хирургами, реконструктивная операция впервые в мировой практике была проведена в локальной клинике. О том, как это происходит, в интервью Echo.Az рассказал заведующий кафедрой хирургии полости рта и челюстно-лицевой области Азербайджанского медицинского университета, доктор медицинских наук, профессор Чингиз Рагимов.
— Реконструктивно-восстановительные операции являются короной челюстно-лицевой хирургии. Это хирургическое вмешательство используется при серьезном разрушении, деформации или потере тканей. В последнее время наблюдаемые в обществе рост числа бытовых и производственных травм, врожденных аномалий, а также предпочтение, отданное радикальным оперативным вмешательствам в лечении большинства опухолевых процессов, повышают интерес к этой области хирургии. Цель реконструктивно-восстановительных операций — восстановление органа или его части до уровня, позволяющего выполнять нормальные физиологические функции. На видимых же частях тела на первый план выдвигаются также эстетические требования при восстановлении этих структур.
При выполнении даже рутинных хирургических операций на человеке мы можем встречаться с различными сложностями, так как, в отличии от структуры серийных компьютеров, живой организм обладает свойственной ему особенностью анатомических структур. Естественно, что хирургические операции, проводимые на лице, должны отвечать самым высшим эстетическим и функциональным требованиям. Учитывая сложную анатомическую архитектонику области, успех хирургической операции здесь зависит от точности ее исполнения и возможно минимальном повреждении здоровых структур. Для проведения высокоточных операций и уменьшения числа возможных осложнений хирургу требуется техническая поддержка. Прежде всего хирург стремится обеспечить достаточную видимость операционного поля. Современные осветительные приборы, лупы и микроскопы лишь усиливают видимые глазом структуры, однако, скрытые под тканями важнейшие анатомические структуры патологической зоны и симметричной здоровой стороны, используемой для сравнительного анализа, могут привести к осложнениям, вызванным неправильными действиями хирурга или принятием неправильного решения.
В последнее время при проведении высокоточных операций используют специальные навигационные устройства. Однако выдаваемые ими погрешности, необходимость создания специальных условий в операционной, дороговизна и сложность их использования ограничивают широкое использование этого оборудования в клинике. Продолжая поисковые исследования в этой области, мы обратились к последним достижениям цифровой компьютерной технологии — очкам смешанной реальности Microsoft HoloLens.
Расскажу, как это происходит, на одном из примеров. Больной, обратившийся с травмой орбитальных костей, в дооперационном периоде проходит стандартный протокол клинико-рентгенологических исследований, после чего полученные данные анализируются. В результате перелома нижней стенки расширяется объем глазницы, структуры орбиты перемещаются в верхнечелюстную пазуху и, как следствие, отмечается бинокулярная диплопия. При подобных патологиях восстановление нижнего края глазницы проводится с помощью сетчатой титановой пластинки. Проведя виртуальное планирование предстоящей реконструктивной операции, подбирается соответствующая форма имплантата и определяется ее позиционирование на нижней стенке орбиты. Далее данные КТ- или МРТ-исследования больного в формате 3D и схема виртуального планирования переводятся в HoloLens.
Хирургическое вмешательство, проводимое под общим обезболиванием, начинается традиционным трансконъюктивальным доступом: визуализируется поврежденная нижняя стенка орбиты. Перемещенные в верхнечелюстную пазуху структуры возвращаются в прежнее положение. Далее хирург одевает очки смешанной реальности и с помощью специального программного обеспечения проецирует на операционное поле информацию, имеющуюся в компьютере очков. Таким образом, наряду с реальной картиной операционного поля, хирург получает радиологическое видение скрытых от глаза структур в формате 3D, а также виртуальную модель позиционирования имплантата. Заранее сфабрикованная сетчатая титановая пластинка, направляемая с помощью голографических ориентиров, устанавливается на нижнюю стенку поврежденной орбиты так, что создается рельеф, симметричный нижней стенке здоровой орбиты, и восстанавливается прежний объем глазницы.
С помощью очков смешанной реальности с загруженным на них специальным программным обеспечением, позволяющим одновременно видеть реальное операционное поле и невидимые глазом структуры, а также виртуальную модель проводимой операции, удается добиться высокой точности исполнения хирургической процедуры. Такая точность исполнения исключает возможность повреждения жизненно важных структур, при этом уменьшаются технические маневры хирурга в операционной ране, что позволяет сократить как время проведения операции, так и общие затраты на лечение, а главное, позволяет добиться высоких функциональных и эстетических показателей. Хотелось бы отметить, что данная методика имеет перспективы применения и при других реконструктивных операциях, о чем нами было заявлено во время ее демонстрации на прошедшей в декабре 2017 года выставке Bakutel, поэтому мы продолжаем исследования в данном направлении.
— Какой путь предшествовал созданию данной методики проведения операций?
— В 2005 году я побывал на конференции, где впервые была затронута тема использования стереолитографических моделей при выполнении черепно-челюстно-лицевых и нейрохирургических операций. Тема показалась мне очень перспективной, поэтому я поручил своему аспиранту Исмаилу Фарзалиеву поднять литературу в этом направлении и заняться ее тщательной проработкой. В то же время нам с большим трудом удалось найти в Баку порошковый 3D-принтер для печати 3D-моделей, которые уже можно было получать на КТ. Кстати, первая пластиковая модель черепа в Азербайджане была создана нами, и мы храним ее до сих пор. Так родилась тема научной работы «Использование метода медицинского прототипирования при выполнении реконструктивных операций», которая в последствии была защищена И.Фарзалиевым как кандидатская диссертация. Далее мы продолжили исследования в этом направлении. Наши разработки стали обрастать все большими и большими объемами информации, что привело нас к компьютерному (виртуальному) моделированию проводимых операций.
Следующим качественным шагом в развитии проекта можно считать мою, совершенно случайную, встречу с молодым человеком, который несколько лет проучился в Германии, где занимался биомоделированием. Мы говорили о виртуальном моделировании и о новейших технологиях в этой области, созданных очках виртуальной реальности. В итоге пришли к решению опробовать в нашей хирургической практике данную разработку. Была привлечена небольшая группа программистов, написавших приложение для смартфона и VR-очков, которое нами было продемонстрировано на республиканской конференции, посвященной дентальной имплантологии. Данное приложение позволяло хирургу правильно выбрать траекторию бурения в кости при сложных клинических случаях. С помощью данной методики, продемонстрированной на моделях, значительно упрощается данная процедура. После такого успешного опыта нам уже захотелось поработать с очками смешанной реальности HoloLens, разработанными компанией Microsoft. К сожалению, найти HoloLens в Азербайджане на тот момент мы не смогли. Только благодаря личным связям удалось в короткие сроки заполучить их из Нью-Йорка и провести операцию, процесс которой я представил выше. Все это происходило буквально за несколько дней до старта выставки Bakutel 2017, заявку об участии в которой мы подали заранее. Пользуясь случаем, я еще раз хочу поблагодарить всех людей, которые приняли участие на той операции, так и обеспечивших транспортировку очков из-за океана.
Авторские права на данную методику уже официально подтверждены, что позволяет нам дальше работать в этом направлении, и сейчас мы занимаемся получением патента. К тому же группа наших разработчиков продолжает работать над усовершенствованием методики перед тем, как передать ее в серийное использование.
— Кто-то из других хирургов в мире движется в том же направлении?
— Коллеги из одной немецкой клиники планировали представить подобную методику, но я пока не в курсе, на какой стадии сегодня находится их разработка. А недавно я услышал, что и американцы планируют вложить серьезные средства в разработку методики и создание большой лаборатории. Но наше преимущество заключается в том, что мы сами хирурги и знаем, чего хотим, параллельно ища недорогой способ реализации. Я все время вспоминаю одного из своих преподавателей из Медицинского университета. На третьем курсе он задал нам вопрос, относящийся к программе пятого курса, с целью научить мыслить вопреки логике, насаждаемой программой обучения. Так что оперируя своей интуицией можно находить более быстрые и простые пути.
— Значит, самообразование всегда будет оставаться для вас на первом плане? Ведь вы еще должны постоянно быть в курсе появляющихся технологичных новинок и представлять, как их можно применить на практике?
— Я имею 40-летний стаж работы, но каждый год как ученик посещаю 2-3 конференции, где могу еще чему-то научиться. Безусловно, на каких-то зарубежных конференциях я выступаю и как лектор, и как организатор мастер-классов. Этот непрерывающийся контакт со специалистами всего мира позволяет держать руку на пульсе событий и получать исчерпывающую информацию о новейших достижениях.
Сегодня не является секретом, что наше самообразование всецело зависит от нас самих. Что же касается хирургов, то им и вовсе для того, чтобы быть первыми в своей области, необходимо 70-80% своего заработка тратить на самосовершенствование. Кроме этого, важна и команда, которая тебя окружает. Я должен быть в курсе существующих возможностей в мире технологий, чтобы мог что-то требовать от программистов. Просто не смогу управлять всем этим процессом, если сам не буду знать хотя бы какие-то азы. Считаю, что изучение компьютерных технологий должно быть неотъемлемым предметом в подготовке будущих медицинских кадров. А сегодня я и мой бывший ученик и уже коллега стараемся, перефразируя Хемингуэя, быть лучшими программистами среди хирургов и лучшими хирургами среди программистов.
— Какие перспективы нас ожидают в ближайшие годы? Как сильно будут взаимодействовать технологии и медицина?
— Хирург всегда ищет какую-то поддержку во время проведения операции. Область, в которой мы работаем, чрезвычайно важна для человека. Это эстетическая часть тела, которая все время на виду. В то же время она очень сложная по анатомической конфигурации и необходимо четко видеть все эти структуры, чтобы не повредить. И то, что мы в данном случае начинаем использовать цифровые технологии, помогает проводить подобные операции с более высокой точностью. В перспективе я ожидаю, что любая реконструктивная операция, которая будет выполняться в нашей области, будет использовать данную методику. Кроме того, я думаю, что с совершенствованием технологий мы не будем привязаны к какому-то конкретному аппарату. Так, например, сегодня при проведении операций мы задействуем и сенсорный контроллер Kinect. Хотим также начать использовать акселерометры для того, чтобы добиться еще большей точности. В дальнейшем технологии могут предстать совершенно в другом виде, так что и наша адаптация будет проходить в зависимости от представляемых новшеств.
Справка:
Устройство смешанной реальности Microsoft HoloLens для работы не нужны ни провода, ни наушники, ни смартфон, исполняющий роль дисплея. Они оснащены собственным процессором Holographic Processing Unit (HPU), видеоускорителем, камерами с углом обзора 1200x1200 и акустической системой. Корпус очков опоясан 18 разнообразными датчиками, отсылающими сопроцессору информацию со скоростью 1 Tb в секунду. Вес HoloLens составляет около 400 гр, а работает устройство под управлением операционной системы Windows 10. С правой стороны HoloLens расположены кнопки для регулировки громкости и настройки контрастности, а над линзами — динамики. Поле зрения камер, совмещенных с сенсором для определения глубины окружающего пространства, гораздо шире, чем у того же Kinect. Очки способны распознавать жесты даже на полностью вытянутых руках. Таких камер несколько, спереди и по бокам очков. Также следует отметить систему пространственного звучания, которая создает эффект, будто звук исходит непосредственно от источника. Изображение формируют две линзы, каждая из которых состоит из трех слоев (синего, зеленого и красного) стекла со множеством крошечных канавок. Микроячейки преломляют фотоны, которые излучает так называемый «световой движок» (Light Engine). Пучки света «путешествуют» между слоями линз с огромной скоростью, за счет чего и достигается 3D-эффект.
Сегодня в Microsoft работают над созданием второго поколения очков HoloLens, которые, помимо «голографического» процессорного модуля (Holographic Processing Unit/HPU 2.0), будут также оснащаться сопроцессором искусственного интеллекта (AI coprocessor), благодаря которому станет возможна поддержка технологий глубоких нейронных сетей (Deep Neural Networks, DNN). Это означает, что HoloLens сможет обрабатывать большие объемы данных, не прибегая к внешним облачным ресурсам. Сопроцессор будет полностью перепрограммируемым и сможет работать в режиме реального времени, что, в свою очередь, позволит второму поколению HoloLens автономно и без задержек анализировать то, что видит и слышит пользователь. Кроме того, чип будет применяться разработчиками программной платформы HoloLens 2.0 для создания приложений смешанной реальности с активированной функцией искусственного интеллекта. HoloLens 2.0 получат не менее 8 Gb двухканальной памяти, интерфейс HDMI 1.4 с поддержкой разрешения 2880×1440 пикселей с частотой 60 Hz или HDMI 2.0 с разрешением 2880×1440 пикселей и частотой 90 Hz, накопитель емкостью от 100 Gb, портом USB 3.0 или USB 3.1, а также Bluetooth 4.0. Появится новинка на рынке, предположительно, в начале 2019 года.
