Холдинг Alphabet заинтересован в монетизации дополненной реальности. Интерес этот проявился задолго до оформления самого холдинга и превращения Google из гиганта технологической индустрии в одну из компаний, пусть и очень большую, под общим зонтиком. Благодаря тому, что американцы довольно рано увидели потенциал отрасли, в течение последнего десятилетия мы получили десятки академических и коммерческих проектов, таких как Glass, Tango и ARCore. Последний проект отличается тем, что ушёл от потребительского рынка в область научных исследований.
Google работает над Микроскопом дополненной реальности (Augmented Reality Microscope — ARM), который, в сочетании со специальной нейронной сетью, поможет врачам идентифицировать раковые клетки в человечеством организме.
Многие аспекты современного медицинского обследования автоматизированы ради повышения точности и ускорения, но диагностика рака до сих пор занимает много времени. После проведения биопсии тканей с предполагаемым раковым поражением специалист должен исследовать клетки под микроскопом, сообщает holographica.space.
Ранее Google показывала, что нейронная сеть ускоряет диагностику по цифровым изображениям, однако очевидно, что анализ в реальном времени быстрее. Решением оказался микроскоп дополненной реальности. С помощью алгоритмов искусственного интеллекта он исследует место предполагаемого поражения вместе с врачом и выделяет графику, чтобы человек мог немедленно обратить внимание подозрительные участки.
В проекте трудно переоценить роль дополненной реальности, но она лишь следует за нейронной сетью, обученной поиску раковых клеток. Это свёрточная нейронная сеть, подобная той, которая используется для изоляции голосов и поиска планет с возможностью биологической жизни. Работая с врачами, Google Research накопила тысячи гистологических изображений. Результатом стала пара алгоритмов обнаружения рака: один обнаруживает метастазы рака молочной железы в лимфатических узлах, а другой — рак предстательной железы. Они работают с увеличением от 4x до 40x.
Цель не в том, чтобы заменить специалиста, довериться машине пока нельзя. Именно поэтому нейронная сеть привязана к микроскопу дополненной реальности. Компьютер предоставляет врачу своё мнение, сокращая вероятность ошибки. Сеть получает данные c микроскопа через камеру на скорости 10 кадров в секунду, а затем передаёт объединённую с данными поиска картинку на окуляр, то есть врач смотрит на результат работы ИИ с выделенными подозрительными местами.
Оснащение микроскопа камерой и крошечным дисплеем дополненной реальности может звучать как хлопотное дело, но это эффективный способ ввести технологию в массы. Подобные микроскопы дороги, вследствие чего лучше доработать их, а для анализа даже не понадобится внешний монитор.
Диагностика рака может быть лишь началом. В Google Research уверены в полезности технологии в борьбе с другими заболеваниями.
Подробности проекта вы найдёте в отчёте исследователей.
