На конференции I/O 2024 компания Google предоставила разработчикам исходный код к Project Gameface. Разработка, анонсированная еще в прошлом году, позволяет управлять курсором с помощью выражения лица или движений головы. Изначально предполагалось, что технология Project Gameface будет работать только с играми, но в этом году Google решил использовать ее в любых программах. Например, пользователь может поднять брови, чтобы выбрать и перетащить что-то на экране, или открыть рот, чтобы переместить курсор.
Количество выражений лиц и то, за что они будут отвечать, разработчик выбирает сам. Project Gameface распознает движения пользователя и сопоставляет их с базой данных Face Landmarks Detection API от MediaPipe. Она включает более 50 возможных выражений лица и движений головы, некоторые из них задействованы в разработке Google. Все воспроизводимые эмоции будут отслеживаться через фронтальную камеру смартфона или планшета и анализироваться с помощью ИИ.
Google опубликовал открытый исходный код Project Gameface на площадке GitHub. Разработчики приложений уже могут интегрировать технологию в свои игры и программы. В первую очередь технология будет полезна людям с ограниченными возможностями.
