Приготовьтесь выучить новые термины, описывающие производительность устройств, решающих задачи искусственного интеллекта.
Новые технологии всегда приносят с собой много новых терминов, а так называемая революция искусственного интеллекта заставила каждого производителя компьютеров и процессоров использовать в характеристиках своих устройств такой термин, как TOPS. И хотя понятие TOPS не имеет решающего значения для понимания того, как инструменты искусственного интеллекта будут работать на ваших смартфонах и компьютерах или в случае обращения к ним в гибридной среде, этот показатель может оказаться полезным. Теперь его следует учитывать при покупке ноутбука или компьютера так же, как и число лошадиных сил при покупке автомобиля. Конечно, подобная параллель не является идеальной, особенно если учесть, как быстро меняются технологии.
Что означает TOPS?
TOPS — это простая аббревиатура от Tera Operations Per Second или Trillion Operations Per Second (триллионы операций за одну секунду). Если с триллионами все понятно, то под операциями здесь подразумеваются 8-битные операции с целыми числами (INT8). Другими словами, это тип данных и математические вычисления, которые использует встроенный нейронный процессор (NPU) для ускорения функций искусственного интеллекта.
Поскольку TOPS является мерой скорости, вы обычно увидите эту спецификацию в списке рядом с обозначением нейронных процессоров, массово появляющихся в ноутбуках и смартфонах. NPU менее важны для настольных компьютеров, поскольку они предназначены для устройств, где важна экономия энергии. Они медленнее, чем графический процессор (GPU), встроенный непосредственно в центральный процессор (CPU) или дискретный, который также может выполнять целочисленные математические операции, но потребляет гораздо меньше энергии.
NPU также предназначены для запуска моделей искусственного интеллекта, к которым вы получаете доступ локально на своем устройстве, а не полагаетесь на облако. И в данном случае речь идет непосредственно о стоимости. Как недавно сказал один из топ-менеджеров облачного сервиса о запуске базового искусственного интеллекта в облаке: «кто-то должен платить за эти серверы». Это также позволяет маркетологам развеять наши опасения по поводу конфиденциальности и безопасности, поскольку такие модели работают только локально и не загружаются в облако.
У производителей компьютеров TOPS относится к пиковой теоретической пропускной способности, поэтому этот показатель всегда будет указываться с приставкой «до». Как и в случае с CPU и GPU, эта цифра указывает на определенный уровень производительности, который можно ожидать от NPU. В аналогичном сценарии NPU с более высоким показателем TOPS должен быстрее выполнять задачи искусственного интеллекта, а это может существенно повлиять на полезность и оперативность работы различных инструментов искусственного интеллекта, таких как распознавание изображений, генерация текста и любые другие.
Производительность NPU
Почему TOPS вдруг стал иметь значение?
Показатель TOPS приобрел большое значение в тот момент, когда Microsoft и Qualcomm запустили платформу Microsoft Copilot+ PC для Windows, где NPU с показателем в 40 TOPS стал разделительной линией, делающей любой старый процессор в потребительском ноутбуке непригодным для использования этой платформы. Это связано с тем, что концепция Copilot+ PC использует определенный набор программных интерфейсов Windows для ускорения некоторых основных функций, связанных с искусственным интеллектом. Причем, касается это не только Windows, но и программного обеспечения сторонних разработчиков. Первые системы, предлагающие такую возможность, построены на базе процессоров Qualcomm Snapdragon X Elite и X Plus и оснащены специальным NPU Hexagon, способным развивать производительность до 45 TOPS.
Менее чем через месяц с момента запуска Qualcomm мы услышали о новой серии процессоров AMD Ryzen AI 300 и процессорах Intel Lunar Lake с переработанными NPU. Они используют тип данных, называемый block floating point, который позволяет эффективно хранить и манипулировать этими данными. Это позволяет Intel поднять производительность своего NPU в зону Copilot+ PC. Apple M4 также был обновлен до последней версии ядра Arm, в которой используется блок с плавающей запятой. Отсюда и его улучшение по сравнению с M3.
Помимо Copilot+ PC
Хотя показатель TOPS у NPU будет полезен для определения того, насколько быстро вы сможете запускать приложения Microsoft Copilot, например, Recall, это не абсолютный показатель производительности. Не все нейропроцессы могут комфортно использовать целочисленную математику, и поэтому измерение INT8 TOPS может отражать только то, насколько быстро чип будет обрабатывать основные моменты. Это не включает в себя генеративный искусственный интеллект, который может создавать подробные изображения и видео из текстовых подсказок.
Мало того, выделенные графические процессоры уже способны достигать гораздо более высоких скоростей. Например, графические процессоры NVIDIA серии RTX 40 предлагают показатели в сотни TOPS. Центральные процессоры тоже могут обрабатывать математические операции, хотя в некоторых случаях делают это гораздо медленнее, чем NPU. Таким образом, TOPS уже выступает как более впечатляющий маркетинговой показатель, становясь мерой совокупной производительности всех процессоров в системе: CPU, NPU и GPU. Но когда вы увидите эти цифры, помните, что они могут сильно различаться в зависимости от того, подключены ли вы к сети или ваш ноутбук работает от аккумулятора. С другой стороны, если система имеет высокие показатели TOPS, но не имеет NPU, это исключает поддержку любых возможностей Copilot+ в Windows, которые могли бы вас заинтересовать, по крайней мере, на данный момент.
Любой графический процессор может работать с несколькими типами данных. Большинство серьезных генеративных инструментов написаны с учетом математики с плавающей запятой. Если инструмент использует операции с плавающей запятой (FP16 и FP32), то вместо TOPS вам следует искать такую метрику, как TFLOPS (триллион операций с плавающей запятой). Кроме того, в центральные процессоры сегодня активно внедряются матричные расширения, которые выполняют те же типы операций, что и выделенные ядра Tensor. И то, и другое гораздо важнее для выполнения серьезных задач, вроде обучения моделей искусственного интеллекта, а не просто их запуска. Кроме того, следует ожидать, что многие показатели производительности «железа» в задачах искусственного интеллекта будут меняться, прежде чем мы сможем к этому привыкнуть.
Что может изменить Windows 12?
Сегодня компания Microsoft активно работает над следующей версией Windows. Производители компьютеров ждут выхода этой операционной системы с надеждой, что в ней будет еще больше возможностей для взаимодействия с искусственным интеллектом. Microsoft планирует предоставить в новой операционной системе больше возможностей Windows Copilot. Но это пока только слухи. Официальных заявлений на эту тему еще не было.
Стоит ли сегодня торопиться с обновлением ноутбука?
Оценить полный потенциал работы с искусственным интеллектом получится, скорее всего, только после релиза Windows 12. Только тогда можно будет понять, стоит ли переходить на новое поколение широко используемых мобильных устройств. Но если у вас в планах и так было обновление ноутбука, то приобретение устройства новейшего поколения оправдает себя. Уже сейчас устройства, выполненные в концепции Copilot+ PC, имеют значительные преимущества перед старыми моделями, например, в виде спецэффектов во время видеозвонков или резюмирования больших файлов и сайтов. Такой ноутбук станет выгодной инвестицией в будущее и, скорее всего, будет актуальным в ближайшие годы.
