Rомпании, занимающиеся искусственным интеллектом, планируют строительство центров обработки данных, которые войдут в число крупнейших инфраструктурных проектов в истории. Такие тенденции сегодня свойственны и Азербайджану. Давайте рассмотрим их энергопотребление и особенности центров обработки данных для ИИ, а также то, что все это значит для политики в области ИИ и будущего ИИ.

Введение

Трудно оценить исторический масштаб центров обработки данных для ИИ. Они представляют собой одни из крупнейших инфраструктурных проектов, когда-либо созданных человечеством. Чтобы оценить масштаб, представьте, что для центра обработки данных Stargate Abilene от OpenAI потребуется:

• такие же объемы электроэнергии, как для обеспечения города с населением до 1 млн. человек;
• вычислительная мощность, более чем в 250 раз превышающая мощность суперкомпьютера, обучившего GPT-4;
• участок земли размером больше 450 футбольных полей;
• 32 млрд. долларов на строительство и IТ-оборудование;
• несколько тысяч строителей;
• около двух лет на строительство.

И это лишь малая часть картины. Технологические гиганты уже строят множество центров обработки данных, подобных Stargate Abilene. К концу 2027 года совокупные инвестиции в центры обработки данных для ИИ могут составить сотни миллиардов долларов, что сопоставимо с программой «Аполлон» и «Манхэттенским проектом». Это поднимает множество вопросов, таких как:

• Зачем нам нужны эти огромные центры обработки данных?
• Что делает их такими исключительными инфраструктурными проектами?
• Где их строят?
• Как мы будем получать электроэнергию для их работы?
• И что все это значит для климата, политики в области ИИ и будущего ИИ?

Ниже мы рассмотрим каждый из этих вопросов.

Электропитание — самое важное, что нужно знать о центре обработки данных для ИИ

Энергопотребление определяет место строительства центров обработки данных для ИИ

Центр обработки данных для ИИ — это не просто группа зданий, напичканных компьютерами для обучения и запуска систем ИИ. Их уникальность заключается в том, что они должны быть огромными, чтобы удовлетворить растущую потребность ИИ в вычислительных ресурсах. Если бы вы каким-то образом смогли обучить модель Grok 4 от xAI на iPad Pro 2024 года, вам потребовалось бы несколько сотен тысяч лет, чтобы закончить этот процесс. А вычислительные мощности, используемые для обучения передовых моделей ИИ, растут примерно в 5 раз в год.

При таком количестве вычислительных мощностей центрам обработки данных для ИИ требуются огромные объемы электроэнергии. Это означает, что большинство центров обработки данных для ИИ будет построено в тех немногих странах, которые смогут обеспечить эту электроэнергию — по крайней мере, в ближайшие несколько лет.

О каком количестве электроэнергии мы на самом деле говорим? В США к концу 2027 года центрам обработки данных для ИИ потребуется в общей сложности около 20-30 гигаватт (ГВт) электроэнергии. Для сравнения, 30 ГВт составляют примерно 5% от средней текущей мощности электрогенерации в США и 2,5% — в Китае. Это большие, но управляемые доли этих крупных энергосистем. В большинстве других стран 30 ГВт составят непомерно большую долю от общей мощности электрогенерации. В Японии это составит около 25% от мощности электрогенерации, во Франции — 50%, а в Великобритании — 90%. Но это не мешает этим странам строить центры обработки данных гигаваттного масштаба или размещать передовые лаборатории, и они, возможно, смогут увеличить свои совокупные энергоснабжения. Но удовлетворить потребности ИИ в электроэнергии, вероятно, будет проще в Китае и США.

Спрос на электроэнергию также ограничивает возможности строительства центров обработки данных гигаваттного масштаба внутри страны. В США компании планируют строить такие объекты в штатах, например, в Техасе, где много природного газа и меньше бюрократических проволочек. Это упрощает доставку гигаватт электроэнергии в одно место.

Другие факторы, как правило, имеют гораздо меньшее значение при выборе места для строительства центров обработки данных для ИИ. Например, можно предположить, что центры обработки данных должны располагаться рядом с крупными городами, чтобы данные могли быстро передаваться конечным пользователям. Но физическое расстояние оказывается на удивление малозначимым — моделям требуется на порядки больше времени для обработки запросов пользователей, чем время, необходимое для передачи данных по всему миру. Даже если центр обработки данных будет размещен на орбите Земли или на Луне, время обработки моделей может быть большим, чем время передачи данных!

Могут быть некоторые сценарии использования, требующие короткого времени передачи данных, например, автономные транспортные средства или видеоигры с искусственным интеллектом. Однако во многих случаях, например, при обучении и запуске языковых моделей, скорость передачи данных имеет гораздо меньшее значение.

Откуда берется энергия

Если к концу 2027 года центры обработки данных, использующие ИИ, будут потреблять в общей сложности от 20 до 30 ГВт только в США, то откуда должна поступать энергия? Для обеспечения основного электроснабжения компании подключают центры обработки данных к электросети и строят новые электростанции для их поддержки. Часто они делают и то, и другое для одного и того же центра обработки данных. Например, Stargate Abilene первоначально будет использовать собственную электростанцию, работающую на природном газе, а затем подключится к сети для увеличения энергоснабжения.

Когда спрос на электроэнергию резко возрастает или основные источники питания отключаются, центры обработки данных используют резервные источники питания, как правило, дизельные. Это гарантирует, что центры обработки данных, использующие ИИ, постоянно обеспечены достаточным количеством энергии, оптимизируя использование огромных инвестиций в IТ-оборудование.

Многие электростанции используют газовые турбины, такие, как те, что поддерживают центры обработки данных OpenAI Stargate и Meta Hyperion. Природный газ особенно популярен, потому что он относительно дешов, может поставляться круглосуточно, а электростанции, использующие его в качестве топлива, строятся довольно быстро. Это отчасти связано с тем, что нормативные акты затрудняют использование более грязных источников энергии (таких как уголь) в больших масштабах.

В долгосрочной перспективе компании планируют перевести часть этих центров обработки данных на более возобновляемые источники энергии. Например, Stargate, вероятно, будет все больше подключаться к электросети, полагаясь на обильную ветровую энергию Техаса. Другой пример — центр обработки данных Goodnight, который должен быть расположен рядом с ветряной электростанцией в Клоде (штат Техас, США).

Конечно, от этих планов могут отказаться, и не всегда очевидно, что именно они подразумевают. Например, Microsoft намерена построить солнечную электростанцию мощностью 250 мегаватт в рамках своих планов по развитию центра обработки данных в Маунт-Плезанте. Но солнечная энергия предназначена не для самого центра обработки данных — она будет использоваться для компенсации энергии, получаемой от основного источника природного газа, за счет дополнительной энергии, не содержащей углерода.

Что же такого особенного в центрах обработки данных для ИИ?

Центры обработки данных для ИИ обладают исключительно высокой удельной мощностью

Вся эта мощность используется для работы IТ-оборудования, что является самым большим источником энергии и самой большой статьей расходов во всем центре обработки данных. Но важна не только общая мощность — исключительность центров обработки данных для ИИ заключается в том, что они потребляют много энергии в малом объеме. То есть, они обладают очень высокой удельной мощностью. Причина исключительной удельной мощности кроется в структуре центров обработки данных для ИИ. Чтобы помочь компьютерным чипам, таким как графические процессоры (GPU) и центральные процессоры (CPU), быстро обмениваться данными друг с другом, они плотно размещены в вертикальных шкафах, похожих на «серверные стойки». В стойку можно поместить десятки графических процессоров. Например, в стандартной для отрасли стойке NVIDIA NVL72 GB200 помещается 72 графических процессора.

Однако размещение IТ-оборудования вплотную друг к другу имеет свою цену. Каждая стойка не очень большая — чуть более 2 м. в высоту, а ее поперечное сечение составляет около 0,5 м². В этом небольшом объеме процессоры потребляют более 100 киловатт (кВт) энергии — достаточно, чтобы обеспечить электроэнергией 100 домов! Это приводит к огромной плотности энергопотребления, которая действительно делает центры обработки данных для ИИ исключительными. Центры обработки данных, не используемые для ИИ, обычно потребляют 10 кВт на стойку, что примерно в десять раз меньше, чем у стойки NVL72.

Огромная плотность энергопотребления требует уникальных систем охлаждения

При такой высокой плотности энергопотребления IТ-оборудование начинает перегреваться, что негативно сказывается на производительности. Поэтому центры обработки данных проектируются таким образом, чтобы поддерживать оборудование в охлажденном состоянии. Но как это реализуется?

Современные центры обработки данных для ИИ используют жидкостное охлаждение — жидкий хладагент циркулирует через металлические пластины, установленные на IТ-оборудовании, передавая тепло хладагенту. Затем охлаждающая жидкость выходит из серверной стойки и передает тепло воде, которая вытекает из IT-помещений, прежде чем отвести тепло наружу с помощью специального охлаждающего оборудования.

Существует два распространенных способа отвода тепла от воды. Первый — использование водоохлаждаемого чиллера с испарительной градирней. Чиллер работает, как холодильник, перемещая тепло от воды внутри к другому контуру воды, который течет наружу, в градирню. Затем градирня подвергает горячую воду воздействию наружного воздуха. Наконец, вода испаряется, создавая охлаждающий эффект, подобно тому, как испаряется наш пот, охлаждая наше тело.

Второй подход — использование охлаждаемого воздухом чиллера. Такие устройства перемещают тепло от воды в центре обработки данных к воздуху за его пределами. Однако чиллеры с воздушным охлаждением засасывают воздух непосредственно над змеевиками холодильника, чтобы охладить их, вместо использования внешнего контура с водой. При таком подходе можно повторно использовать гораздо больше воды, поскольку она не испаряется.

Центры обработки данных с гораздо меньшей удельной мощностью не нуждаются в такой сложной системе. Вместо этого они обычно полагаются на большие вентиляторы и кондиционеры для управления теплом. Но поскольку воздух не идеален для эффективного «поглощения» тепла, эти методы не подойдут для центров обработки данных, использующих ИИ. Жидкие хладагенты и вода гораздо лучше справляются с отводом тепла в таких условиях, поэтому часто говорят, что центры обработки данных, использующие ИИ, потребляют много воды.

Что все это значит для прогресса в области ИИ и политики?

Влияние ИИ на климат пока не очень велико

Поскольку центры обработки данных, использующие ИИ, потребляют много электроэнергии и воды, оказывают ли они значительное негативное воздействие на окружающую среду? В действительности, ИИ еще не потребил достаточно электроэнергии и воды, чтобы оказать широкое влияние на климат. Хотя центры обработки данных, использующие ИИ, в совокупности потребляют 1% от общего объема электроэнергии в США, это все еще значительно меньше, чем кондиционирование воздуха (12%) и освещение (8%). Аналогичная ситуация и с водой. В то время как центры обработки данных в США напрямую использовали около 17,4 млрд. галлонов воды в 2023 году, сельское хозяйство использовало около 36,5 трлн. галлонов — примерно в 2000 раз больше.

Тем не менее, центры обработки данных, использующие ИИ, могут оказывать значительное локальное воздействие в регионах с меньшей доступностью энергии. И со временем такие центры обработки данных смогут начать вносить существенный вклад в изменение климата, если они продолжат полагаться на ископаемое топливо. В конце концов, прогнозируется, что к 2027 году центры обработки данных для ИИ могут потреблять 5% от общего объема производства электроэнергии в США, и дальнейшее развитие центров обработки данных может продолжиться.

Крайне маловероятно, что ИИ уже оказал широкое влияние на климат до настоящего времени, но, если тенденции сохранятся, ситуация может измениться в течение следующего десятилетия.

Вероятно, компаниям не потребуется децентрализовать обучение ИИ в течение следующих двух лет

Центры обработки данных растут достаточно быстро, поэтому нам не требуется децентрализованное обучение — по крайней мере, в течение следующих двух лет. При текущих тенденциях для крупнейшего цикла обучения ИИ за два года потребуется около 2,5 млн. эквивалентных графических процессоров H100. В то же время, центр обработки данных Fairwater от OpenAI/Microsoft будет обладать вдвое большей вычислительной мощностью. Таким образом, вычислительных мощностей достаточно для масштабирования обучения в одном центре обработки данных.

Но неясно, будут ли компании делать это на практике. С одной стороны, обучение в одном центре обработки данных может снизить затраты на строительство. Это также может упростить обучение, например: объединение нескольких центров обработки данных в сеть создаст больше точек отказа, что может снизить надежность проведения обучения. С другой стороны, децентрализованное обучение в разных местах упрощает использование избыточных мощностей.

Можно предположить, что централизованное обучение останется нормой в течение следующих двух-трех лет, учитывая, что центры обработки данных растут достаточно быстро, чтобы это стало возможным. Но далеко не ясно, будет ли это так.

Центры обработки данных для ИИ гигаваттных масштабов сложно защитить

Сейчас очень часто обсуждается безопасность центров обработки данных для ИИ. Некоторые опасаются утечки конфиденциальной информации о центрах обработки данных, а полностью предотвратить это сложно. Как мы отметили ранее, в строительстве центров обработки данных гигаваттных масштабов часто задействованы тысячи людей из разных организаций. Проверить каждого сложно.

Также сложно скрыть местоположение центров обработки данных, поскольку их обширные системы охлаждения велики и их трудно не заметить. Их даже можно идентифицировать с помощью спутниковых снимков. Если вы видите здание с множеством гигантских чиллеров рядом с ним, велика вероятность, что это центр обработки данных. Например, если мы посмотрим на спутниковые снимки Stargate Abilene от OpenAI, то очень четко увидим охлаждающее оборудование, окружающее здания центра обработки данных. А это значит, что распространенная аналогия между развитием ИИ и «Манхэттенским проектом» несколько неуместна. Сохранить в тайне от остального мира проект такого масштаба гораздо сложнее.

Заключение

Центры обработки данных будут играть ключевую роль в прогрессе ИИ в ближайшие несколько лет. Основной фактор — масштаб, и наиболее важным показателем, на который следует обратить внимание, является энергопотребление. Энергопотребление играет важную роль в определении места строительства центров обработки данных, в том, какие страны смогут идти в ногу с передовыми разработками в области ИИ, и затрудняет сокрытие центров обработки данных для остального мира.

Но, конечно, остается еще много открытых вопросов. Например, после завершения строительства центров обработки данных мы часто не знаем наверняка, кто использует вычислительные мощности внутри них. И мы также не знаем, какие действия предпримут разные страны. Например, как страны с ограниченными энергетическими мощностями будут реагировать на масштабное строительство центров обработки данных для ИИ, доступ к вычислительным мощностям, которые они вряд ли смогут получить? На эти вопросы ответов пока нет.