Скільки енергії використовує ШІ?

Скільки енергії використовує ШІ?

Відповідь: Штучний інтелект може використовувати дуже мало електроенергії для простого текстового завдання, але набагато більше, коли запити довгі, результати мультимодальні або системи працюють у величезних масштабах. Навчання зазвичай є основним початковим ударом по енергії, тоді як щоденний висновок стає значним у міру накопичення запитів.

Ключові висновки:

Контекст : Визначте завдання, модель, апаратне забезпечення та масштаб, перш ніж надавати будь-яку оцінку енергоспоживання.

Навчання : Розглядайте навчання моделей як основний початковий енергетичний захід під час планування бюджетів.

Висновок : Уважно стежте за повторюваним висновком, оскільки невеликі витрати на запит швидко накопичуються при великому масштабі.

Інфраструктура : Включіть охолодження, сховище, мережі та простої потужності в будь-яку реалістичну оцінку.

Ефективність : Використовуйте менші моделі, коротші запити, кешування та пакетну роботу для зменшення споживання енергії.

Скільки енергії використовує ШІ? Інфографіка

Статті, які вам, можливо, буде цікаво прочитати після цієї:

🔗 Як штучний інтелект впливає на навколишнє середовище
Пояснює вуглецевий слід штучного інтелекту, споживання енергії та компроміси щодо сталого розвитку.

🔗 Чи шкідливий ШІ для навколишнього середовища?
Розкриває приховані екологічні витрати моделей штучного інтелекту та центрів обробки даних.

🔗 Штучний інтелект хороший чи поганий? Плюси та мінуси
Збалансований погляд на переваги, ризики, етику та реальний вплив штучного інтелекту.

🔗 Що таке ШІ? Простий посібник
Вивчіть основи штучного інтелекту, ключові терміни та повсякденні приклади за лічені хвилини.

Чому це питання важливіше, ніж люди думають 🔍

Використання енергії штучним інтелектом — це не просто тема для обговорення екологічних питань. Воно стосується кількох цілком реальних речей:

  • Вартість електроенергії , особливо для підприємств, які використовують багато запитів на штучний інтелект

  • Вплив вуглецю – залежно від джерела живлення серверів

  • Навантаження на обладнання – потужні чіпи споживають серйозну потужність

  • Рішення щодо масштабування – одна дешева підказка може перетворитися на мільйони дорогих

  • Дизайн продукту – ефективність часто є кращою характеристикою, ніж люди усвідомлюють ( Google Cloud , Green AI )

Багато людей запитують: «Скільки енергії споживає ШІ?», бо хочуть отримати вражаючу цифру. Щось величезне. Щось, що приверне увагу громадськості. Але краще запитати ось про яке використання ШІ йдеться? Тому що це змінює все. ( IEA )

Одна пропозиція автозаповнення? Досить маленька.
Навчання frontier моделі на масивних кластерах? Набагато, набагато більша.
Постійно активний робочий процес корпоративного штучного інтелекту, який торкається мільйонів користувачів? Так, це швидко накопичується... як копійки, що перетворюються на орендну плату. ( DOE , Google Cloud )

Скільки енергії використовує ШІ? Коротка відповідь ⚡

Ось практична версія.

Штучний інтелект може використовувати від крихітної частки ват-години для виконання легкого завдання до величезної кількості електроенергії для масштабного навчання та розгортання. Цей діапазон звучить комічно широко, бо він справді широкий. ( Google Cloud , Strubell та ін. )

Простіше кажучи:

  • Прості завдання на висновок – часто відносно скромні для кожного окремого використання

  • Тривалі розмови, великі потужності, генерація зображень, генерація відео – помітно більше енергоємності

  • Навчання великих моделей - чемпіон у важкій вазі зі споживання енергії

  • Масштабна робота ШІ протягом усього дня — де «маленький запит» перетворюється на «великий загальний рахунок» ( Google Cloud , DOE )

Гарне емпіричне правило таке:

  • Тренування – це гігантська подія, що витрачає попередню енергію 🏭

  • Висновок – це поточний рахунок за комунальні послуги 💡 ( Strubell et al. , Google Research )

Тож, коли хтось запитує: « Скільки енергії використовує ШІ?» , пряма відповідь буде: «Не одна кількість, а достатньо, щоб ефективність мала значення, і достатньо, щоб масштаб змінив усю історію». ( МЕА , «Зелений ШІ» )

Знаю, це не так привабливо, як людям хотілося б. Але це правда.

Що робить версію оцінки енергії на основі штучного інтелекту хорошою? 🧠

Гарна оцінка — це не просто драматичне число, накинуте на графіку. Практична оцінка включає контекст. В іншому випадку це як зважувати туман на вагах у ванній кімнаті. Достатньо близько, щоб звучало вражаюче, але недостатньо близько, щоб довіряти. ( IEA , Google Cloud )

Гідна оцінка енергії, розроблена штучним інтелектом, повинна включати:

  • Тип завдання – текст, зображення, аудіо, відео, навчання, точне налаштування

  • Розмір моделі – більші моделі зазвичай потребують більше обчислень

  • Використане обладнання – не всі чіпи однаково ефективні

  • Тривалість сеансу – короткі підказки та довгі багатоетапні робочі процеси дуже відрізняються

  • Використання - системи, що перебувають у режимі очікування, все ще споживають енергію

  • Охолодження та інфраструктура - сервер - це ще не все

  • Розташування та енергетичний баланс – електроенергія не скрізь однаково чиста ( Google Cloud , МЕА )

Ось чому двоє людей можуть сперечатися про використання електроенергії штучним інтелектом, і обидві людини можуть звучати впевнено, водночас обговорюючи зовсім різні речі. Одна людина має на увазі одну відповідь чат-бота. Інша — гігантський навчальний пробіг. Обидва кажуть «ШІ», і раптом розмова збивається з рейок 😅

Порівняльна таблиця - найкращі способи оцінки споживання енергії штучним інтелектом 📊

Ось практична таблиця для тих, хто намагається відповісти на це питання, не перетворюючи це на перформанс.

Інструмент або метод Найкраща аудиторія Ціна Чому це працює
Проста оцінка за емпіричним правилом Допитливі читачі, студенти Безкоштовно Швидко, легко, трохи розпливчасто – але достатньо добре для грубих порівнянь
Ваттметр на стороні пристрою Індивідуальні будівельники, аматори Низький Вимірює фактичну тягу машини, яка є освіжаюче конкретною
Панель керування телеметрією графічного процесора Інженери, команди машинного навчання Середній Краща деталізація завдань, що потребують багато обчислень, хоча може не враховувати накладні витрати на більші об'єкти
Хмарне виставлення рахунків + журнали використання Стартапи, операційні команди Середній до високого Пов'язує використання ШІ з реальними витратами – не ідеально, але все ж досить цінно
Звітність про енергоспоживання в центрі обробки даних Корпоративні команди Високий Забезпечує ширший огляд операційної діяльності, охолодження та інфраструктура починають проявлятися тут
Повна оцінка життєвого циклу Команди зі сталого розвитку, великі організації Високий, іноді болючий Найкраще підходить для серйозного аналізу, бо він виходить за рамки самого чіпа... але він повільний і щось на зразок звіра

Ідеального методу не існує. Це трохи неприємна частина. Але є рівні цінності. І зазвичай щось справне перевершує ідеальне. ( Google Cloud )

Найбільший фактор — це не магія, а обчислювальна потужність та обладнання 🖥️🔥

Коли люди уявляють собі використання енергії штучним інтелектом, вони часто уявляють саму модель як річ, що споживає енергію. Але модель — це програмна логіка, що працює на апаратному забезпеченні. Саме на апаратному забезпеченні відображається рахунок за електроенергію. ( Strubell et al. , Google Cloud )

Найбільші змінні зазвичай включають:

Високооптимізована система може виконувати більше роботи з меншою витратою енергії. Недбала система може витрачати електроенергію з захоплюючою впевненістю. Ви знаєте, як це буває — деякі установки схожі на гоночні автомобілі, деякі — на візки для покупок з ракетами, приклеєними скотчем 🚀🛒

І так, розмір моделі має значення. Більші моделі, як правило, потребують більше пам'яті та обчислень, особливо під час генерації довгих виводів або обробки складних міркувань. Але хитрощі підвищення ефективності можуть змінити картину: ( Зелений штучний інтелект , квантування, пакетування та стратегії обслуговування в LLM Energy Use )

Тож питання не лише в тому, «Наскільки велика модель?», а й в тому, «Наскільки інтелектуально вона керується?»

Навчання проти логічного висновку — це різні речі 🐘🐇

Це розкол, який бентежить майже всіх.

Навчання

Навчання – це коли модель вивчає закономірності з величезних наборів даних. Воно може включати багато чіпів, що працюють протягом тривалого часу, обробляючи гігантські обсяги даних. Цей етап є енергоємним. Іноді надзвичайно енергоємним. ( Струбелл та ін. )

Енергія тренувань залежить від:

  • розмір моделі

  • розмір набору даних

  • кількість тренувальних пробіжок

  • невдалі експерименти

  • точне налаштування пасів

  • ефективність апаратного забезпечення

  • охолодження зверху ( Strubell et al. , Google Research )

А ось те, що люди часто пропускають – громадськість часто уявляє собі один великий навчальний пробіг, виконаний один раз, і кінець історії. На практиці розробка може включати повторні пробіги, налаштування, перенавчання, оцінювання та всі прозаїчні, але дорогі ітерації навколо головної події. ( Strubell et al. , Green AI )

Висновок

Висновок – це модель, яка відповідає на фактичні запити користувачів. Один запит може здаватися не таким вже й великим. Але висновок відбувається знову і знову. Мільйони разів. Іноді мільярди. ( Google Research , DOE )

Енергія висновку зростає з:

Отже, тренування – це землетрус. Висновок – це приплив. Один – драматичний, інший – наполегливий, і обидва можуть трохи змінити форму узбережжя. Це, можливо, незвичайна метафора, але вона більш-менш тримається разом...

Приховані витрати на енергію, про які люди забувають 😬

Коли хтось оцінює споживання енергії штучним інтелектом, дивлячись лише на чіп, він зазвичай недооцінює його. Не завжди катастрофічно, але достатньо, щоб мати значення. ( Google Cloud , IEA )

Ось приховані фрагменти:

Охолодження ❄️

Сервери генерують тепло. Потужне обладнання штучного інтелекту генерує його багато. Охолодження не є необов'язковим. Кожен ват, споживаний обчисленнями, як правило, призводить до більшого використання енергії лише для підтримки нормальної температури. ( IEA , Google Cloud )

Переміщення даних 🌐

Переміщення даних між сховищами, пам'яттю та мережами також потребує енергії. Штучний інтелект не просто «думає». Він також постійно перетасовує інформацію. ( IEA )

Простої ємності 💤

Системи, побудовані для пікового навантаження, не завжди працюють у цей час. Недіюча або недостатньо використовується інфраструктура все ще споживає електроенергію. ( Google Cloud )

Надмірність та надійність 🧱

Резервні копії, системи відновлення після збоїв, дублікати регіонів, рівні безпеки – все це цінно, все це частина більшої енергетичної картини. ( IEA )

Зберігання 📦

Дані навчання, вбудовування, журнали, контрольні точки, згенеровані виходи – все це десь зберігається. Звісно, ​​зберігання дешевше, ніж обчислення, але не безкоштовно з точки зору енергії. ( IEA )

Ось чому на питання «Скільки енергії споживає ШІ?» неможливо відповісти, дивлячись на одну діаграму бенчмарків. Важливий повний стек. ( Google Cloud , МЕА )

Чому одна підказка штучного інтелекту може бути крихітною, а наступна — величезною 📝➡️🎬

Не всі запити однакові. Короткий запит на переписування речення не можна порівняти з проханням про тривалий аналіз, багатоетапний сеанс кодування або створення зображень високої роздільної здатності. ( Google Cloud )

Речі, які, як правило, збільшують споживання енергії на одну взаємодію:

Легка текстова відповідь може бути відносно дешевою. Гігантський мультимодальний робочий процес може бути, ну, не дешевим. Це трохи схоже на замовлення кави проти організації весілля. Технічно обидва вважаються «харчовим обслуговуванням». Одне не схоже на інше ☕🎉

Це особливо важливо для команд розробників продуктів. Функція, яка здається нешкідливою за низького рівня використання, може стати дорогою за великих масштабів, якщо кожен сеанс користувача стає довшим, насиченішим та вимагає більше обчислювальних ресурсів. ( DOE , Google Cloud )

Споживчий ШІ та корпоративний ШІ – це не одне й те саме 🏢📱

Пересічна людина, яка випадково користується штучним інтелектом, може вважати, що головна проблема полягає в її випадкових підказках. Зазвичай це не те, де знаходиться головна енергетична історія. ( Google Cloud )

Використання підприємства змінює математику:

  • тисячі працівників

  • постійно увімкнені другі пілоти

  • автоматизована обробка документів

  • підсумок дзвінків

  • аналіз зображень

  • інструменти для перевірки коду

  • постійно працюють фонові агенти

Саме тут сукупне використання енергії починає набувати великого значення. Не тому, що кожна дія є апокаліптичною, а тому, що повторення є множником. ( Міністерство енергетики США , МЕА )

У моїх власних тестах та оглядах робочих процесів саме тут люди дивуються. Вони зосереджуються на назві моделі або яскравій демонстрації та ігнорують обсяг. Обсяг часто є справжнім рушійним фактором – або рятівною благодаттю, залежно від того, чи виставляєте рахунки клієнтам, чи оплачуєте комунальні послуги 😅

Для споживачів вплив може здаватися абстрактним. Для бізнесу він дуже швидко стає конкретним:

  • більші рахунки за інфраструктуру

  • більший тиск для оптимізації

  • більша потреба в менших моделях, де це можливо

  • внутрішня звітність про сталий розвиток

  • більше уваги до кешування та маршрутизації ( Google Cloud , Green AI )

Як зменшити споживання енергії штучним інтелектом, не відмовляючись від нього 🌱

Ця частина важлива, оскільки метою не є «припинити використовувати ШІ». Зазвичай це нереалістично і навіть не потрібно. Краще використання — це розумніший шлях.

Ось найбільші важелі впливу:

1. Використовуйте найменшу модель, яка виконує роботу

Не кожному завданню потрібен важкий варіант. Легша модель для класифікації або узагальнення може швидко скоротити втрати. ( Зелений ШІ , Google Cloud )

2. Скоротіть підказки та виводи

Багатослівний вхід, багатослівний вихід. Зайві токени означають додаткові обчислення. Іноді обрізання запиту — найлегша перемога. ( Квантування, пакетування та стратегії обслуговування в LLM Energy Use , Google Cloud )

3. Кешування повторюваних результатів

Якщо той самий запит постійно з'являється, не генеруйте його щоразу заново. Це майже очевидно, але це пропускається. ( Google Cloud )

4. Пакетні завдання, коли це можливо

Виконання завдань пакетами може покращити використання ресурсів та зменшити втрати. ( Квантування, пакетування та стратегії обслуговування в LLM Energy Use )

5. Розумна маршрутизація завдань

Використовуйте великі моделі лише тоді, коли падає впевненість або зростає складність завдання. ( Зелений ШІ , Google Cloud )

6. Оптимізація інфраструктури

Краще планування, краще обладнання, краща стратегія охолодження — прозаїчні речі, величезна винагорода. ( Google Cloud , DOE )

7. Виміряйте, перш ніж робити припущення

Багато команд думають, що знають, куди йде енергія. Потім вони вимірюють, і ось вона — дорога частина знаходиться десь в іншому місці. ( Google Cloud )

Робота з підвищення ефективності не є гламурною. Вона рідко отримує схвалення. Але це один із найкращих способів зробити ШІ доступнішим та більш захищеним у великих масштабах 👍

Поширені міфи про використання електроенергії штучним інтелектом 🚫

Давайте розвіємо кілька міфів, бо ця тема швидко заплутується.

Міф 1. Кожен запит до ШІ є надзвичайно марнотратним

Не обов'язково. Деякі скромні. Масштаб і тип завдання мають велике значення. ( Google Cloud )

Міф 2 – Важливими є лише тренування

Ні. Висновок може домінувати з часом, коли використання величезне. ( Google Research , DOE )

Міф 3. Більша модель завжди означає кращий результат

Іноді так, іноді абсолютно ні. Багато завдань чудово справляються з меншими системами. ( Зелений ШІ )

Міф 4. Використання енергії автоматично дорівнює вуглецевому впливу

Не зовсім. Вуглець також залежить від джерела енергії. ( IEA , Strubell та ін. )

Міф 5. Ви можете отримати один універсальний номер для використання енергії штучним інтелектом

Ви не можете, принаймні не у формі, яка залишатиметься значущою. Або можете, але це буде настільки усереднено, що втратить цінність. ( IEA )

Ось чому питання « Скільки енергії використовує ШІ?» є розумним, але лише якщо ви готові до багаторівневої відповіді, а не до гасла.

Отже... скільки енергії насправді використовує ШІ? 🤔

Ось обґрунтований висновок.

Штучний інтелект використовує:

  • трохи , для деяких простих завдань

  • набагато більше , для потужної мультимодальної генерації

  • дуже велика кількість для навчання великомасштабних моделей

  • величезна кількість загалом , коли з часом накопичуються мільйони запитів ( Google Cloud , DOE )

Ось така форма.

Головне — не зводити всю проблему до однієї страшної цифри чи одного зневажливого знизування плечима. Споживання енергії штучним інтелектом реальне. Воно має значення. Його можна покращити. І найкращий спосіб говорити про це — в контексті, а не театрально. ( IEA , Green AI )

Багато публічних дискусій коливаються між крайнощами – з одного боку, «ШІ практично безкоштовний», з іншого – «ШІ – це електричний апокаліпсис». Реальність більш буденна, що робить її більш інформативною. Це системна проблема. Апаратне забезпечення, програмне забезпечення, використання, масштаб, охолодження, вибір дизайну. Прозаїчне? Трохи. Важливе? Дуже. ( IEA , Google Cloud )

Ключові висновки ⚡🧾

Якщо ви запитаєте: « Скільки енергії використовує штучний інтелект?» , ось висновок:

  • Немає універсального рішення

  • Тренування зазвичай споживає найбільше енергії на початку

  • Висновок стає важливим фактором у великих масштабах

  • Розмір моделі, апаратне забезпечення, робоче навантаження та охолодження – все це має значення

  • Невеликі оптимізації можуть мати напрочуд велике значення

  • Найрозумніше питання не лише «скільки», але й «для якого завдання, на якій системі, в якому масштабі?» ( IEA , Google Cloud )

Тож так, ШІ використовує реальну енергію. Достатньо, щоб заслуговувати на увагу. Достатньо, щоб виправдати кращу інженерію. Але не в мультяшному, однозначному сенсі.

Найчастіші запитання

Скільки енергії ШІ використовує для виконання однієї підказки?

Не існує універсального числа для одного запиту, оскільки споживання енергії залежить від моделі, апаратного забезпечення, довжини запиту, довжини виводу та будь-якого додаткового використання інструментів. Коротка текстова відповідь може бути відносно скромною, тоді як довге багатомодальне завдання може споживати помітно більше. Найбільш змістовною відповіддю є не один заголовок цифри, а контекст, що оточує завдання.

Чому оцінки використання потужності штучного інтелекту так різняться?

Оцінки різняться, оскільки люди часто порівнюють дуже різні речі під одним терміном ШІ. Одна оцінка може описувати легку відповідь чат-бота, тоді як інша може охоплювати генерацію зображень, відео або навчання великомасштабної моделі. Щоб оцінка була змістовною, їй потрібен контекст, такий як тип завдання, розмір моделі, апаратне забезпечення, використання, охолодження та розташування.

Що є більшим джерелом витрат на енергію для навчання ШІ чи щоденної роботи ШІ?

Навчання зазвичай є великою початковою подією, яка вимагає значні витрати енергії, оскільки воно може включати роботу багатьох мікросхем протягом тривалого часу на величезних наборах даних. Висновок – це постійні витрати, які виникають щоразу, коли користувачі надсилають запити, і в великих масштабах вони також можуть стати дуже значними. На практиці обидва аспекти мають значення, хоча й по-різному.

Що робить один запит ШІ набагато енергоємнішим, ніж інший?

Довші вікна контексту, довші виводи, повторювані проходи міркувань, виклики інструментів, кроки пошуку та мультимодальна генерація – все це призводить до збільшення споживання енергії на одну взаємодію. Цільові показники затримки також мають значення, оскільки вимоги до швидшої відповіді можуть знизити ефективність. Невеликий запит на перезапис і тривалий робочий процес кодування або роботи з зображеннями просто не можна порівнювати.

Які приховані витрати на енергію люди не помічають, коли запитують, скільки енергії споживає штучний інтелект?

Багато людей зосереджуються лише на чіпі, але не враховують охолодження, переміщення даних, сховище, ємність у режимі очікування та системи надійності, такі як резервне копіювання або області відновлення після відмови. Ці допоміжні шари можуть суттєво змінити загальний розмір. Ось чому сам по собі бенчмарк рідко відображає повну картину енергоспоживання.

Чи завжди більша модель штучного інтелекту споживає більше енергії?

Більші моделі зазвичай потребують більше обчислювальних ресурсів та пам'яті, особливо для довгих або складних виводів, тому вони часто споживають більше енергії. Але більший розмір не означає автоматично кращий для кожного завдання, і оптимізація може значно змінити картину. Менші спеціалізовані моделі, квантування, пакетна обробка, кешування та розумніша маршрутизація можуть підвищити ефективність.

Чи є використання споживчим штучним інтелектом основною проблемою енергії, чи це більша проблема – корпоративний штучний інтелект?

Звичайне використання споживачами може накопичуватися, але ширша історія споживання енергії часто проявляється в корпоративних розгортаннях. Постійно активні копілоти, обробка документів, підсумовування викликів, перевірка коду та фонові агенти створюють повторний попит у великих базах користувачів. Проблема зазвичай полягає не стільки в одній драматичній дії, скільки в сталому обсягу з часом.

Скільки енергії використовує штучний інтелект, якщо врахувати центри обробки даних та охолодження?

Після врахування ширшої системи відповідь стає більш реалістичною і зазвичай виявляється більшою, ніж припускають оцінки, що базуються лише на чіпах. Центрам обробки даних потрібна енергія не лише для обчислень, але й для охолодження, роботи в мережі, зберігання даних та підтримки резервних потужностей. Ось чому проектування інфраструктури та ефективність об'єктів мають майже таке ж значення, як і проектування моделі.

Який найпрактичніший спосіб вимірювання споживання енергії штучним інтелектом у реальному робочому процесі?

Найкращий метод залежить від того, хто проводить вимірювання та з якою метою. Приблизне емпіричне правило може допомогти для швидких порівнянь, тоді як ватметри, телеметрія графічного процесора, журнали хмарного виставлення рахунків та звітність центру обробки даних забезпечують поступово глибше розуміння операційної діяльності. Для серйозної роботи зі сталого розвитку повніше уявлення про життєвий цикл є ще кращим, хоча воно повільніше та вимогливіше.

Як команди можуть зменшити споживання енергії штучним інтелектом, не відмовляючись від корисних функцій штучного інтелекту?

Найбільші вигоди зазвичай отримують від використання найменшої моделі, яка все ще виконує роботу, скорочення підказок та виводів, кешування повторюваних результатів, пакетної роботи та маршрутизації лише складніших завдань до більших моделей. Оптимізація інфраструктури також важлива, особливо планування та ефективність обладнання. У багатьох конвеєрах вимірювання попереду допомагає запобігти оптимізації командами неправильних речей.

Посилання

  1. Міжнародне енергетичне агентство (МЕА) - Попит на енергію від штучного інтелекту - iea.org

  2. Міністерство енергетики США (DOE) – DOE публікує новий звіт, що оцінює зростання попиту на електроенергію в центрах обробки даних – energy.gov

  3. Google Cloud – Вимірювання впливу штучного інтелекту на навколишнє середовище – cloud.google.com

  4. Google Research - Гарні новини про вуглецевий слід навчання машинним навчанням - research.google

  5. Google Research – Вуглецевий слід навчання машинним навчанням вирівняється, а потім зменшиться – research.google

  6. arXiv - Зелений ШІ - arxiv.org

  7. arXiv - Strubell та ін. - arxiv.org

  8. arXiv - Стратегії квантування, пакетування та обслуговування в LLM Energy Use - arxiv.org

Знайдіть найновіший штучний інтелект в офіційному магазині помічників зі штучним інтелектом

Про нас

Повернутися до блогу