Відповідь: Штучний інтелект може використовувати дуже мало електроенергії для простого текстового завдання, але набагато більше, коли запити довгі, результати мультимодальні або системи працюють у величезних масштабах. Навчання зазвичай є основним початковим ударом по енергії, тоді як щоденний висновок стає значним у міру накопичення запитів.
Ключові висновки:
Контекст: Визначте завдання, модель, апаратне забезпечення та масштаб, перш ніж надавати будь-яку оцінку енергоспоживання.
Навчання: Розглядайте навчання моделей як основний початковий енергетичний захід під час планування бюджетів.
Висновок: Уважно стежте за повторюваним висновком, оскільки невеликі витрати на запит швидко накопичуються при великому масштабі.
Інфраструктура: Включіть охолодження, сховище, мережі та простої потужності в будь-яку реалістичну оцінку.
Ефективність: Використовуйте менші моделі, коротші запити, кешування та пакетну роботу для зменшення споживання енергії.
Статті, які вам, можливо, буде цікаво прочитати після цієї:
🔗 Як штучний інтелект впливає на навколишнє середовище
Пояснює вуглецевий слід штучного інтелекту, споживання енергії та компроміси щодо сталого розвитку.
🔗 Чи шкідливий ШІ для навколишнього середовища?
Розкриває приховані екологічні витрати моделей штучного інтелекту та центрів обробки даних.
🔗 Штучний інтелект хороший чи поганий? Плюси та мінуси
Збалансований погляд на переваги, ризики, етику та реальний вплив штучного інтелекту.
🔗 Що таке ШІ? Простий посібник
Вивчіть основи штучного інтелекту, ключові терміни та повсякденні приклади за лічені хвилини.
Чому це питання важливіше, ніж люди думають 🔍
Використання енергії штучним інтелектом — це не просто тема для обговорення екологічних питань. Воно стосується кількох цілком реальних речей:
-
Вартість електроенергії , особливо для підприємств, які використовують багато запитів на штучний інтелект
-
Вплив вуглецю – залежно від джерела живлення серверів
-
Навантаження на обладнання – потужні чіпи споживають серйозну потужність
-
Рішення щодо масштабування – одна дешева підказка може перетворитися на мільйони дорогих
-
Дизайн продукту – ефективність часто є кращою характеристикою, ніж люди усвідомлюють (Google Cloud, Green AI)
Багато людей запитують: «Скільки енергії споживає ШІ?», бо хочуть отримати вражаючу цифру. Щось величезне. Щось, що приверне увагу громадськості. Але краще запитати ось про яке використання ШІ йдеться? Тому що це змінює все. (IEA)
Одна пропозиція автозаповнення? Досить маленька.
Навчання frontier моделі на масивних кластерах? Набагато, набагато більша.
Постійно активний робочий процес корпоративного штучного інтелекту, який торкається мільйонів користувачів? Так, це швидко накопичується... як копійки, що перетворюються на орендну плату. (DOE, Google Cloud)
Скільки енергії використовує ШІ? Коротка відповідь ⚡
Ось практична версія.
Штучний інтелект може використовувати від крихітної частки ват-години для виконання легкого завдання до величезної кількості електроенергії для масштабного навчання та розгортання. Цей діапазон звучить комічно широко, бо він справді широкий. (Google Cloud, Strubell та ін.)
Простіше кажучи:
-
Прості завдання на висновок – часто відносно скромні для кожного окремого використання
-
Тривалі розмови, великі потужності, генерація зображень, генерація відео – помітно більше енергоємності
-
Навчання великих моделей - чемпіон у важкій вазі зі споживання енергії
-
Масштабна робота ШІ протягом усього дня — де «маленький запит» перетворюється на «великий загальний рахунок» (Google Cloud, DOE)
Гарне емпіричне правило таке:
-
Тренування – це гігантська подія, що витрачає попередню енергію 🏭
-
Висновок – це поточний рахунок за комунальні послуги 💡 (Strubell et al., Google Research)
Тож, коли хтось запитує: « Скільки енергії використовує ШІ?», пряма відповідь буде: «Не одна кількість, а достатньо, щоб ефективність мала значення, і достатньо, щоб масштаб змінив усю історію». (МЕА, «Зелений ШІ»)
Знаю, це не так привабливо, як людям хотілося б. Але це правда.
Що робить версію оцінки енергії на основі штучного інтелекту хорошою? 🧠
Гарна оцінка — це не просто драматичне число, накинуте на графіку. Практична оцінка включає контекст. В іншому випадку це як зважувати туман на вагах у ванній кімнаті. Достатньо близько, щоб звучало вражаюче, але недостатньо близько, щоб довіряти. (IEA, Google Cloud)
Гідна оцінка енергії, розроблена штучним інтелектом, повинна включати:
-
Тип завдання – текст, зображення, аудіо, відео, навчання, точне налаштування
-
Розмір моделі – більші моделі зазвичай потребують більше обчислень
-
Використане обладнання – не всі чіпи однаково ефективні
-
Тривалість сеансу – короткі підказки та довгі багатоетапні робочі процеси дуже відрізняються
-
Використання - системи, що перебувають у режимі очікування, все ще споживають енергію
-
Охолодження та інфраструктура - сервер - це ще не все
-
Розташування та енергетичний баланс – електроенергія не скрізь однаково чиста (Google Cloud, МЕА)
Ось чому двоє людей можуть сперечатися про використання електроенергії штучним інтелектом, і обидві людини можуть звучати впевнено, водночас обговорюючи зовсім різні речі. Одна людина має на увазі одну відповідь чат-бота. Інша — гігантський навчальний пробіг. Обидва кажуть «ШІ», і раптом розмова збивається з рейок 😅
Порівняльна таблиця - найкращі способи оцінки споживання енергії штучним інтелектом 📊
Ось практична таблиця для тих, хто намагається відповісти на це питання, не перетворюючи це на перформанс.
| Інструмент або метод | Найкраща аудиторія | Ціна | Чому це працює |
|---|---|---|---|
| Проста оцінка за емпіричним правилом | Допитливі читачі, студенти | Безкоштовно | Швидко, легко, трохи розпливчасто – але достатньо добре для грубих порівнянь |
| Ваттметр на стороні пристрою | Індивідуальні будівельники, аматори | Низький | Вимірює фактичну тягу машини, яка є освіжаюче конкретною |
| Панель керування телеметрією графічного процесора | Інженери, команди машинного навчання | Середній | Краща деталізація завдань, що потребують багато обчислень, хоча може не враховувати накладні витрати на більші об'єкти |
| Хмарне виставлення рахунків + журнали використання | Стартапи, операційні команди | Середній до високого | Пов'язує використання ШІ з реальними витратами – не ідеально, але все ж досить цінно |
| Звітність про енергоспоживання в центрі обробки даних | Корпоративні команди | Високий | Забезпечує ширший огляд операційної діяльності, охолодження та інфраструктура починають проявлятися тут |
| Повна оцінка життєвого циклу | Команди зі сталого розвитку, великі організації | Високий, іноді болючий | Найкраще підходить для серйозного аналізу, бо він виходить за рамки самого чіпа... але він повільний і щось на зразок звіра |
Ідеального методу не існує. Це трохи неприємна частина. Але є рівні цінності. І зазвичай щось справне перевершує ідеальне. (Google Cloud)
Найбільший фактор — це не магія, а обчислювальна потужність та обладнання 🖥️🔥
Коли люди уявляють собі використання енергії штучним інтелектом, вони часто уявляють саму модель як річ, що споживає енергію. Але модель — це програмна логіка, що працює на апаратному забезпеченні. Саме на апаратному забезпеченні відображається рахунок за електроенергію. (Strubell et al., Google Cloud)
Найбільші змінні зазвичай включають:
-
Тип графічного процесора або прискорювача
-
Скільки чіпів використовується
-
Як довго вони залишаються активними
-
Завантаження пам'яті
-
Розмір партії та пропускна здатність
-
Чи добре оптимізована система, чи просто використовується метод перебору (Google Cloud, квантування, пакетування та стратегії обслуговування в LLM Energy Use)
Високооптимізована система може виконувати більше роботи з меншою витратою енергії. Недбала система може витрачати електроенергію з захоплюючою впевненістю. Ви знаєте, як це буває — деякі установки схожі на гоночні автомобілі, деякі — на візки для покупок з ракетами, приклеєними скотчем 🚀🛒
І так, розмір моделі має значення. Більші моделі, як правило, потребують більше пам'яті та обчислень, особливо під час генерації довгих виводів або обробки складних міркувань. Але хитрощі підвищення ефективності можуть змінити картину: (Зелений штучний інтелект, квантування, пакетування та стратегії обслуговування в LLM Energy Use)
-
квантування
-
краща маршрутизація
-
менші спеціалізовані моделі
-
кешування
-
дозування
-
розумніше планування обладнання (Квантування, пакетування та стратегії обслуговування в LLM Energy Use)
Тож питання не лише в тому, «Наскільки велика модель?», а й в тому, «Наскільки інтелектуально вона керується?»
Навчання проти логічного висновку — це різні речі 🐘🐇
Це розкол, який бентежить майже всіх.
Навчання
Навчання – це коли модель вивчає закономірності з величезних наборів даних. Воно може включати багато чіпів, що працюють протягом тривалого часу, обробляючи гігантські обсяги даних. Цей етап є енергоємним. Іноді надзвичайно енергоємним. (Струбелл та ін.)
Енергія тренувань залежить від:
-
розмір моделі
-
розмір набору даних
-
кількість тренувальних пробіжок
-
невдалі експерименти
-
точне налаштування пасів
-
ефективність апаратного забезпечення
-
охолодження зверху (Strubell et al., Google Research)
А ось те, що люди часто пропускають – громадськість часто уявляє собі один великий навчальний пробіг, виконаний один раз, і кінець історії. На практиці розробка може включати повторні пробіги, налаштування, перенавчання, оцінювання та всі прозаїчні, але дорогі ітерації навколо головної події. (Strubell et al., Green AI)
Висновок
Висновок – це модель, яка відповідає на фактичні запити користувачів. Один запит може здаватися не таким вже й великим. Але висновок відбувається знову і знову. Мільйони разів. Іноді мільярди. (Google Research, DOE)
Енергія висновку зростає з:
-
тривалість запиту
-
вихідна довжина
-
кількість користувачів
-
вимоги до затримки
-
мультимодальні функції
-
очікуваний час безвідмовної роботи
-
етапи безпеки та постобробки (Google Cloud, квантування, пакетування та стратегії обслуговування в LLM Energy Use)
Отже, тренування – це землетрус. Висновок – це приплив. Один – драматичний, інший – наполегливий, і обидва можуть трохи змінити форму узбережжя. Це, можливо, незвичайна метафора, але вона більш-менш тримається разом...
Приховані витрати на енергію, про які люди забувають 😬
Коли хтось оцінює споживання енергії штучним інтелектом, дивлячись лише на чіп, він зазвичай недооцінює його. Не завжди катастрофічно, але достатньо, щоб мати значення. (Google Cloud, IEA)
Ось приховані фрагменти:
Охолодження ❄️
Сервери генерують тепло. Потужне обладнання штучного інтелекту генерує його багато. Охолодження не є необов'язковим. Кожен ват, споживаний обчисленнями, як правило, призводить до більшого використання енергії лише для підтримки нормальної температури. (IEA, Google Cloud)
Переміщення даних 🌐
Переміщення даних між сховищами, пам'яттю та мережами також потребує енергії. Штучний інтелект не просто «думає». Він також постійно перетасовує інформацію. (IEA)
Простої ємності 💤
Системи, побудовані для пікового навантаження, не завжди працюють у цей час. Недіюча або недостатньо використовується інфраструктура все ще споживає електроенергію. (Google Cloud)
Надмірність та надійність 🧱
Резервні копії, системи відновлення після збоїв, дублікати регіонів, рівні безпеки – все це цінно, все це частина більшої енергетичної картини. (IEA)
Зберігання 📦
Дані навчання, вбудовування, журнали, контрольні точки, згенеровані виходи – все це десь зберігається. Звісно, зберігання дешевше, ніж обчислення, але не безкоштовно з точки зору енергії. (IEA)
Ось чому на питання «Скільки енергії споживає ШІ?» неможливо відповісти, дивлячись на одну діаграму бенчмарків. Важливий весь стек. (Google Cloud, IEA)
Чому одна підказка штучного інтелекту може бути крихітною, а наступна — величезною 📝➡️🎬
Не всі запити однакові. Короткий запит на переписування речення не можна порівняти з проханням про тривалий аналіз, багатоетапний сеанс кодування або створення зображень високої роздільної здатності. (Google Cloud)
Речі, які, як правило, збільшують споживання енергії на одну взаємодію:
-
Довші контекстні вікна
-
Довші відповіді
-
Етапи використання та вилучення інструментів
-
Кілька проходів для міркування або перевірки
-
Генерація зображень, аудіо або відео
-
Вища паралельність
-
Цілі з меншою затримкою (Google Cloud, квантування, пакетування та стратегії обслуговування в LLM Energy Use)
Легка текстова відповідь може бути відносно дешевою. Гігантський мультимодальний робочий процес може бути, ну, не дешевим. Це трохи схоже на замовлення кави проти організації весілля. Технічно обидва вважаються «харчовим обслуговуванням». Одне не схоже на інше ☕🎉
Це особливо важливо для команд розробників продуктів. Функція, яка здається нешкідливою за низького рівня використання, може стати дорогою за великих масштабів, якщо кожен сеанс користувача стає довшим, насиченішим та вимагає більше обчислювальних ресурсів. (DOE, Google Cloud)
Споживчий ШІ та корпоративний ШІ – це не одне й те саме 🏢📱
Пересічна людина, яка випадково користується штучним інтелектом, може вважати, що головна проблема полягає в її випадкових підказках. Зазвичай це не те, де знаходиться головна енергетична історія. (Google Cloud)
Використання підприємства змінює математику:
-
тисячі працівників
-
постійно увімкнені другі пілоти
-
автоматизована обробка документів
-
підсумок дзвінків
-
аналіз зображень
-
інструменти для перевірки коду
-
постійно працюють фонові агенти
Саме тут сукупне використання енергії починає набувати великого значення. Не тому, що кожна дія є апокаліптичною, а тому, що повторення є множником. (Міністерство енергетики США, МЕА)
У моїх власних тестах та оглядах робочих процесів саме тут люди дивуються. Вони зосереджуються на назві моделі або яскравій демонстрації та ігнорують обсяг. Обсяг часто є справжнім рушійним фактором – або рятівною благодаттю, залежно від того, чи виставляєте рахунки клієнтам, чи оплачуєте комунальні послуги 😅
Для споживачів вплив може здаватися абстрактним. Для бізнесу він дуже швидко стає конкретним:
-
більші рахунки за інфраструктуру
-
більший тиск для оптимізації
-
більша потреба в менших моделях, де це можливо
-
внутрішня звітність про сталий розвиток
-
більше уваги до кешування та маршрутизації (Google Cloud, Green AI)
Як зменшити споживання енергії штучним інтелектом, не відмовляючись від нього 🌱
Ця частина важлива, оскільки метою не є «припинити використовувати ШІ». Зазвичай це нереалістично і навіть не потрібно. Краще використання — це розумніший шлях.
Ось найбільші важелі впливу:
1. Використовуйте найменшу модель, яка виконує роботу
Не кожному завданню потрібен важкий варіант. Легша модель для класифікації або узагальнення може швидко скоротити втрати. (Зелений ШІ, Google Cloud)
2. Скоротіть підказки та виводи
Багатослівний вхід, багатослівний вихід. Зайві токени означають додаткові обчислення. Іноді обрізання запиту — найлегша перемога. (Квантування, пакетування та стратегії обслуговування в LLM Energy Use, Google Cloud)
3. Кешування повторюваних результатів
Якщо той самий запит постійно з'являється, не генеруйте його щоразу заново. Це майже очевидно, але це пропускається. (Google Cloud)
4. Пакетні завдання, коли це можливо
Виконання завдань пакетами може покращити використання ресурсів та зменшити втрати. (Квантування, пакетування та стратегії обслуговування в LLM Energy Use)
5. Розумна маршрутизація завдань
Використовуйте великі моделі лише тоді, коли падає впевненість або зростає складність завдання. (Зелений ШІ, Google Cloud)
6. Оптимізація інфраструктури
Краще планування, краще обладнання, краща стратегія охолодження — прозаїчні речі, величезна винагорода. (Google Cloud, DOE)
7. Виміряйте, перш ніж робити припущення
Багато команд думають, що знають, куди йде енергія. Потім вони вимірюють, і ось вона — дорога частина знаходиться десь в іншому місці. (Google Cloud)
Робота з підвищення ефективності не є гламурною. Вона рідко отримує схвалення. Але це один із найкращих способів зробити ШІ доступнішим та більш захищеним у великих масштабах 👍
Поширені міфи про використання електроенергії штучним інтелектом 🚫
Давайте розвіємо кілька міфів, бо ця тема швидко заплутується.
Міф 1. Кожен запит до ШІ є надзвичайно марнотратним
Не обов'язково. Деякі скромні. Масштаб і тип завдання мають велике значення. (Google Cloud)
Міф 2 – Важливими є лише тренування
Ні. Висновок може домінувати з часом, коли використання величезне. (Google Research, DOE)
Міф 3. Більша модель завжди означає кращий результат
Іноді так, іноді абсолютно ні. Багато завдань чудово справляються з меншими системами. (Зелений ШІ)
Міф 4. Використання енергії автоматично дорівнює вуглецевому впливу
Не зовсім. Вуглець також залежить від джерела енергії. (IEA, Strubell та ін.)
Міф 5. Ви можете отримати один універсальний номер для використання енергії штучним інтелектом
Ви не можете, принаймні не у формі, яка залишатиметься значущою. Або можете, але це буде настільки усереднено, що втратить цінність. (IEA)
Ось чому питання « Скільки енергії використовує ШІ?» є розумним, але лише якщо ви готові до багаторівневої відповіді, а не до гасла.
Отже... скільки енергії насправді використовує ШІ? 🤔
Ось обґрунтований висновок.
Штучний інтелект використовує:
-
трохи, для деяких простих завдань
-
набагато більше, для потужної мультимодальної генерації
-
дуже велика кількістьдля навчання великомасштабних моделей
-
величезна кількість загалом, коли з часом накопичуються мільйони запитів (Google Cloud, DOE)
Ось така форма.
Головне — не зводити всю проблему до однієї страшної цифри чи одного зневажливого знизування плечима. Споживання енергії штучним інтелектом реальне. Воно має значення. Його можна покращити. І найкращий спосіб говорити про це — в контексті, а не театрально. (IEA, Green AI)
Багато публічних дискусій коливаються між крайнощами – з одного боку, «ШІ практично безкоштовний», з іншого – «ШІ – це електричний апокаліпсис». Реальність більш буденна, що робить її більш інформативною. Це системна проблема. Апаратне забезпечення, програмне забезпечення, використання, масштаб, охолодження, вибір дизайну. Прозаїчне? Трохи. Важливе? Дуже. (IEA, Google Cloud)
Ключові висновки ⚡🧾
Якщо ви запитали сюди: « Скільки енергії використовує штучний інтелект?», ось висновок:
-
Немає універсального рішення
-
Тренування зазвичай споживає найбільше енергії на початку
-
Висновок стає важливим фактором у великих масштабах
-
Розмір моделі, апаратне забезпечення, робоче навантаження та охолодження – все це має значення
-
Невеликі оптимізації можуть мати напрочуд велике значення
-
Найрозумніше питання не лише «скільки», а й «для якого завдання, на якій системі, в якому масштабі?» (IEA, Google Cloud)
Тож так, ШІ використовує реальну енергію. Достатньо, щоб заслуговувати на увагу. Достатньо, щоб виправдати кращу інженерію. Але не в мультяшному, однозначному сенсі.
Приклад з реального світу: Вимірювання витрат на енергію для помічника зі штучним інтелектом
Сценарій
Уявіть собі невелику SaaS-компанію, яка використовує помічника на базі штучного інтелекту для написання відповідей на заявки в службу підтримки клієнтів. Це вигаданий, але реалістичний приклад, а не тематичне дослідження компанії.
Команда обробляє близько 500 запитів на підтримку щотижня. Більшість із них прості: скидання пароля, питання щодо оплати, пояснення функцій та базове усунення несправностей. Компанія не хоче, щоб помічник надсилав відповіді автоматично. Вона готує чернетки відповідей для перевірок агентом служби підтримки.
Питання енергетики не в тому, «Скільки загалом використовує ШІ?». Воно більш практичне:
«Скільки додаткових обчислень ми створюємо, додаючи штучний інтелект до цього робочого процесу, і чи можемо ми зменшити їх, не погіршуючи якість?»
Що потрібно помічнику
Команда почне з:
Зручна база знань довідкового центру
Перелік затверджених правил повернення коштів, конфіденційності та ескалації
20-30 прикладів переконливих відповідей на підтримку в минулому
Чітка інструкція, яку помічник має скласти, а не надіслати
Журнали використання хмари або журнали використання API моделі
Проста електронна таблиця для відстеження типу заявки, тривалості запиту, тривалості виводу, часу перевірки та того, чи було прийнято відповідь
Важливим є вимірювання. Без журналів команда лише здогадується.
Приклад інструкції
Ви — помічник служби підтримки з написання документів для SaaS-продукту. Використовуйте лише затверджений контент довідкового центру та надані примітки до політики. Напишіть чітку, ввічливу відповідь обсягом до 180 слів. Якщо клієнт просить повернення коштів, видалення облікового запису, юридичну консультацію, деталі безпеки або щось інше, що не зазначено в документах, не відповідайте безпосередньо. Позначте це для перевірки людиною та поясніть, якої інформації бракує.
Перш ніж писати відповідь, класифікуйте запит як: простий, чутливий до політики, технічний або такий, що потребує ескалації.
Як це перевірити
Команда могла б протестувати помічника на 50 минулих квитках, перш ніж використовувати його в реальному часі.
Простий набір тестів може включати:
10 запитів на пароль або вхід
10 квитанцій про виставлення рахунків
10 квитків на технічне усунення несправностей
10 нечітких або неповних повідомлень від клієнтів
10 чутливих до політики запитів, що стосуються повернення коштів, конфіденційності або закриття облікового запису
Для кожного квитка команда повинна записати:
Чи був проект фактично правильним?
Чи використовувалася лише затверджена інформація?
Чи залишилося воно в межах ліміту слів?
Чи правильно було позначено делікатні випадки?
Скільки часу людина витратила на його редагування?
Скільки токенів або запитів було використано в робочому процесі?
Це дає команді щось конкретне для порівняння, замість того, щоб покладатися на здогадки.
Результат
Ілюстративний результат: Виходячи з хронометражу 50 зразків заявок до та після використання робочого процесу, команда оцінює, що середній час підготовки першого чернетки зменшується з 6 хвилин до 2 хвилин на заявку.
Для 500 квитків на тиждень це економить близько 2000 хвилин, або приблизно 33 години часу на розробку.
Але журнали також показують дещо цінне: 38% запитів – це прості повтори. Кешуючи схвалені відповіді на ці повторювані запитання замість того, щоб створювати кожен чернетку з нуля, команда скорочує кількість запитів до ШІ з 500 на тиждень до 310 на тиждень.
Це скорочення на 38% кількості щотижневих викликів логічного висновку для цього робочого процесу без видалення функції штучного інтелекту.
Команда може перевірити це, порівнявши:
Загальна кількість запитів ШІ за тиждень до та після кешування
Середня довжина запиту та виводу
Рівень прийняття людьми
Кількість правильно виявлених ескалацій
Оцінки якості підтримки або кількість редагувань
Точна економія електроенергії все ще залежатиме від моделі, обладнання, постачальника та інфраструктури. Але саме зниження робочого навантаження є вимірюваним.
Що може піти не так
Помічник може відповідати на запитання щодо політики надмірно, якщо правила ескалації є нечіткими.
Довгі документи довідкового центру можуть збільшити довжину запиту, якщо налаштування пошуку погано структуровані.
Агенти можуть занадто швидко довіряти вільним чернеткам і пропускати незначні помилки.
Кешування може стати ризикованим, якщо в обігу залишаються старі політики повернення коштів, ціноутворення або конфіденційності.
Команда може оптимізувати процес для меншої кількості токенів, випадково створюючи менш корисні відповіді.
Найбезпечніша версія тримає людей в курсі подій, оцінює прийняті відповіді та переглядає кешовані відповіді щоразу, коли змінюються правила.
Практичний висновок
Обґрунтована оцінка енергоспоживання ШІ починається з конкретного робочого процесу. Підраховуйте запити, скорочуйте підказки, кешуйте повторювані відповіді та вимірюйте якість рецензування. Це перетворює питання «Скільки енергії споживає ШІ?» з розпливчастої дискусії на практичне інженерне питання з цифрами, які команда може покращити на практиці.
Найчастіші запитання
Скільки енергії ШІ використовує для виконання однієї підказки?
Не існує універсального числа для одного запиту, оскільки споживання енергії залежить від моделі, апаратного забезпечення, довжини запиту, довжини виводу та будь-якого додаткового використання інструментів. Коротка текстова відповідь може бути відносно скромною, тоді як довге багатомодальне завдання може споживати помітно більше. Найбільш змістовною відповіддю є не один заголовок цифри, а контекст, що оточує завдання.
Чому оцінки використання потужності штучного інтелекту так різняться?
Оцінки різняться, оскільки люди часто порівнюють дуже різні речі під одним терміном ШІ. Одна оцінка може описувати легку відповідь чат-бота, тоді як інша може охоплювати генерацію зображень, відео або навчання великомасштабної моделі. Щоб оцінка була змістовною, їй потрібен контекст, такий як тип завдання, розмір моделі, апаратне забезпечення, використання, охолодження та розташування.
Що є більшим джерелом витрат на енергію для навчання ШІ чи щоденної роботи ШІ?
Навчання зазвичай є великою початковою подією, яка вимагає значні витрати енергії, оскільки воно може включати роботу багатьох мікросхем протягом тривалого часу на величезних наборах даних. Висновок – це постійні витрати, які виникають щоразу, коли користувачі надсилають запити, і в великих масштабах вони також можуть стати дуже значними. На практиці обидва аспекти мають значення, хоча й по-різному.
Що робить один запит ШІ набагато енергоємнішим, ніж інший?
Довші вікна контексту, довші виводи, повторювані проходи міркувань, виклики інструментів, кроки пошуку та мультимодальна генерація – все це призводить до збільшення споживання енергії на одну взаємодію. Цільові показники затримки також мають значення, оскільки вимоги до швидшої відповіді можуть знизити ефективність. Невеликий запит на перезапис і тривалий робочий процес кодування або роботи з зображеннями просто не можна порівнювати.
Які приховані витрати на енергію люди не помічають, коли запитують, скільки енергії споживає штучний інтелект?
Багато людей зосереджуються лише на чіпі, але не враховують охолодження, переміщення даних, сховище, ємність у режимі очікування та системи надійності, такі як резервне копіювання або області відновлення після відмови. Ці допоміжні шари можуть суттєво змінити загальний розмір. Ось чому сам по собі бенчмарк рідко відображає повну картину енергоспоживання.
Чи завжди більша модель штучного інтелекту споживає більше енергії?
Більші моделі зазвичай потребують більше обчислювальних ресурсів та пам'яті, особливо для довгих або складних виводів, тому вони часто споживають більше енергії. Але більший розмір не означає автоматично кращий для кожного завдання, і оптимізація може значно змінити картину. Менші спеціалізовані моделі, квантування, пакетна обробка, кешування та розумніша маршрутизація можуть підвищити ефективність.
Чи є використання споживчим штучним інтелектом основною проблемою енергії, чи це більша проблема – корпоративний штучний інтелект?
Звичайне використання споживачами може накопичуватися, але ширша історія споживання енергії часто проявляється в корпоративних розгортаннях. Постійно активні копілоти, обробка документів, підсумовування викликів, перевірка коду та фонові агенти створюють повторний попит у великих базах користувачів. Проблема зазвичай полягає не стільки в одній драматичній дії, скільки в сталому обсягу з часом.
Скільки енергії використовує штучний інтелект, якщо врахувати центри обробки даних та охолодження?
Після врахування ширшої системи відповідь стає більш реалістичною і зазвичай виявляється більшою, ніж припускають оцінки, що базуються лише на чіпах. Центрам обробки даних потрібна енергія не лише для обчислень, але й для охолодження, роботи в мережі, зберігання даних та підтримки резервних потужностей. Ось чому проектування інфраструктури та ефективність об'єктів мають майже таке ж значення, як і проектування моделі.
Який найпрактичніший спосіб вимірювання споживання енергії штучним інтелектом у реальному робочому процесі?
Найкращий метод залежить від того, хто проводить вимірювання та з якою метою. Приблизне емпіричне правило може допомогти для швидких порівнянь, тоді як ватметри, телеметрія графічного процесора, журнали хмарного виставлення рахунків та звітність центру обробки даних забезпечують поступово глибше розуміння операційної діяльності. Для серйозної роботи зі сталого розвитку повніше уявлення про життєвий цикл є ще кращим, хоча воно повільніше та вимогливіше.
Як команди можуть зменшити споживання енергії штучним інтелектом, не відмовляючись від корисних функцій штучного інтелекту?
Найбільші вигоди зазвичай отримують від використання найменшої моделі, яка все ще виконує роботу, скорочення підказок та виводів, кешування повторюваних результатів, пакетної роботи та маршрутизації лише складніших завдань до більших моделей. Оптимізація інфраструктури також важлива, особливо планування та ефективність обладнання. У багатьох конвеєрах вимірювання попереду допомагає запобігти оптимізації командами неправильних речей.
Посилання
-
Міжнародне енергетичне агентство (МЕА) - Попит на енергію від штучного інтелекту - iea.org
-
Міністерство енергетики США (DOE) – DOE публікує новий звіт, що оцінює зростання попиту на електроенергію в центрах обробки даних – energy.gov
-
Google Cloud – Вимірювання впливу штучного інтелекту на навколишнє середовище – cloud.google.com
-
Google Research - Гарні новини про вуглецевий слід навчання машинним навчанням - research.google
-
Google Research – Вуглецевий слід навчання машинним навчанням вирівняється, а потім зменшиться – research.google
-
arXiv - Зелений ШІ - arxiv.org
-
arXiv - Strubell та ін. - arxiv.org
-
arXiv - Стратегії квантування, пакетування та обслуговування в LLM Energy Use - arxiv.org