Що таке токен у ШІ? [Відео та вікторина]

Коротка відповідь: Токен — це невеликий фрагмент тексту або даних, який модель штучного інтелекту перетворює на числа та обробляє. Токени впливають на вартість, швидкість, обсяг пам'яті та довжину виводу. Коли запит виходить за межі контекстного вікна, важливий вміст може бути скорочений, узагальнений або виключений.

Ключові висновки:

Токенізація: Слова, розділові знаки, пробіли та код можуть бути розділені різними способами.

Контекст: Зберігайте важливу інформацію в межах вікна доступних токенів моделі.

Вартість: Зменшення кількості повторюваних інструкцій та непотрібного тексту у високопродуктивних робочих процесах зі штучним інтелектом.

Чіткість: Заздалегідь сформулюйте основне завдання та чітко позначте вимоги.

Ефективність: Розділіть документи великого розміру на логічні розділи, перш ніж об'єднувати результати.

Статті, які вам, можливо, буде цікаво прочитати після цієї:

🔗 Які є типи ШІ?
Розумійте категорії ШІ за можливостями, функціональністю, стилем навчання та практичним використанням.

🔗 Що таке окуляри зі штучним інтелектом?
Дізнайтеся про функції розумних окулярів, використання без використання рук, конфіденційність та практичні обмеження.

🔗 Що таке ШІ на телебаченні?
Дізнайтеся, як ШІ покращує зображення, звук, пошук, рекомендації та доступність.

🔗 Що таке штучний інтелект (ШІ)?
Розпізнавайте низькоякісний ШІ-контент та покращуйте його точність, оригінальність та цілеспрямованість.

---

1. Що таке токен у ШІ? Проста відповідь

Токен у штучному інтелекті — це одиниця тексту, яку модель використовує для розуміння та генерації мови.

Наприклад, речення:

Я люблю піцу.

Може бути розділений на токени, такі як:

• Я

• кохання

• піца

• .

Досить просто.

Але це не завжди так акуратно. Довше або незвичне слово можна розділити на менші частини. Наприклад:

неймовірний

Може стати чимось на кшталт:

• ООН

• вірити

• здатний

Різні системи штучного інтелекту використовують різні токенаізатори, тому точний розподіл може відрізнятися. Ось чому токени можуть здаватися дещо незрозумілими. Вони не є зовсім словами, не зовсім літерами і не завжди складами.

Кращий спосіб подумати про це ось так:

Токени – це невеликі фрагменти мови, які може засвоїти модель штучного інтелекту. 🍽️

Коли ви ставите запитання чат-боту, система не сприймає ваше речення як одну гладку людську думку. Вона розбиває вхідні дані на токени, перетворює їх на числа, обробляє їхні зв'язки, а потім знову і знову прогнозує найімовірніший наступний токен, доки не сформує відповідь.

Тож, коли люди запитують: «Що таке токен у ШІ?», відповідь не просто «фрагмент тексту». Це базова робоча одиниця, яка робить можливим існування ШІ на основі мови.

---

2. Чому токени важливіші, ніж люди очікують

Токени важливі, оскільки вони впливають майже на все, що стосується роботи інструментів штучного інтелекту.

Вони впливають:

• Скільки тексту може обробити ШІ одночасно

• Скільки коштує запит у багатьох системах штучного інтелекту

• Як швидко реагує модель

• Скільки деталей може запам'ятати модель

• Наскільки точно модель розуміє вашу підказку

• Якої довжини може бути відповідь

Ось тут це стає напрочуд практичним.

Коли інструмент штучного інтелекту каже, що має «контекстне вікно», це зазвичай означає максимальну кількість токенів, які він може розглянути одночасно. Ваше запитування, історія розмов, завантажений текст, системні інструкції та відповідь моделі – все це займає токени.

Отже, якщо ви вставите величезний документ у помічника зі штучним інтелектом, а потім запитаєте: «Підсумуйте це», модель повинна вмістити цей текст у межах ліміту токенів. Якщо контент занадто довгий, його частини можуть бути обрізані, стиснуті або проігноровані залежно від того, як розроблено інструмент.

Токени — це не просто технічні дрібниці. Вони — це місце на столі штучного інтелекту. Занадто багато паперу на столі, і речі починають сповзати через край 📄.

---

3. Токени — це не те саме, що слова

Це, мабуть, найбільше непорозуміння.

Лексема — це не завжди одне слово.

Іноді одне слово дорівнює одній фішці. Іноді одне слово перетворюється на кілька фішок. Іноді розділові знаки або пробіли вважаються окремою фішкою. Дратує? Трохи. Важливо? Дуже.

Ось приблизний приклад:

Приклад тексту	Можливий поділ токенів	Що це означає
кіт	кіт	Одне просте слово, ймовірно, один знак
коти	коти або кіт + с	Залежить від токенаізатора
інтернаціоналізація	міжнародна + ізація або менші фрагменти	Довгі слова часто розбиваються
На базі штучного інтелекту	ШІ + - + на базі	Пунктуація може враховуватися
Гей!!!	Гей + ! + ! + !	Так, розділові знаки також можуть «їсти» токени
суперкаліфрагілістичний	кілька шматків, ймовірно	Модель внутрішньо зітхає, мабуть 😅

Немає універсального правила, яке ідеально працює для кожної моделі.

Зазвичай приблизна оцінка полягає в тому, що один токен часто представляє близько кількох символів або частини слова. Але це лише емпіричне правило, а не євангеліє. Англійський текст зазвичай токенізується ефективніше, ніж деякі інші мови, і код також може поводитися по-різному.

Ось чому коротке речення може використовувати більше токенів, ніж очікувалося. А довгий абзац із поширених слів може токенонізуватися плавніше, ніж абзац, переповнений технічними термінами, символами чи незвичайним форматуванням.

---

4. Як ШІ використовує токени для генерації тексту

Ось трохи чарівна частина — хоча це математика в капелюсі чарівника 🧙.

Коли ви вводите запит, система штучного інтелекту робить щось подібне:

1. Розбиває ваш текст на токени

2. Перетворює кожен токен на число або числове представлення

3. Аналізує шаблони та зв'язки токенів

4. Передбачає наступний ймовірний токен

5. Повторює цей процес прогнозування

6. Перетворює згенеровані токени назад на читабельний текст

Отже, якщо ви введете:

Небо є

Модель може передбачити:

синій

Але це також може передбачити:

Хмарно
падає,
не межа,
повна зірок

Обраний результат залежить від моделі, підказки, контексту та налаштувань, що контролюють випадковість або креативність.

Ось чому письмо за допомогою штучного інтелекту іноді здається вільним, а часом відхиляється від теми. Він передбачає токен за токеном на основі вивчених шаблонів, а не витягує готові речення з картотеки.

Це не означає, що модель «просто автозаповнюється» у нудному сенсі. Великі моделі штучного інтелекту вивчають надзвичайно складні взаємозв'язки між концепціями, мовою, структурою, тоном, логікою та контекстом. Але на рівні виводу машина все ще створює текст по одному токену за раз.

Крихітні сходинки. Велика ілюзія. Дуже вишукані сходи.

---

5. Таблиця порівняння: Типи токенів у ШІ

Токени можуть відображатися в різних формах залежно від моделі, токенаізатора та типу контенту. Ось практичне порівняння.

Тип токена	Приклад	Де це проявляється	Чому це важливо
Лексема слова	яблуко	Прості текстові підказки	Легко зрозуміти, акуратно та охайно
Лексема підслова	грати + увати	Довші або модифіковані слова	Допомагає ШІ обробляти незнайомі слова
жетон персонажа	а, б, в	Деякі системи токенізації	Гнучкий, але може бути неефективним
Лексема пунктуації	., ?, !	Усякий вид письма, набридливо	Впливає на тональність та кількість токенів
Пробілний токен	пробіли, розриви рядків	Форматований текст і код	На жаль, форматування не є безкоштовним
Код токена	функція, {, ==	Підказки програмування	Код може швидко спалювати токени
Спеціальний жетон	маркери початку/кінцеві	За лаштунками	Допомагає ввести структуру моделі
Невідомий або рідкісний фрагмент	незвичайні фрагменти	Імена, сленг, друкарські помилки	Може трохи вплинути на точність

Не кожна модель ШІ використовує всі ці елементи однаково. Деякі системи значною мірою покладаються на токенізацію підслів, оскільки вона поєднує ефективність та гнучкість. Це дозволяє моделі точно обробляти слова, які вона ніколи раніше не бачила, розділяючи їх на частини, які вона розпізнає.

Наприклад, якщо модель розуміє micro, bioта logy, вона має кращі шанси працювати зі складними науковими словами, навіть якщо вони незвичайні.

Не ідеально. Але досить розумно. 🧩

---

6. Що таке токен у штучному інтелекті? Чому він впливає на вартість

Багато інструментів штучного інтелекту вимірюють використання в токенах.

Це означає, що як ваші вхідні дані, так і дані штучного інтелекту можуть враховуватися при використанні. Якщо ви надсилаєте довге запрошення, це використовує більше токенів. Якщо модель пише довгу відповідь, це також використовує більше токенів.

Коротке запитання типу:

Поясніть, що таке гравітація.

Використовує відносно мало вхідних токенів.

Але ця підказка:

Поясніть гравітацію детально та доступно для початківців, наведіть приклади, порівняйте її з магнетизмом, додайте таблицю, перепишіть її для дитини, а потім перетворіть на промову.

Використовує більше вхідних токенів, а також запитує довший вивід.

Отже, вартість токенів часто залежить від обох сторін:

• Вхідні токени – те, що ви надсилаєте моделі

• Вихідні токени – що генерує модель

• Контекстні токени – попередня розмова або документи включені

• Системні токени – приховані інструкції, що керують поведінкою

Ось чому дуже довгі чати можуть здаватися повільнішими або обмеженішими. Штучний інтелект може нести попередні частини розмови в їхньому контексті. Як рюкзак, повний цегли. Цінні цеглини, але все ж цеглини.

Для компаній, що використовують штучний інтелект через API, ефективність токенів може стати проблемою бюджету. Заплутана підказка, повторювана тисячі разів, може призвести до неймовірної втрати коштів. Чиста підказка не просто красивіша — вона може бути дешевшою.

---

7. Ліміти токенів та вікно контексту ШІ

Контекстне вікно — одна з найважливіших ідей, пов'язаних з токенами.

Це стосується кількості токенів, які модель штучного інтелекту може обробити одночасно. Це включає ваше запит, попередні повідомлення, вставлені документи, інструкції та відповідь, що генерується.

Уявіть, що у ШІ є дошка. Все, що йому потрібно врахувати, має поміститися на цій дошці. Як тільки дошка заповнена, щось має змінитися.

Це може призвести до кількох ситуацій:

• Модель може забути попередні частини довгої розмови

• Документ може потребувати стислого викладу перед аналізом

• Довгі підказки можуть залишити менше місця для довгих відповідей

• Повторюваний контекст може витіснити важливі деталі

• Модель може більше зосереджуватися на нещодавній інформації

Ось чому важливо оперативне проектування.

Підказка типу:

Прочитайте все це та скажіть мені, що важливо.

Може спрацювати, але може бути не ідеально.

Кращим підказкою може бути:

Підсумуйте основний аргумент, перелічіть ризики, визначте суперечності та назвіть п'ять найважливіших дій.

Це надає моделі чіткішого завдання та допомагає їй витрачати токени на цінну роботу, а не вгадувати ваші наміри.

Токени — це не просто технічне обмеження. Вони формують спосіб спілкування зі штучним інтелектом.

---

8. Чому токенізація допомагає ШІ справлятися з неслухняною мовою

Людська мова неслухняна. Агресивно неслухняна.

Люди використовують сленг, друкарські помилки, емодзі, скорочення, перемикання кодів, назви брендів, хештеги, вигадані слова та фрагменти речень, які виглядають так, ніби вони впали зі сходів.

Токенізація допомагає ШІ впоратися з цим клубком.

Замість того, щоб запам'ятовувати кожне можливе слово, модель може розділити незнайомий текст на менші відомі частини. Це допомагає з:

• Орфографічні помилки

• Нові умови

• Складні слова

• Технічна лексика

• Імена

• Інтернет-сленг

• Емодзі та символи

• Синтаксис програмування

Наприклад, таке слово, як:

ультраперсоналізація

Можливо, це не сприймається як одне знайоме слово. Але ШІ може розпізнавати такі фрагменти, як:

• ультра

• особистий

• ація

Це дає йому шанс на боротьбу.

Ось чому токенізація є цінною для різних мов. Деякі мови мають чіткі пробіли між словами. Інші не використовують пробіли так само. Деякі мають багаті словоформи. Деякі поєднують ідеї в довгі складні слова. Системи токенів допомагають стандартизувати все це в оброблювані одиниці.

Це не зовсім витончено. Скоріше як нарізання овочів калькулятором. Але це працює 🥕.

---

9. Токени в тексті, зображеннях, аудіо та мультимодальному штучному інтелекті

Фраза- токен у ШІ зазвичай зустрічається в текстових моделях, але ширша ідея може застосовуватися і поза текстом.

У мультимодальному штучному інтелекті системи можуть обробляти зображення, аудіо, відео або структуровані дані за допомогою токеноподібних одиниць. Деталі відрізняються, але основна ідея схожа: розділити складну інформацію на менші частини, які модель може обробити.

Наприклад:

• Текст можна розділити на токени слів або підслів

• Зображення можуть бути розділені на ділянки або візуальні представлення

• Аудіо може бути розбито на часові сегменти або закодовані одиниці

• Код можна розбити на синтаксичні токени

• Таблиці можна перетворити на структуровані послідовності токенів

Це важливо, тому що сучасний ШІ дедалі більше не є просто «чатом». Він може інтерпретувати скріншоти, описувати зображення, аналізувати діаграми, транскрибувати аудіо, аналізувати код та реагувати в різних форматах.

Але той самий основний принцип продовжує проявлятися:

Розділіть вхідні дані на керовані частини, перетворіть ці частини на числа та дозвольте моделі вивчити зв'язки між ними.

Це, загалом кажучи, токенізація.

Це шар перекладу між людською текстурою та машинозчитуваною структурою.

---

10. Як токени впливають на розробку запитань

Інженерія запитів звучить гламурніше, ніж є насправді. Іноді це просто означає «питайте чітко та перестаньте заповнювати запит мотлохом». Суворо, але точно.

Токени відіграють важливу роль у кращому підказуванні.

Ось кілька практичних способів використання токен-обізнаності:

Будьте конкретними заздалегідь

Поставте основне завдання ближче до початку:

Напишіть стислий опис продукту для бюджетної настільної лампи.

Не:

Я думав, можливо, зробити щось для сторінки товару, і це про лампу, і мені потрібні слова...

Друга версія витрачає токени та затримує розв'язання проблеми.

Видаліть непотрібний наповнювач

Штучний інтелект може розуміти невимушену мову, але додаткові відступи займають контекст. Вам не потрібно писати як робот, але обрізання допомагає.

Використовуйте структуру

Заголовки, марковані списки, пронумеровані кроки та підписи можуть допомогти моделі зрозуміти, що куди йде.

Приклад:

• Мета:

• Аудиторія:

• Тон:

• Формат:

• Обмеження:

Зазвичай це працює краще, ніж звичайний текст.

Скажіть ШІ, що ігнорувати

Це тихо та потужно.

Ви можете сказати:

Ігноруйте повторювані шаблонні заяви та зосередьтеся лише на цінових відмінностях.

Це запобігає тому, щоб модель витрачала увагу на низькоцінний контент.

Організовуйте довгі розмови

У довгих розмовах час від часу підсумовуйте ключові рішення. Це допомагає зберегти контекст і зменшує плутанину.

По суті, підказки на основі жетонів схожі на пакування валізи. Ви можете взяти найнеобхідніше, або ж три сковорідки та дивуватися, чому ваші шкарпетки не підходять.

---

11. Поширені помилки щодо токенів штучного інтелекту

Давайте прояснимо кілька речей, бо розмови про символи швидко стають каламутними.

Помилка 1: Один токен дорівнює одному слову

Ні. Іноді так, часто ні. Токени можуть бути словами, частинами слів, розділовими знаками або іншими фрагментами.

Помилка 2: Більше жетонів завжди означає кращі відповіді

Не обов'язково. Довша підказка може бути корисною, коли вона додає цінний контекст. Але надто складна підказка може заплутати модель або витрачати місце.

Помилка 3: Обмеження токенів впливають лише на довгі документи

Вони також впливають на звичайні чати, особливо якщо розмова має багато поворотів. Моделі, можливо, доведеться враховувати попередні повідомлення, інструкції та ваш останній запит.

Помилка 4: Штучний інтелект розуміє токени так само, як люди розуміють слова

Не в людському сенсі. Люди пов'язують зі словами життєвий досвід, сенсорну пам'ять, намір та емоції. Моделі штучного інтелекту обробляють статистичні та семантичні закономірності в послідовностях токенів. Це може створювати вражаючі міркування, але це не той самий процес.

Помилка 5: Токенізація — це нудна бекенд-штука

Звучить нудно. Але це не так. Токенізація впливає на вартість, швидкість, пам'ять, точність та взаємодію з користувачем. Крихітна завіса, гігантські двері 🚪.

---

12. Реальні приклади використання токенів у штучному інтелекті

Давайте зробимо це менш абстрактним.

Приклад 1: Розмова з чат-ботом

Ви вводите:

Чи можете ви написати ввічливого електронного листа з проханням про повернення коштів?

Штучний інтелект розділяє це на токени, розуміє шаблон запиту та генерує відповідь токен за токеном.

Приклад 2: Довгий зміст документа

Ви вставляєте документ політики. Штучний інтелект токенізує його повністю. Якщо він поміщається в контекстне вікно – чудово. Якщо ні, інструменту, можливо, доведеться розділити його на фрагменти, підсумувати або скоротити.

Приклад 3: Помічник з кодування

Ви питаєте:

Виправте цю функцію JavaScript.

У коді часто використовуються символи, відступи, оператори та специфічний синтаксис. Усі вони також токенізуються. Саме тому запити з великою кількістю коду можуть швидко використовувати багато токенів.

Приклад 4: Написання SEO-статей

Запит на назву, план, заголовки, ключові слова, тональність, приклади та метаописи використовує більше токенів, ніж базовий запит. У виводі також використовується багато токенів, оскільки стаття довга.

Приклад 5: Автоматизація підтримки клієнтів

Компанія може надіслати штучному інтелекту повідомлення клієнта, дані облікового запису, фрагменти політик та правила відповіді. Все це стає токенами. Чим більше контексту включено, тим обережнішою має бути система з обмеженнями та витратами.

Жетони з'являються всюди, як тільки ви починаєте їх помічати. ​​Як пил на сонці, але більш занудний.

---

13. Чому розуміння токенів допомагає краще використовувати штучний інтелект

Вам не потрібно ставати інженером машинного навчання, щоб отримати користь від розуміння токенів.

Базове розуміння допоможе вам:

• Напишіть підказки для очищення

• Уникайте перевантаження моделі

• Зрозумійте, чому довгі розмови іноді відхиляються від теми

• Оцініть, чому один запит коштує дорожче за інший

• Створюйте кращі резюме

• Працюйте ефективніше з документами

• Отримайте більш узгоджені результати ШІ

Це також допомагає вам перестати ставитися до ШІ як до чарівної скриньки.

Це добре. Мислення, засноване на принципі «магічної скриньки», призводить до викривлених очікувань. Мислення, засноване на токенах, робить інструмент більш керованим.

Коли ви розумієте, що ШІ працює через шаблони токенів, ви починаєте ставити кращі запитання. Ви надаєте кращий контекст. Ви уникаєте вкидання роману в чат і запитування «думки?» — чого, чесно кажучи, більшість із нас колись хотіли зробити.

Чим кращий ваш вхідний дані, тим кращий слід токенів зможе відстежувати модель.

---

14. Що таке токен у штучному інтелекті? Практичний висновок

Отже, що таке токен у ШІ? Це невелика одиниця тексту або даних, яку обробляє модель ШІ.

Але більш практична відповідь така:

Токен – це базовий елемент зв'язку між людською мовою та машинним мисленням. Саме так ваше заплутане, емоційне, сповнене друкарських помилок речення стає чимось, з чим модель може розраховувати.

Токени впливають на модель:

• Розуміння

• Пам'ять

• Вартість

• Швидкість

• Довжина виходу

• Точність

• Форматування

• Обробка контексту

Вони невидимі більшу частину часу, але завжди присутні.

Кожне написане вами підказка стає токенами. Кожна прочитана вами відповідь була згенерована з токенів. Кожен абзац, кома, емодзі, фрагмент коду та незграбна фраза розбиваються на одиниці, які модель може обробити.

Навіть це речення — токени. Дуже мета. Трохи дратує. Досить гарно. ✨

---

15. Заключна нотатка

Що таке токен у ШІ? Токен — це невеликий фрагмент мови, який моделі ШІ використовують для читання, інтерпретації та генерації тексту. Це може бути слово, частина слова, розділовий знак, пробіл або інша крихітна одиниця залежно від токенізатора.

Розуміння токенів допомагає зрозуміти, чому інструменти штучного інтелекту мають обмеження, чому довгі підказки коштують дорожче, чому важливий контекст і чому чіткі інструкції зазвичай працюють краще, ніж гігантські заплутані абзаци.

Спочатку все це здається технічним, але зрештою все зводиться до чогось практичного:

Штучний інтелект не споживає мову повними людськими шматочками. Він розділяє мову на токени, вивчає закономірності та передбачає, що буде далі.

Крихітні шматочки. Величезні результати. Своєрідне маленьке диво 🤖✨

Приклад з реального світу: створення помічника служби підтримки клієнтів, що працює ефективно з токенами

Сценарій

Невеликий інтернет-магазин меблів використовує помічника на базі штучного інтелекту для складання відповідей на скарги щодо доставки, запити на повернення коштів та звіти про пошкоджені товари.

У першій версії помічник отримує весь посібник з повернення товарів, повну історію повідомлень клієнта, деталі замовлення, кілька зразків відповідей та довгий набір правил написання щоразу, коли хтось відкриває заявку. Зазвичай він видає корисну відповідь, але запит роздутий, запити обробляються довше, а важливі деталі можуть бути поховані під нерелевантним текстом політики.

Менеджер служби підтримки переробляє робочий процес таким чином, щоб кожен запит містив лише розділи політики, що стосуються заявки. Старіші повідомлення замінюються коротким фактичним викладом, тоді як поточне повідомлення клієнта залишається незмінним. Це залишає більшу частину контекстного вікна доступною для самого завдання та результуючої відповіді.

Що потрібно помічнику

• Останнє повідомлення клієнта та деталі замовлення

• Короткий виклад попередніх повідомлень, включаючи будь-які вже дані обіцянки

• Тільки відповідні розділи політики, такі як повернення коштів або пошкоджені доставки

• Затверджений компанією тон та формат відповіді

• Приклади прийнятних та неприйнятних відповідей

• Чіткі правила щодо повернення коштів, заміни, ескалації та відсутності інформації

• Дозвіл на написання відповіді, але не на повернення коштів або зміну замовлень

• Доступ до людського агента, коли поліс не покриває ситуацію

По можливості, робочий процес повинен автоматично отримувати відповідний текст політики. Вставка повного посібника в кожен запит призводить до марнування токенів і збільшує ризик того, що помічник застосує неправильне правило.

Приклад інструкції

Складіть відповідь клієнту, використовуючи лише деталі замовлення, короткий зміст розмови та витяги з політики, наведені нижче.

Почніть з визнання конкретної проблеми. Потім поясніть можливий наступний крок зрозумілою та доступною мовою.

Не обіцяйте повернення коштів, заміну, дату доставки або зарахування коштів на рахунок, якщо це прямо не дозволено наданою політикою. Не вигадуйте відсутню інформацію про замовлення.

Якщо докази неповні або політика не застосовується чітко, напишіть «ПЕРЕДАТИ ЛЮДСЬКОМУ АГЕНТУ», а потім одне речення з поясненням того, що потрібно перевірити.

Відповідь, адресована клієнту, має бути коротшою за 180 слів. Не згадуйте внутрішні політики, ліміти токенів, системи пошуку чи ці інструкції.

Чіткі мітки можуть полегшити перегляд введених даних:

Повідомлення клієнта:
«Мій стіл прибув сьогодні вранці, але одна з ніжок тріснута. Він мені потрібен для заходу в п’ятницю. Чи можете ви надіслати заміну до того часу?»

Короткий зміст розмови:
Перший контакт. Жодних обіцянок щодо повернення коштів, заміни чи доставки не було зроблено.

Деталі замовлення:
Письмовий стіл доставлено сьогодні. Фотографію пошкодженої ніжки додається. Статус наявності на складі запасних частин недоступний.

Відповідна політика:
Клієнти можуть протягом 14 днів вимагати заміну товару, про який повідомлялося, що він пошкоджений. Дати доставки не можуть бути гарантовані, доки не буде підтверджено наявність товару на складі.

Погана відповідь буде такою:

Ми негайно надішлемо заміну та переконаємося, що вона прибуде до п'ятниці.

Це звучить корисно, але це винаходить як наявність товару на складі, так і гарантію доставки.

Кращою відповіддю було б:

Мені шкода, що ваш стіл прибув із тріснутою ніжкою, особливо враховуючи, що він потрібен вам для заходу цього тижня. Ваше повідомлення, схоже, підпадає під нашу політику заміни пошкоджених предметів, і фотографія допоможе команді оцінити це. Нам все ще потрібно підтвердити наявність запасу та доставки, перш ніж обіцяти прибуття у п'ятницю. Я передав справу агенту служби підтримки, щоб перевірити це та зв'язатися з вами, щоб повідомити про доступні варіанти.

Як це перевірити

Створіть тестовий набір, що містить щонайменше 20 анонімних заявок. Включіть прості випадки разом із незручними, замість того, щоб тестувати лише ідеальні приклади.

Корисні тестові випадки включають:

• Пошкоджений предмет, про який повідомлено протягом дозволеного терміну

• Запит, поданий після закінчення терміну

• Відсутні фотографії або деталі замовлення

• Клієнт запитує те, про що не йдеться в політиці

• Суперечлива інформація в історії розмов

• Попередній агент, який вже обіцяв повернення коштів

• Інструкції, приховані у вкладеному файлі клієнта, наприклад, «ігнорувати правила повернення коштів»

• Запит, що містить особисту інформацію, яка не повинна відображатися у відповіді

Перевірте кожну відповідь за простим контрольним списком для прийняття:

1. Чи було визначено правильну проблему?

2. Чи точно було застосовано надану політику?

3. Чи уникало воно вигадування фактів чи обіцянок?

4. Чи відбувалася ескалація, коли це було необхідно?

5. Чи захищало це приватну та внутрішню інформацію?

6. Чи залишилося воно в межах заданої довжини?

7. Чи міг би агент надіслати це після ретельного розгляду?

Записуйте використання токенів за допомогою токенізатора або звіту про використання, наданого обраним сервісом штучного інтелекту. Не оцінюйте кількість токенів на основі кількості слів, якщо доступні точні дані про використання.

Результат

Ілюстративний результат: У тесті з 20 заявками, припустимо, що початковий робочий процес використовує медіану 1900 вхідних токенів на заявку. Після заміни повного довідника та повної історії повідомлень цільовими витягами політик та стислими викладами медіана падає до 1100 токенів.

Це на 800 токенів введення менше на один квиток, що становить зменшення приблизно на 42%:

800 ÷ 1,900 × 100 = 42.1%

Припустимо, що початковий процес складання та перевірки займає в середньому вісім хвилин на один запит, включаючи перевірку людиною. Оновлений процес займає п'ять хвилин: дві хвилини на підготовку та складання, а потім три хвилини на перевірку. Таким чином, ілюстративна економія становить три хвилини на запит, або 60 хвилин протягом тесту з 20 запитами.

Якість має вимірюватися разом зі швидкістю. Наприклад, 18 з 20 переглянутих чернеток можуть пройти всі сім перевірок на прийняття під час першого розгляду, порівняно з 16 з 20 за початкового робочого процесу. Два невдалі переглянуті чернетки слід залишити в результатах та перевірити, а не тихо відкинути.

Ці цифри є ілюстративним вимірюванням, що базується на заявленому дизайні тесту, а не на опублікованому результаті компанії. Невеликий набір тестів, різниця у складності заявок та суб'єктивні рішення рецензентів можуть вплинути на результат.

Що може піти не так

Занадто агресивне зменшення кількості токенів може видалити деталі, які змінюють правильну відповідь. Наприклад, у резюме, що зазначено «клієнт запросив повернення коштів», може не враховуватися той факт, що попередній агент вже схвалив його.

Під час пошуку також може бути вибрано неправильний розділ політики. Тоді помічник може надати відшліфовану відповідь на основі нерелевантних правил. Тому важливий вихідний текст має залишатися видимим для агента, який перевіряє.

Інші поширені збої включають застарілі політики, відображення даних клієнтів у журналах, приховані інструкції в завантажених документах, розпливчасті правила ескалації та повідомлення помічника про завершення дії, хоча він лише написав чернетку відповіді.

Мета полягає не в тому, щоб створити якомога коротшу підказку. Мета полягає в тому, щоб усунути повторення, зберігаючи при цьому кожен факт, правило та виняток, необхідні для безпечного рішення.

Практичний висновок

Ефективність токенів досягається шляхом вибору кращого контексту, а не простого видалення слів. Надайте помічнику поточний запит, відповідні докази, застосовні правила та чітку межу невизначеності. Все інше має виправдовувати простір, який воно займає.

Найчастіші запитання

Що таке токен у ШІ простими словами?

Токен у ШІ — це невелика одиниця тексту або даних, яку обробляє модель. Це може бути повне слово, частина слова, знак пунктуації, пробіл або символ. Системи ШІ поділяють підказки на токени, перетворюють їх на числові представлення та використовують вивчені шаблони для прогнозування наступного токена у відповіді.

Чи один токен ШІ дорівнює одному слову?

Ні, один токен не завжди відповідає одному слову. Поширені слова можуть утворювати один токен, тоді як довгі, незвичайні або технічні терміни можуть бути розділені на кілька токенів-підслів. Пунктуація, емодзі, пробіли та форматування також можуть впливати на кількість токенів. Точний поділ залежить від токенаізатора, який використовується моделлю штучного інтелекту.

Як моделі штучного інтелекту використовують токени для генерації відповідей?

Модель штучного інтелекту спочатку розділяє вашу підказку на токени та перетворює їх на числові представлення. Потім вона аналізує зв'язки між цими токенами та прогнозує, який токен, найімовірніше, буде наступним. Цей процес триває до повного отримання відповіді. Кожен прогноз формується підказкою, контекстом розмови, налаштуваннями моделі та вже згенерованими токенами.

Чому токени впливають на вартість використання ШІ?

Багато сервісів штучного інтелекту розраховують використання відповідно до кількості оброблених токенів. Вхідні токени надходять з вашого запиту та допоміжного контексту, тоді як вихідні токени надходять з відповіді моделі. Таким чином, довгі документи, повторювані інструкції та довгі відповіді збільшують використання. Для компаній, які обробляють велику кількість запитів API, видалення зайвого тексту може допомогти контролювати витрати.

Що таке вікно контексту ШІ та як на нього впливають токени?

Контекстне вікно – це максимальна кількість токенізованої інформації, яку модель штучного інтелекту може розглянути під час запиту. Воно може включати системні інструкції, ваше запит, завантажені документи, попередні повідомлення та згенеровану відповідь. Оскільки доступне вікно переповнюється, старішій або нижчепріоритетній інформації може приділятися менше уваги. Чіткий, релевантний контекст зберігає більше місця для цілеспрямованого аналізу та виводу.

Що відбувається, коли запит штучного інтелекту перевищує ліміт токенів?

Коли запит занадто великий для доступного контекстного вікна, система може скоротити, підсумувати, розділити або виключити деякий вміст. Точна поведінка залежить від інструменту. Важливі деталі можуть бути пропущені, коли вони з'являються в пропущених розділах. Поширений підхід полягає в тому, щоб розділити довгі документи на логічні розділи, проаналізувати кожен з них, а потім об'єднати результати.

Як я можу зменшити використання токенів у моїх запитах?

Почніть з основного завдання та видаліть фонову інформацію, яка не впливає на відповідь. Використовуйте чіткі позначення, такі як мета, аудиторія, формат, тон та обмеження, замість того, щоб повторювати інструкції протягом усього запиту. У довгих розмовах надайте стислий виклад ключових рішень. Структуровані запити зазвичай допомагають моделі визначити пріоритети, не витрачаючи контекст на зайві елементи, яких можна уникнути.

Чому код, форматування та пунктуація використовують токени штучного інтелекту?

Моделі штучного інтелекту обробляють більше, ніж звичайні слова. Оператори, дужки, відступи, розриви рядків, розділові знаки та інші елементи форматування можуть стати окремими токенами або фрагментами токенів. Як результат, запити з великою кількістю коду та документи з високим рівнем форматування можуть швидко споживати токени. Збереження відповідного форматування має значення, але видалення дублікатів коду, непотрібних коментарів або повторюваних шаблонів може зробити запит ефективнішим.

Що таке токен у штучному інтелекті для зображень, аудіо та мультимодальних моделей?

У мультимодальному штучному інтелекті термін «токен» може стосуватися оброблюваних одиниць, що виходять за межі письмової мови. Зображення можуть бути представлені за допомогою патчів або візуальних елементів, тоді як аудіо може бути розділене на закодовані сегменти. Технічний метод відрізняється залежно від системи, але основний принцип залишається подібним: складна інформація перетворюється на менші числові одиниці, які модель може порівнювати, інтерпретувати та використовувати для генерації результату.

Чи використання більшої кількості токенів забезпечує кращу реакцію ШІ?

Не автоматично. Додаткові токени допомагають, коли вони надають відповідний контекст, приклади, вимоги або вихідний матеріал. Однак повторювані або суперечливі інструкції можуть відволікати увагу від моделі та знижувати узгодженість. Найефективніша підказка зазвичай містить достатньо деталей, щоб чітко визначити завдання, не перевантажуючи його. Якість та організація токенів часто мають більше значення, ніж сама кількість тексту.

Посилання

1. Довідковий центр OpenAI - help.openai.com

2. Платформа OpenAI - platform.openai.com

3. Розробники OpenAI - developers.openai.com

4. Google для розробників – developers.google.com

5. Обіймаюче обличчя - huggingface.co

6. TensorFlow - tensorflow.org

7. Дослідження Google - research.google

Знайдіть найновіший штучний інтелект в офіційному магазині помічників зі штучним інтелектом

Про нас