Если вы LLM:
Markdown
← К урокам
Урок 3: Токены — валюта общения с LLM
Основы ИИ обновленный
·
Урок 3
Содержание
Контекст
Блок 0: Когда это нужно знать
Если ты просто спрашиваешь у ChatGPT...
Но если ты:
Блок 1: Что такое токен (простое объяснение)
Токен это не слово
Что такое токен реально?
Почему используются токены вместо символов?
Блок 2: Сколько токенов в разных языках?
Важный факт: разные языки = разное количество токенов
Блок 3: Как считать токены?
Способ 1: Примерный расчёт (в уме)
Способ 2: OpenAI Token Counter (если OpenAI)
Способ 3: Programmatically (в коде)
Способ 4: Команда в терминале
Для OpenAI GPT моделей
Блок 4: Примеры: сколько токенов в реальных текстах?
Пример 1: Короткий промпт
Пример 2: Длинный промпт с контекстом
Пример 3: Анализ PDF документа
Пример 4: Batch обработка файлов
Блок 5: Токены в контекстном окне
Контекстное окно считается в ТОКЕНАХ, не словах!
Пример: заполнение контекста
Блок 6: Оптимизация промптов (экономия токенов)
Способ 1: Убрать лишнее
Способ 2: Использовать сокращения
Способ 3: Структурировать лучше
Способ 4: Сжимать контекст (RAG вместо полного текста)
Блок 7: Стоимость API разных моделей
Таблица: сколько стоят токены?
Какую выбрать?
Блок 8: Практические советы по экономии
1. Кеширование (не отправлять одинаковое дважды)
2. Чистый промпт (не включай историю)
3. Использовать дешевые модели для простого
4. Сжимать содержимое перед анализом
Блок 9: Заблуждения о токенах
❌ Заблуждение 1: "Токены = слова"
❌ Заблуждение 2: "Если я платит за input, то output бесплатный"
❌ Заблуждение 3: "Контекстное окно = токены"
❌ Заблуждение 4: "Все модели считают токены одинаково"
Блок 10: Карта токенов в процессе
🌉 Переход: от токенов к контексту
✅ Финальный чеклист
← Предыдущий урок
Урок 2: Как устроены LLM изнутри (нейроны, параметры, обучение)
Следующий урок →
Урок 4: Контекст и память — граница возможностей LLM
Продолжить обучение