# Что такое токены и почему важно их контролировать

> [HTML-версия](https://learnvibecoding.ru/publiclessons/chto-takoe-tokeny-i-pochemu-vazhno-ikh-kontrolirovat) · [Индекс для LLM](https://learnvibecoding.ru/llms.txt) · [Политика использования материалов](https://learnvibecoding.ru/politika-materialov)
> Материалы защищены. Обучение LLM без согласия запрещено. При разрешённом использовании — обязательна прямая ссылка на страницу-источник.
> У любой модели есть предел того, сколько информации она может “удерживать в памяти” одновременно.

**Курс:** Основы ИИ

### Ограничение контекстного окна

LLM не читают текст как человек — они работают с **токенами**.

У любой модели есть предел того, **сколько информации она может “удерживать в памяти”** одновременно.

Это называется **context window (контекстное окно)** — своего рода **рабочая память AI**.

В нём содержатся:

- ваш запрос,
- предыдущие ответы,
- и другая информация из текущего диалога.

Если контекст слишком длинный, старые данные могут «вытесняться».

Поэтому, чтобы получать внешние данные, модели используют **специальные инструменты** вроде веб-поиска.

Токен — это **не всегда слово**: иногда это его часть, пробел или знак препинания.

> 💬 Пример:
> 
> 
> **“Artificial intelligence is amazing!”**
> 
> → `["Artificial", " intelligence", " is", " amazing", "!"]`
> 
> = **5 токенов**
> 

> А вот более эмоциональная версия:
> 
> 
> **“Artificial intelligence is absolutely, unbelievably amazing!!!”**
> 
> → `["Artificial", " intelligence", " is", " absolute", "ly", ",", " unbelievable", "ly", " amazing", "!!!"]`
> 
> = **11 токенов**
> 

📊 Один и тот же смысл — в **два раза больше токенов**.

А значит, выше цена и меньше места под ответ модели.

---

### ⚙️ Визуальная схема: как токены заполняют контекст

```
┌──────────────────────────────────────────────────────┐
│ Prompt: “Проанализируй текст...” (≈ 6000 токенов)   │ ██████████████████████████░░░░░░░░
│ Ответ модели (≈ 1500 токенов)                       │ █████████░░░░░░░░░░░░░░░░░░░░░░░░
│                                                      │
│ Лимит модели: 8192 токенов                           │ → осталось всего 692 токена
└──────────────────────────────────────────────────────┘
⚠️ Если лимит превышен → модель забывает начало или обрывает ответ.

```

*Чем длиннее промпт, тем меньше место для осмысленного ответа.*

### Визуальная метафора: «Память модели переполняется»

```
(1) Начало диалога: “Расскажи про ИИ” — всё понятно
(2) Ты добавляешь 5 страниц контекста — память заполнена
(3) Модель: “Подожди… кто ты? Что за вопрос был?”

```

Модель буквально **теряет нить разговора**, когда контекст переполняется.

---

### Пример на практике

> “Проанализируй этот текст и объясни, как улучшить стиль.”
> 
> 
> *(прикладывается документ на 5 страниц — ≈ 8000 токенов)*
> 

У модели остаётся всего **192 токена на ответ**,

поэтому она выдаёт:

> “В целом стиль нормальный.” 
> 

Никаких деталей — просто потому, что не хватило контекстного окна.

---

## Prompting — искусство управления LLM

Поскольку модель видит только последовательность токенов, **качество запроса (prompt)** напрямую влияет на результат.

Хороший промпт:

- чётко формулирует задачу (“Составь письмо о…”, “Объясни, как работает…”);
- указывает формат ответа (список, таблица, резюме);
- задаёт стиль (формально, дружелюбно, экспертно);
- может включать контекст и примеры.

> Prompt — это язык, на котором ты разговариваешь с ИИ.
> 

### Как держать токены под контролем

✅ Используй **саммари** и **сжатые формулировки**

✅ Разбивай длинные тексты на **батчи**

✅ Задавай ограничение длины: *«ответ не длиннее 300 слов»*

✅ Следи за счётчиком токенов в API

> ⚠️ Помни: токены — это валюта общения с моделью.
> 
> 
> Умение “жить на токеновый бюджет” — один из главных навыков AI-грамотности.
> 

---

## Как LLM встроены в AI-агентов

**Агент** — это система, где LLM является **центром рассуждений**.

Агент может:

- понимать естественный язык (твои команды),
- рассуждать и строить план действий,
- взаимодействовать с окружающей средой (API, базы данных, браузер).

> LLM — мозг,
> 
> 
> инструменты — руки,
> 
> среда — контекст,
> 
> промпты — язык общения.
> 

## Как использовать LLM

Ты можешь:

1. **Запускать модели локально** — если у тебя есть мощное оборудование.
2. **Использовать облачные API** — быстро, удобно и без сложной инфраструктуры.

Примеры платформ:

- Hugging Face Inference API
- Google Vertex AI Studio
- OpenAI API

---

## Итоги

- Искусственный интеллект базируется на **данных, машинном и глубоком обучении**.
- **Глубокое обучение** породило **Large Language Models** — основу современных агентов.
- **LLM** понимают язык, предсказывают токены и строят ответы с помощью механизма **Attention**.
- Ключ к их эффективности — **prompting** и осознанное взаимодействие.

[Все уроки](https://learnvibecoding.ru/publiclessons.md) · HTML: https://learnvibecoding.ru/publiclessons