# Что такое генеративный искусственный интеллект

> [HTML-версия](https://learnvibecoding.ru/publiclessons/chto-takoe-generativnyy-iskusstvennyy-intellekt) · [Индекс для LLM](https://learnvibecoding.ru/llms.txt) · [Политика использования материалов](https://learnvibecoding.ru/politika-materialov)
> Материалы защищены. Обучение LLM без согласия запрещено. При разрешённом использовании — обязательна прямая ссылка на страницу-источник.
> Разбираем как работает генеративный AI.

**Курс:** Основы ИИ

## Что такое LLM

**Large Language Model (LLM)** — большие языковые модели, это нейронная сеть, которая:

- обучена на гигантских объёмах текстовых данных;
- знает грамматику, контекст и логику языка;
- умеет создавать новые тексты, отвечать на вопросы, писать код и рассуждать.

Они называются **«языковыми»**, потому что обучены **предсказывать и генерировать человеческий язык**.

И **«большими»**, потому что содержат **миллиарды параметров** — числовых значений, которые управляют обработкой информации.

Можно сказать, что эти параметры — аналог **нейронных связей** в нашем мозге.

### Примеры популярных LLM:

| Модель | Разработчик |
| --- | --- |
| GPT-4 | OpenAI |
| Llama 3 | Meta |
| Gemina | Google |
| DeepSeek-R1 | DeepSeek |
| SmolLM2 | Hugging Face |
| Mistral | Mistral |

### Три ключевых технологических прорыва

Современный генеративный AI появился не сразу.

Он стал результатом **трёх параллельных достижений**, совпавших по времени.

### 1. Алгоритмические и архитектурные прорывы

Хотя нейронные сети известны уже десятилетия, в 2017 году появилось **архитектурное решение под названием Transformer** — настоящий прорыв.

Оно позволило моделям **понимать контекст** и **удерживать связи между словами на длинных отрезках текста**, что критично для смысла.

### 2. Взрыв цифровых данных

Объём доступной информации стал сырьём для обучения.

Современные LLM, такие как Claude, обучаются на **огромных наборах данных**: сайтах, репозиториях кода, статьях, книгах.

Это дало моделям **широкое и нюансированное понимание языка и человеческих знаний**.

### 3. Рост вычислительных мощностей

Появление **GPU (графических процессоров)**, **TPU (тензорных процессоров)** и **распределённых вычислительных кластеров**

позволило обрабатывать объёмы данных, немыслимые ещё несколько лет назад.

---

### Открытие законов масштабирования

Когда все эти три фактора соединились, учёные сделали важное открытие — **«scaling laws» (законы масштабирования)**.

Они показали, что **производительность моделей растёт предсказуемо**, если увеличивать их размер, объём данных и мощность вычислений.

Более того, по мере роста моделей **возникали новые способности**, которых никто специально не программировал:

- умение рассуждать пошагово,
- адаптироваться к новым задачам,
- понимать сложные инструкции.

---

## Архитектура Transformer

Большинство современных LLM построены на архитектуре **Transformer**, основанной на механизме **Attention**.

> “Attention is all you need” — именно этот принцип сделал возможной революцию в понимании языка.
> 

Когда модель анализирует предложение, она **оценивает, какие слова наиболее важны** для контекста.

Например, в фразе:

> “The capital of France is …”
> 
> 
> слова *“France”* и *“capital”* имеют наибольший вес внимания.
> 

---

### Как работает генеративный AI

### 1. Предобучение (pre-training)

https://nhvwqitwebmmswnjylop.supabase.co/storage/v1/object/public/Pictures%20for%20course/AI%20basics/lesson%202/pretraining%20how%20llm%20works.png

На первом этапе модели анализируют **миллиарды текстов**.

Они учатся не просто запоминать факты, а **понимать статистические закономерности** между словами, фразами и идеями.

Процесс можно представить как чтение всего интернета с целью **предсказать следующее слово** в тексте.

Модель миллионы раз делает предположения и корректирует их, пока не научится строить связный, осмысленный язык.

### 2. Доводка (fine-tuning)

https://nhvwqitwebmmswnjylop.supabase.co/storage/v1/object/public/Pictures%20for%20course/AI%20basics/lesson%202/How%20LLM%20works%20finetunning.png

После предобучения модель обучают следовать инструкциям, давать полезные и безопасные ответы.

На этом этапе используют **обратную связь от людей** и **обучение с подкреплением (reinforcement learning)** —

система получает «награды» за хорошие ответы и «штрафы» за неудачные.

Так модели становятся **более честными, вежливыми и безопасными**.

Модель дообучается на конкретных задачах (диалоги, код, анализ данных и т. д.).

Так формируются, например, модели, способные:

- вести диалог (chat-tuned);
- писать код (code-tuned);
- давать объяснения (instruction-tuned).

### 3. Взаимодействие с пользователем

Когда модель готова, она развёртывается для взаимодействия с вами.

Вы вводите **промпт** — текстовый запрос,

а модель **не достаёт готовый ответ**, а **генерирует новый текст**,

опираясь на закономерности, выученные в процессе обучения.

---

### 4. Ограничение контекстного окна

У любой модели есть предел того, **сколько информации она может “удерживать в памяти”** одновременно.

Это называется **context window (контекстное окно)** — своего рода **рабочая память AI**.

В нём содержатся:

- ваш запрос,
- предыдущие ответы,
- и другая информация из текущего диалога.

Если контекст слишком длинный, старые данные могут «вытесняться».

Поэтому, чтобы получать внешние данные, модели используют **специальные инструменты** вроде веб-поиска.

---

## 🔁 Как LLM генерирует текст

LLM — **авторегрессионная модель**:

она предсказывает **следующий токен** (фрагмент текста) на основе всех предыдущих.

**Своеобразный T9 на максималках, который предсказывает следующую букву или слово.**

1. Текст разбивается на **токены** (части слов или слова).
2. Модель вычисляет вероятности следующего токена.
3. Выбирает наиболее вероятный (или оптимальный) токен.
4. Повторяет цикл, пока не достигнет конца последовательности (EOS-токена).

### Продвинутые методы:

- **Greedy decoding:** всегда выбирает самый вероятный токен.
- **Beam Search:** рассматривает несколько вариантов продолжений и выбирает наилучший по общей вероятности.

**Генеративный AI** — это системы, которые **создают новый контент**, а не просто анализируют уже существующий.

Например:

- Традиционный AI классифицирует письма как «спам» или «не спам».
- Генеративный AI может **написать новое письмо с нуля**.

То есть если обычный AI **распознаёт и сортирует**, то генеративный — **творит**.

Это фундаментальный сдвиг в возможностях искусственного интеллекта.

[Все уроки](https://learnvibecoding.ru/publiclessons.md) · HTML: https://learnvibecoding.ru/publiclessons