# Урок 10: AI-грамотность — четыре компетенции для работы с LLM

> [HTML-версия](https://learnvibecoding.ru/publiclessons/urok-10-ai-gramotnost-chetyre-kompetentsii-dlya-raboty-s-llm) · [Индекс для LLM](https://learnvibecoding.ru/llms.txt) · [Политика использования материалов](https://learnvibecoding.ru/politika-materialov)
> Материалы защищены. Обучение LLM без согласия запрещено. При разрешённом использовании — обязательна прямая ссылка на страницу-источник.

**Курс:** Основы ИИ обновленный

# Урок 10: AI-грамотность — четыре компетенции для работы с LLM

## Контекст

**Ты прошёл все концепты модуля 0: как работают LLM, температура, контекст, промпт-инженерство, безопасность. Но знание концептов ≠ умение использовать.**

Есть люди которые читали про ChatGPT и думают что они "знают AI". Но они:
- Не могут написать хороший промпт
- Не понимают когда LLM может ошибиться
- Не могут адаптировать систему под свою задачу
- Создают системы которые ломаются на первой же нестандартной ситуации

**AI-грамотность** — это не просто знание фактов. Это набор компетенций, навыков, мышления.

**Что будешь уметь:**
- Различать четыре уровня AI-грамотности
- Знать что входит в каждую компетенцию
- Понимать где ты находишься на этой шкале
- Знать как развивать каждую компетенцию
- Применять AI в своей области практически

**Главное:** AI-грамотность — это не про то кто "разбирается в AI". Это про то что ты можешь делать с LLM и что ты понимаешь про её ограничения.

---

## Блок 1: Четыре компетенции AI-грамотности

### Компетенция 1: ОСВЕДОМЛЁННОСТЬ (Awareness) — что это вообще такое?

**Осведомлённость** = ты знаешь что LLM существует, как она работает, что может и не может.

#### Что входит в эту компетенцию:

```
✅ ТЫ ЗНАЕШЬ:
- LLM обучена на текстах, она предсказывает следующее слово
- LLM может ошибиться, галлюцинировать, быть предвзятой
- LLM не имеет доступа к интернету (в большинстве случаев)
- LLM не запомнит разговор следующий раз
- Температура влияет на вариативность ответа
- Есть разные парадигмы: Augmentation, Automation, Agency

✅ ТЫ ПОНИМАЕШЬ:
- ChatGPT, Claude, Gemini — это примеры LLM
- LLM обучена на данных до определённой даты
- В май 2026 LLM имеют встроенный web search (но может быть платное/отключено)
- LLM может быть предвзятой (гендерная, расовая, и т.д.)
- Для критичной информации нужна проверка

❌ ТЫ НЕ ОБЯЗАНА (ещё):
- Писать промпты как pro
- Интегрировать LLM в систему
- Понимать когда использовать Agency vs Automation
- Защищаться от галлюцинаций
```

#### Примеры людей на уровне Осведомлённости:

```
✅ МАША: 
"Я знаю что ChatGPT может писать код. Я пробовала, получилось."

✅ ПЕТЯ:
"LLM галлюцинирует, поэтому я не полагаюсь на неё для фактов."

❌ КОЛЯ (неправильно):
"LLM — это искусственный интеллект, которая умнее человека."
(Неправильное понимание)
```

#### Как развить:

1. Прочитать Уроки 1-0.5 (сделано ✅)
2. Потестировать LLM сам (ChatGPT, Claude)
3. Заметить когда LLM ошибается
4. Обсудить с другими людьми (что они знают / не знают)

---

### Компетенция 2: ПРАКТИЧЕСКОЕ ПРИМЕНЕНИЕ (Practical Application) — я могу это использовать

**Практическое применение** = ты можешь использовать LLM для своих задач и получить результат, даже если не полный.

#### Что входит в эту компетенцию:

```
✅ ТЫ МОЖЕШЬ:
- Написать промпт который работает (результат качественный)
- Выбрать между ChatGPT/Claude/Gemini для задачи
- Итерировать когда результат плохой
  (переписать промпт, менять параметры, добавить примеры)
- Использовать LLM для своей работы (написание, кодирование, анализ)
- Заметить когда LLM ошибается и исправить
- Комбинировать LLM с другими инструментами (Google, таблицы, и т.д.)

✅ ТЫ ПОНИМАЕШЬ:
- Хороший промпт = хороший результат
- Temperature = не волшебство, это параметр который работает
- Few-shot learning помогает когда LLM понимает неправильно
- Когда лучше использовать Augmentation а когда Automation

❌ ТЫ НЕ ОБЯЗАНА (ещё):
- Интегрировать в production систему
- Писать код для API
- Управлять большими базами знаний (RAG)
- Масштабировать систему на 1000+ пользователей
```

#### Примеры людей на уровне Практического применения:

```
✅ МАША:
"Я могу написать промпт для помощника по готовке.
Я тестирую разные версии и выбираю лучшую."

✅ ПЕТЯ:
"Я использую LLM для черновика писем.
Я редактирую, но это значительно быстрее чем с нуля."

✅ КОЛЯ:
"Я могу дать LLM ссылку на документ и она может анализировать.
Я знаю как задать вопросы чтобы получить нужный результат."
```

#### Как развить:

1. Потестировать LLM на своих реальных задачах
2. Написать 10+ промптов и заметить что работает
3. Прочитать Уроки 6-0.8 (что может/не может, как писать промпты)
4. Практиковать итерацию (переписывание промптов)
5. Потестировать разные модели (ChatGPT vs Claude vs Gemini)

---

### Компетенция 3: КРИТИЧЕСКОЕ МЫШЛЕНИЕ (Critical Thinking) — я понимаю ограничения

**Критическое мышление** = ты видишь где LLM может быть неправильна, знаешь как защищаться, и не веришь слепо результатам.

#### Что входит в эту компетенцию:

```
✅ ТЫ ПОНИМАЕШЬ:
- Когда LLM галлюцинирует и как это проверить
- Когда результат может быть предвзятым
- Когда лучше использовать человека чем LLM
- Какие вопросы задать LLM чтобы проверить ответ
  ("Откуда ты знаешь это?", "Это точный факт?")
- Разницу между вероятностью и уверенностью
- Когда RAG лучше чем полагаться на память LLM

✅ ТЫ ДЕЛАЕШЬ:
- Проверяешь factual claims из LLM
- Не используешь LLM для критичных решений без перепроверки
- Требуешь источники при цитировании
- Тестируешь систему на edge cases
- Мониторишь когда система дает неправильные результаты

❌ ТЫ НЕ ОБЯЗАНА (ещё):
- Создавать сложные safety системы
- Проводить формальные security audits
- Разрабатывать системы для healthcare/finance без экспертов
```

#### Примеры людей на уровне Критического мышления:

```
✅ МАША:
"LLM дала рецепт про аллергены. Я НЕ полагаюсь на неё.
Я проверяю в официальных источниках."

✅ ПЕТЯ:
"LLM предложила скидку 50% для всех клиентов.
Я знаю что это может быть неправильно для бизнеса.
Я проверяю через финансовый анализ перед тем как применить."

✅ КОЛЯ:
"Я тестирую систему с вымышленными фактами.
Если LLM повторяет их как реальные → знаю что там галлюцинации."
```

#### Как развить:

1. Прочитать Уроки 6 и 0.9 (что может/не может, галлюцинации, предвзятость)
2. Активно искать ошибки в LLM результатах
3. Задавать уточняющие вопросы ("откуда ты знаешь?")
4. Проверять факты через Google
5. Обсудить с другими когда возникают вопросы о надёжности

![Уровень 3: Критическое мышление](https://nhvwqitwebmmswnjylop.supabase.co/storage/v1/object/public/Pictures%20for%20course/AI%20basics%20new%20course/23_Level_3_Critical_Thinking.png)

---

### Компетенция 4: СТРАТЕГИЧЕСКОЕ ПРОЕКТИРОВАНИЕ (Strategic Design) — я могу спроектировать систему

**Стратегическое проектирование** = ты можешь спроектировать систему с LLM, выбрать правильную парадигму, защитить от проблем, и развернуть.

#### Что входит в эту компетенцию:

```
✅ ТЫ МОЖЕШЬ:
- Выбрать Augmentation vs Automation vs Agency для задачи
- Спроектировать систему которая минимизирует галлюцинации
  (RAG, запросы источников, human-in-the-loop)
- Спроектировать систему которая защищена от harmful использования
  (input validation, rate limiting, monitoring)
- Написать код который интегрирует LLM в production
- Обучить команду как использовать систему
- Мониторить метрики (точность, ошибки, feedback)
- Адаптировать систему когда появляются проблемы

✅ ТЫ ПОНИМАЕШЬ:
- Trade-offs: скорость vs точность, стоимость vs качество
- Когда нужен RAG vs когда достаточно промпта
- Как структурировать RAG для максимальной релевантности
- Когда нужен human-in-the-loop (critical операции)
- Как логировать решения для аудита и улучшений
- Как комбинировать множественные LLM модели

✅ ТЫ ДЕЛАЕШЬ:
- Создаёшь системы которые работают и надёжны
- Документируешь ограничения системы
- Тестируешь на edge cases перед production
- Мониторишь систему и улучшаешь на основе feedback
- Управляешь ожиданиями пользователей (не обещаешь чудо)
```

#### Примеры людей на уровне Стратегического проектирования:

```
✅ МАША (Advanced):
"Я спроектировала помощника по готовке.
Я использую Augmentation для взаимодействия с пользователем.
Я использую Automation для ежедневных рекомендаций.
Я обучила модель на своих рецептах через RAG.
Я мониторю ошибки через feedback пользователей."

✅ ПЕТЯ (Advanced):
"Я внедрил LLM в поддержку.
Стандартные вопросы → Automation (автоответ).
Сложные → Augmentation (система предлагает, человек проверяет).
Я структурировал БД знаний так чтобы RAG работала хорошо.
Я логирую все решения для аудита."

✅ КОЛЯ (Advanced):
"Я создал платформу для создания чатботов.
Я предусмотрел разные уровни контроля (low = больше автоматизации, high = больше человека).
Я добавил мониторинг галлюцинаций и предвзятости.
Я дал пользователям tools для testing и улучшений."
```

#### Как развить:

1. Завершить все Уроки 1-0.9
2. Создать свой проект с LLM (полный цикл)
3. Столкнуться с реальными проблемами (галлюцинации, предвзятость, ошибки)
4. Решить эти проблемы (RAG, человеческая проверка, логирование)
5. Потестировать систему на edge cases
6. Развернуть и мониторить
7. Адаптировать на основе feedback

![AI-грамотность: от пользователя к архитектору](https://nhvwqitwebmmswnjylop.supabase.co/storage/v1/object/public/Pictures%20for%20course/AI%20basics%20new%20course/15_AI_Literacy_User_to_Architect.png)

---

## Тест: где ты находишься?

Отметь всё, что верно для тебя прямо сейчас. После нажми «Определить мой уровень».

```quiz
{
  "title": "Определи свой уровень AI-грамотности",
  "sections": [
    {
      "level": 1,
      "title": "Уровень 1: Осведомлённость",
      "items": [
        "Я знаю что такое LLM и как она работает на высоком уровне",
        "Я знаю разницу между ChatGPT, Claude, Gemini",
        "Я знаю про галлюцинации и предвзятость",
        "Я знаю про контекст и температуру",
        "Я использовал LLM в ChatGPT или Claude.ai",
        "Я видел когда LLM ошибается",
        "Я понимаю что LLM может иметь web search, но это может быть платное или отключено"
      ]
    },
    {
      "level": 2,
      "title": "Уровень 2: Практическое применение",
      "items": [
        "Я могу написать хороший промпт для своей задачи",
        "Я могу итерировать когда результат плохой",
        "Я знаю как выбрать между разными моделями",
        "Я использую Few-shot learning когда нужно",
        "Я могу использовать LLM для своей работы регулярно",
        "Я знаю про Chain-of-Thought и когда его использовать",
        "Я могу комбинировать LLM с другими инструментами"
      ]
    },
    {
      "level": 3,
      "title": "Уровень 3: Критическое мышление",
      "items": [
        "Я проверяю factual claims из LLM",
        "Я требую источники если это critical",
        "Я знаю как спросить LLM «откуда ты знаешь?»",
        "Я тестирую систему на вымышленные факты (hallucination test)",
        "Я знаю про предвзятость и как её избежать",
        "Я знаю когда лучше использовать человека чем LLM",
        "Я не верю LLM слепо"
      ]
    },
    {
      "level": 4,
      "title": "Уровень 4: Стратегическое проектирование",
      "items": [
        "Я могу выбрать между Augmentation, Automation, Agency",
        "Я могу спроектировать RAG систему",
        "Я знаю как добавить human-in-the-loop",
        "Я могу написать код который интегрирует LLM",
        "Я знаю как логировать и мониторить систему",
        "Я тестирую систему на edge cases",
        "Я могу управлять ожиданиями пользователей",
        "Я документирую ограничения системы"
      ]
    }
  ],
  "results": [
    {
      "level": 1,
      "title": "Уровень 1: Осведомлённость",
      "description": "Ты знаешь что такое LLM, как она работает в общих чертах, и видел её в действии. Это хорошая база.",
      "next_steps": "Потестировать LLM на своих задачах (минимум 10 промптов)\nПрочитать Уроки 6–8 этого курса\nЗаметить что работает и что не работает\nПотестировать разные параметры (temperature, max_tokens)\n\nПримерно время: 2–4 недели практики"
    },
    {
      "level": 2,
      "title": "Уровень 2: Практическое применение",
      "description": "Ты умеешь использовать LLM для реальных задач, писать промпты и итерировать. Следующий шаг — критическое мышление.",
      "next_steps": "Активно искать ошибки в LLM результатах\nПрочитать Урок 9 (галлюцинации, предвзятость)\nПроверять факты через Google когда сомневаешься\nТестировать на edge cases (вымышленные факты, странные входы)\nОбсудить с другими людьми\n\nПримерно время: 1–2 месяца практики + рефлексия"
    },
    {
      "level": 3,
      "title": "Уровень 3: Критическое мышление",
      "description": "Ты видишь ограничения LLM, проверяешь результаты и знаешь когда доверять, а когда нет. Сильная позиция.",
      "next_steps": "Спроектировать и создать полную систему с кодом\nИспользовать RAG для важной информации\nДобавить human-in-the-loop для критичных операций\nЛогировать и мониторить систему\nСтолкнуться с реальными проблемами и решить их\nПотестировать на реальных пользователях\n\nПримерно время: 3–6 месяцев разработки"
    },
    {
      "level": 4,
      "title": "Уровень 4: Стратегическое проектирование",
      "description": "Ты можешь спроектировать надёжную систему с LLM, выбрать правильную парадигму и довести до production. Это уровень архитектора.",
      "next_steps": "Продолжать практику на реальных проектах\nДелиться знаниями — обучать других\nСледить за новыми моделями и техниками\nЭкспериментировать с новыми парадигмами (multi-agent, reasoning models)"
    }
  ]
}
```

## Финальный совет

AI-грамотность не приходит от чтения статей. Она приходит от:

1. **Практики:** Использовать LLM на реальных задачах
2. **Ошибок:** Видеть когда результаты плохие и понимать почему
3. **Рефлексии:** Думать о том что сработало и что нет
4. **Обучения:** Читать про новые техники и пробовать их
5. **Применения:** Создавать системы которые работают для реальных пользователей

**Мой совет:** 
- Создай свой проект (даже маленький)
- Столкнись с проблемами и решай их

[Все уроки](https://learnvibecoding.ru/publiclessons.md) · HTML: https://learnvibecoding.ru/publiclessons