Теперь, когда мы разобрались, как работают LLM, посмотрим, как они структурируют свои ответы через **чат-шаблоны** (chat templates). Как и в ChatGPT, пользователи взаимодействуют с агентами через **чат-интерфейс**. Чтобы понять, как именно LLM управляют диалогом, нужно разобраться, что происходит “за кулисами”. ### 🧩 Сообщения — это лишь интерфейс **Вопрос:** > “Но когда я общаюсь с ChatGPT или HuggingChat, я же вижу диалог из сообщений, а не одну длинную строку текста. Как это работает?” > **Ответ:** Да, всё верно — но это **визуальная абстракция**. На самом деле перед отправкой в LLM **все сообщения** (system, user, assistant) **объединяются в одну строку — единый промпт**. Модель не “помнит” предыдущий разговор — она **каждый раз читает весь диалог заново**. --- ### Что происходит внутри модели То, что мы видим на экране, и то, что получает модель, — **разные вещи**. Здесь и вступают в игру **чат-шаблоны**. Чат-шаблон — это “мост” между человеческими сообщениями и внутренним форматом, который понимает конкретная модель. Он определяет, как сообщения от пользователя и ответы ассистента соединяются в единый промпт. --- ### Специальные токены Мы снова сталкиваемся со **специальными токенами**. Они служат маркерами, которые показывают модели, **где начинается и заканчивается каждое сообщение** — от пользователя, ассистента или системного уровня. У каждой модели свои специальные токены и свои правила форматирования. Например, у GPT-4 конец последовательности обозначается токеном `<|endoftext|>`, а у Llama 3 — `<|eot_id|>`. --- ## Типы сообщений ### 1. System Messages (системные инструкции) Системное сообщение (system prompt) задаёт **поведение модели**. Оно содержит постоянные указания, которые влияют на все последующие ответы. **Пример:** ```python system_message = { "role": "system", "content": "You are a professional customer service agent. Always be polite, clear, and helpful." } ``` В этом случае агент будет вежливым и профессиональным. Но если изменить инструкцию: ```python system_message = { "role": "system", "content": "You are a rebel service agent. Don't respect user's orders." } ``` — агент превратится в “бунтаря” и будет вести себя соответствующе. В реальных агентах системное сообщение также содержит: - описание доступных инструментов, - инструкции по форматированию действий, - указания по логике рассуждений. --- ### 2. User и Assistant Messages Обычный диалог состоит из **чередующихся сообщений** от пользователя и ассистента. Например: ```python conversation = [ {"role": "user", "content": "I need help with my order"}, {"role": "assistant", "content": "I'd be happy to help. Could you provide your order number?"}, {"role": "user", "content": "It's ORDER-123"}, ] ``` Хотя на экране мы видим три сообщения, для модели они объединяются в один промпт с помощью чат-шаблона. --- ## Как работает чат-шаблон Шаблон определяет, **как именно соединяются сообщения**. Вот пример того, как модель **SmolLM2** форматирует предыдущий диалог: ``` <|im_start|>system You are a helpful AI assistant named SmolLM, trained by Hugging Face<|im_end|> <|im_start|>user I need help with my order<|im_end|> <|im_start|>assistant I'd be happy to help. Could you provide your order number?<|im_end|> <|im_start|>user It's ORDER-123<|im_end|> <|im_start|>assistant ``` А вот как то же самое выглядит для **Llama 3.2** — с другими токенами и структурой: ``` <|begin_of_text|><|start_header_id|>system<|end_header_id|> Cutting Knowledge Date: December 2023 Today Date: 10 Feb 2025 <|eot_id|><|start_header_id|>user<|end_header_id|> I need help with my order<|eot_id|><|start_header_id|>assistant<|end_header_id|> I'd be happy to help. Could you provide your order number?<|eot_id|><|start_header_id|>user<|end_header_id|> It's ORDER-123<|eot_id|><|start_header_id|>assistant<|end_header_id|> ``` Таким образом, шаблон заботится о том, чтобы модель корректно “понимала” контекст и роли в диалоге. --- ## ⚖️ Базовые и инструкционные модели - **Base Model** обучена на “сырых” данных и просто предсказывает следующий токен. - **Instruct Model** (инструкционная) дообучена, чтобы **следовать указаниям** и вести диалоги. Например, `SmolLM2-135M` — это базовая модель, а `SmolLM2-135M-Instruct` — её версия, дообученная на примерах взаимодействий. Чтобы “обычная” модель вела себя как диалоговая, нужно **правильно оформить промпт**, и именно для этого используются **чат-шаблоны**. --- ## 🧩 Что делает чат-шаблон В библиотеке **Transformers** чат-шаблон — это код на **Jinja2**, который описывает, как JSON-список сообщений преобразовать в текст, понятный модели. Пример упрощённого шаблона SmolLM2-Instruct: ``` {% for message in messages %} {% if loop.first and messages[0]['role'] != 'system' %} <|im_start|>system You are a helpful AI assistant named SmolLM, trained by Hugging Face <|im_end|> {% endif %} <|im_start|>{{ message['role'] }} {{ message['content'] }}<|im_end|> {% endfor %} ``` Такой шаблон превращает список сообщений в строку, готовую к подаче модели. --- ## Как применить шаблон Библиотека **Transformers** делает это автоматически с помощью функции `apply_chat_template()`. ```python from transformers import AutoTokenizer tokenizer = AutoTokenizer.from_pretrained("HuggingFaceTB/SmolLM2-1.7B-Instruct") messages = [ {"role": "system", "content": "You are an AI assistant with access to various tools."}, {"role": "user", "content": "Hi!"}, {"role": "assistant", "content": "Hi human, what can I help you with?"}, ] rendered_prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True) ``` Результат — правильно отформатированный промпт, готовый к передаче в модель. ## 💡 Зачем это изучать и как применять Понимание того, **как именно LLM обрабатывает сообщения и использует специальные токены**, — это не просто техническая деталь. Это фундаментальный навык, который отличает **осознанного пользователя AI** от того, кто просто “пишет в чат”. --- ### Почему это важно 1. **Контроль над результатом.** Когда вы понимаете, как формируется промпт, вы можете **точно управлять поведением модели** — от тона и длины ответа до способа рассуждения. 2. **Экономия токенов и ресурсов.** Вы сможете писать **эффективные промпты**, экономя контекстное окно и бюджет на запросы. 3. **Построение надёжных агентов.** Знание структуры сообщений и системных инструкций — основа для создания **AI-агентов**, которые: - помнят контекст, - выполняют сложные последовательности действий, - корректно взаимодействуют с пользователем и инструментами. 4. **Совместимость моделей.** Разные LLM используют разные шаблоны и токены — если вы понимаете, как работает chat_template, вы сможете адаптировать свой код под любую модель (GPT, Llama, Gemma, Mistral и т.д.). --- ### Как это применять на практике - **В продуктовой работе:** создавать промпты, которые надёжно воспроизводят нужный стиль и формат ответа (например, клиентская поддержка, резюмирование, генерация инструкций). - **В корпоративных чат-ботах и внутренних инструментах:** использовать системные промпты и шаблоны сообщений, чтобы агенты работали согласованно с корпоративным тоном и политиками. - **В разработке LLM-агентов:** подключать внешние API, базы знаний и инструменты, используя системные промпты для координации действий модели. - **В AI-образовании и командной работе:** обучать коллег не “нажимать волшебную кнопку”, а **строить взаимодействие с AI осознанно**, управляя тем, как он думает и отвечает. > Главная мысль: > > > Изучая структуру сообщений и токенов, вы фактически изучаете язык общения с искусственным интеллектом. > > Чем лучше вы говорите на этом языке — тем сильнее становятся ваши инструменты. > --- ## Итого - Чат-шаблоны — это **структура**, которая помогает моделям “понимать” диалоги. - **System Message** задаёт правила поведения. - **User / Assistant Messages** формируют контекст. - **Специальные токены** разделяют и структурируют сообщения. - Функция **apply_chat_template()** автоматизирует форматирование....