Токены - это фрагменты слов с которыми работают современные языковые модели. Считывание и генерация текстов происходит только после различения текста на токены. В английском тексте количество токенов составляет примерно 130% от количества слов. В кириллических текстах оно значительно больше.

Если в качестве примера взять A4 лист, то на нем в среднем умещается около 500 слов. Это будет пример 600 - 700 токенов на английском или 700 - 900 токенов на русском.

Когда вы общаетесь с моделью, каждый ваш запрос включает не только последнее сообщение, но и предыдущие — это называется контекст или контекстное окно. Модель использует эту информацию, чтобы лучше понять, о чём идет речь, и как наилучшим образом ответить.

Важно знать, что контекстное окно имеет ограниченный размер. Если история вашего разговора становится слишком длинной, самые старые сообщения перестают учитываться в новых ответах — это происходит потому, что контекстное окно "обрезается". Например, максимальный размер контекстного окна для модели GPT-3.5 составляет 4032 токена, для GPT-4 — около 8000 токенов, а для новейшей модели GPT-4o — около 128000 токенов. Токены здесь — это примерно слова или части слов, которые модель использует для анализа текста, в русском языке количество токенов чуть меньше чем количество символов, в английском - количество токенов примерно на 30% больше чем количество слов.

Системные инструкции — это специальные сообщения или команды, которые вставляются в диалог между пользователем и искусственным интеллектом. Эти инструкции несут в себе информацию, направленную на управление и корректировку работы ИИ во время взаимодействия.

Назначение системных инструкций

1. Управление поведением ИИ: Системные инструкции могут направлять ИИ на выполнение определённых действий, таких как изменение стиля ответов, уточнение запросов или переключение между различными режимами общения.
2. Обеспечение согласованности: Инструкции помогают поддерживать единообразие и согласованность ответов, что особенно важно в сложных диалогах или при длительном общении.
3. Улучшение интерактивности: Они могут включать в себя элементы, улучшающие интерактивность общения, например, предложения сделать выбор или предоставить дополнительную информацию.

Примеры системных инструкций:

• Ты — ИИ, предназначенный для помощи человеку с именем Михаил. Ты всегда обращаешься к нему на вы и любишь цитаты из советских фильмов. Ты всегда стараешься не только выдать самую точную и глубокую информацию, но и улучшить настроение.
• Ты — ИИ, разработанный для ассистирования в научных исследованиях. Твоя задача — предоставлять быстрые, точные и проверенные данные в ответ на запросы учёного. Используй строгий и формальный стиль общения. Включай в ответы подробные ссылки на научные источники и данные, подтверждающие твои утверждения. Обеспечивай краткие и содержательные объяснения сложных тем и теорий, и при необходимости предлагай альтернативные гипотезы для обсуждения.

Если говорить об использовании самых современных моделей Claude Sonnet 3.5 и ChatGPT-4o сотрудником HR или маркетингового отдела, обычно речь идёт о нескольких сотнях рублей в месяц - от 100 до 500.

Если же модель используется для разработки, расход может быть совершенно другим - тут всё будет зависеть от настроек контекстного окна (его размер напрямую влияет на цену). Здесь возможны счета на несколько тысяч в месяц.

Вы будете наблюдать расходы пользователей с реальном времени и сможете ограничивать тех или иных в случае необходимости.

Да для каждой организации мы создаем отдельного бота помощника с уникальным именем и системными инструкциями, а так же отдельную панель управления пользователями этого бота.

Подключение пока бесплатно