Токен (в контексте LLM)
Токен – минимальная единица текста в языковых моделях. Что это такое, почему русский текст дороже английского и как это влияет на работу с ИИ-инструментами.
Токен – минимальная единица текста, с которой работает языковая модель. Это не всегда слово: одно русское слово нередко разбивается на 2–4 токена, и русский текст в среднем расходует в 1,5–2 раза больше токенов, чем английский той же длины. Модель читает, обрабатывает и генерирует текст именно токенами.
Для специалистов токены важны в двух точках:
В работе с API стоимость запроса считается в токенах, поэтому длинный промпт с лишней водой буквально дороже.
В контент-стратегии плотный и конкретный текст без воды эффективнее обрабатывается моделью при цитировании в ИИ-ответах.
Похожие термины
Еще по теме
Fine-tuning (дообучение модели)
Fine-tuning – дополнительное обучение LLM на узкоспециализированных данных. Что это такое, чем отличается от RAG и какой подход важнее для GEO-продвижения.
Искусственный интеллектllm
LLM (Large Language Model) – нейросеть за ChatGPT, Claude и Gemini. Как работает, почему ошибается и что это значит для SEO и контент-маркетинга.
Искусственный интеллектRAG (Retrieval-Augmented Generation)
RAG – архитектура ИИ, при которой модель ищет данные в внешних источниках перед ответом. Разбираем, как это работает и почему важно для GEO-продвижения.
Искусственный интеллектГаллюцинация LLM
Галлюцинация LLM – когда ИИ генерирует убедительный, но ложный текст. Что это такое, почему возникает и как это влияет на SEO и ИИ-поиск?
Не нашли термин?
Нужен ответ под ваш сайт?
Опишите задачу, и мы подскажем, что проверить в первую очередь.