Определение
Токен — минимальная единица текста, которую нейросеть обрабатывает за один шаг: часть слова, целое слово или знак препинания. Модель не читает текст по буквам и не по словам — она делит его на токены и работает с числовыми представлениями этих токенов. Стоимость использования многих нейросетей также считается в токенах, поэтому это одновременно техническое и коммерческое понятие.
Тот же термин, другое ведомствоТот же термин работает и в разделе «Рынки» — там у него другое значение.Дело ведёт отдел рынков.
Данные на 01.08.2026