№
Токен — это:
- готовый ответ, сохранённый в памяти модели
- часть текста, для которой известны координаты в многомерном пространстве смыслов
- числовая оценка правильности ответа
- ссылка на интернет-источник
Решение
Языковая модель не работает с текстом целиком. Сначала текст делится на небольшие фрагменты: слова, части слов, знаки препинания. Это и есть токены. Затем каждому токену сопоставляется набор чисел (вектор, или эмбеддинг) — его «координаты» в многомерном пространстве смыслов.
Проверим остальные варианты:
- модель не хранит готовые ответы, а генерирует их по токенам;
- числовая оценка правильности ответа токеном не является;
- ссылка на интернет-источник тоже не токен.
Подходит второй вариант.
💡 Почему так
Токен — минимальная единица текста, которую обрабатывает языковая модель. Каждому токену соответствует вектор в многомерном пространстве смыслов.
Ответ
✓ dzmen.ru
часть текста, для которой известны координаты в многомерном пространстве смыслов
Помогло?
