А я думал, этот многомерный вектор - не токен, а совокупность
вероятностносвязанных токенов по нескольку букв. Т.е. когда говорят
"контекст в 200 тыщ токенов", это означает 200 тыщ трех-четырех-, а
в русском языке 6-7-символьных кусков (а не векторов). Не?