24HourWire

Какие слои что знают: сравниваем RWKV-7 и трансформеры послойными пробами

Где языковая модель хранит порядок слов, грамматику и смысл — и зависит ли это от архитектуры? Я обучил 12 небольших моделей, которые отличаются только архитектурой, и проверил линейными пробами кажд…