24HourWire

Пространственное внимание на RTX 3050: эксперимент с контекстом 16K

Можно ли ускорить обучение небольшой языковой модели на длинных последовательностях, если заменить полное внимание разреженным графом, а веса связей определять расстояниями между обучаемыми координат…