24HourWire

27B-модель на четырёх V100 в 2026 году: форк vLLM, INT4 на Volta и контекст 262K

Четыре Tesla V100 2017 года тянут в проде плотную Qwen3.8-27B в INT4 с окном 262 тысячи токенов — это модель zubr в ZuBrIQ (zubriq.ai), запросы к которой не покидают Беларусь. Официальный vLLM на эти…