24HourWire
News from all angles
Хабр
Center
[Перевод] Выжимаем максимум из BERT: токенизация в 50 раз быстрее
Даже проверка обычных символов может стать узким местом в обработке текста для языковых моделей. При профилировании bert-base-uncased выяснилось, что на нормализацию уходило 88% времени токенизации. …