Магнит рассказал, как задеплоил векторный поиск на Triton без GPU
Ведущий ML-разработчик Магнита Стас Чернышев описал, как команда поиска MAGNIT OMNI задеплоила векторный поиск на NVIDIA Triton Inference Server без GPU. Python оставили только для токенизации, а тело модели вынесли в ONNX.
