ML, Patterns, Inference, Filonov

ML, Patterns, Inference, Filonov

https://vk.com/video-164555658_456240127

https://drive.google.com/file/d/1yUSYNMb0T2jsMUjWUNBk03hI3HPX29el/view

Скачать презентацию: https://drive.google.com/file/d/1yUSYNMb0T2jsMUjWUNBk..

Докладчик: Павел Филонов, независимый консультант в области ML, преподаватель MLOps в OTUS и ex-DS Lead в Kaspersky.

Давайте представим, что вы уже прошли часть пути по успешной реализации ML проекта. Договорились по поводу бизнес-метрик, получили доступ к данным, организовали разметку, обучили несколько моделей и выбрали лучшую с помощью валидации. Теперь пришло время запускать ее на инференс на реальных данных, но какой из различных вариантов таких запусков выбрать и какие инструменты для этого использовать?

В докладе обсудим 3 паттерна инференса моделей:
- пакетная обработка;
- потоковый инференс;
- REST интерфейс для модели.

Рассмотрим в каком случае лучше подходит тот или иной паттерн. Как они повлияют на пропускную способность и задержку. И какие подходящие инструменты для их реализации можно использовать.
Telegram Reliable ML: https://t.me/reliable_ml
Data Fest 2023:
https://ods.ai/events/datafestonline2023
Трек "Reliable ML ":
https://ods.ai/tracks/df23-reliable-ml

Наши соц.сети:
Telegram: https://t.me/datafest
Вконтакте: https://vk.com/datafest

https://www.blogger.com/blog/post/edit/7285046111242818947/2378899692112893081

https://github.com/mercari/ml-system-design-pattern

https://arxiv.org/pdf/1901.02926