Accuracy выросла, очередь на ручную проверку сократилась — кажется, новую ML-модель можно выпускать в продакшен. Но за улучшением общих метрик может скрываться серьёзная просадка качества на отдельных сегментах данных. На примере классифика...
Accuracy выросла, очередь на ручную проверку сократилась — кажется, новую ML-модель можно выпускать в продакшен. Но за улучшением общих метрик может скрываться серьёзная просадка качества на отдельных сегментах данных. На примере классификатора объявлений разбираем, как выявлять такие проблемы, проверять модель на срезах и определять критерии её готовности к релизу.
Разобрать ошибки ML