День 10: Метрики оценки НЛП: точность, отзыв, F1, матрица путаницы.

Ранее, в День 9: Объяснялись основы классификации текста, уделяя особое внимание представлениям в виде набора слов и сравнивая наивный Байес и классификаторы логистической регрессии для маркировки текста, например для обнаружения спама. Оценка модели означает измерение того, насколько хорошо ваша система НЛП выполняет конкретную задачу. Эти измерения, называемые метриками, предоставляют конкретные доказательства сильных и слабых сторон вашей модели. Для инженеров метрики — это не просто цифры: от них зависят исследования, инженерные решения и бизнес-решения. Точность: основная метрика Точность показывает, какая часть прогнозов оказалась верной. Но сама по себе точность может ввести в заблуждение, особенно когда определенные ошибки обходятся дороже или когда ваши данные несбалансированы. Возьмите спам-фильтр. Если только 5% электронных писем являются спамом, модель, которая всегда прогнозирует «не спам», имеет точность 95%. На бумаге это выглядит хорошо, но на самом деле система не справляется с перехватом спама. Точность — это только отправная точка. Большинство реальных проблем требуют более тонких показателей. Точность: правильность положительных прогнозов Точность измеряет, сколько пунктов, которые ваша модель пометила как положительные, на самом деле были положительными. Проще говоря: если ваш спам-фильтр помечает 10 писем как