Комментарии, вопросы, пожелания приветствуются.
Буду рад ответить на ваши вопросы: alimbekovr@hotmail.com.

1 заметка с тегом

Area under the curve

Machine Learning — старт проекта. Часть 2

В предыдущей статье были рассмотрены вопросы запуска проекта в области Machine Learning. В этой же статье вкратце будут вопросы инфраструктуры, структуры платформы, цикла работы модели и самое главное метрик измерения качества моделей.

Machine Learning - старт проекта. Часть 2

Инфраструктура проекта в области Machine Learning:

  1. Создание данных
    • Стационарные и мобильные датчики
    • Системы сбора данных об использовании Интернета
    • Протоколирование событий, хранение протоколов
    • Аудио/видео записи
  2. Извлечение данных
    • Извлечение данных из открытых источников — социальные сети и т. п.
    • Импорт данных из внешних источников — покупка данных,
  3. Обработка данных
    • Инфраструктура для обработки данных пакетами или в реальном времени
  4. Инфраструктура облачная, собственная, переходные варианты

Платформа и сервисы для проекта в области Machine Learning:

  1. Структура платформы BD/ML
    • Средства сбора данных
    • Средства хранения данных
    • Среда разработки и обучения моделей
    • Runtime модули готовых моделей
    • Средства интеграции runtime моделей
  2. Внешние сервисы BD/ML

Цикл работы модели:
Этапы:

  • Data Upload — загрузка и преобразование данных
  • Model Learning — обучение модели на основании загруженных данных
  • Prediction — генерация предсказаний или предписаний в ответ на запросы заказчика
  • Application — применение предсказаний или предписаний
  • Evaluation — измерение результата, сравнение с контрольной выборкой

Теперь самое интересное — метрики оценки алгоритмов машинного обучения.
Метрики оценки алгоритмов классификация

  • Точность и полнота = precision and recall
  • Precision-recall curve
  • ROC curve
  • AUC = Area under the curve

Метрики оценки алгоритмов регрессия

  • MSE, RMSE
  • Log-likelihood, log-loss

Метрики оценки для бизнеса алгоритмов рекомендаций

  • Up-sell, cross-sell
  • Что порекомендовать, чтобы купил?
  • Оптимизируем отклики?
  • 1000 откликов на автоплатеж vs 1 ипотека
  • Оптимизируем выручку

Метрики оценки алгоритмов — Speech recognition

  • WER = Word Error Rate
Word Error Rate

, где C — число слов в эталоне, S — число замен, D — число пропущенных слов, I — число «лишних» слов

Сознательно не описывал каждую метрику формулой. Эти метрики достаточно стандартны. О них много информации в Интернете. Здесь больше справочно приведена информация для того, что бы помнить какую метрику когда применять.