Комментарии, вопросы, пожелания приветствуются.
Буду рад ответить на ваши вопросы: alimbekovr@hotmail.com.

4 заметки с тегом

управление проектами

Machine Learning — старт проекта

В этой статье постараюсь раскрыть мысли по поводу необходимых шагов для старта проекта в области Machine Learning. Но для начала немного вводной информации, о том, что понадобиться для старта проекта.

Machine Learning - старт проекта

Необходимы следующие данные:

  1. Набор данных для обучения
    • Исторические данные — для обучения предсказательных моделей
    • Обучающая выборка — образцы того, что мы хотим найти/предсказать — для обучения модели
    • Достаточной глубины (с учетом сезонности и т. п. до нескольких лет)
    • Достаточного объема, репрезентативная выборка
  2. Набор данных для тестирования
    • Исторические данные — для тестирования предсказательных моделей
    • Тестовая выборка — для проверки качества модели
    • Достаточного объема, репрезентативная выборка
  3. Актуальные данные — материал для работы модели

Можно использовать следующие источники данных:

  1. «Сырые» данные — логи разного рода, фотографии, аудиозаписи
  2. Структурированные данные — корпоративные системы, комплексные хранилища данных (КХД), системы управления контентом (ECM) в том числе метаданные
  3. Внешние данные
    • Открытые источники (соцсети , интернет)
    • Приобретаемые данные

Проблема с которой вы можете столкнуться, это чувствительность данных. Решает следующими методами:

  1. Деперсонализация — замена персональных идентификаторов на условные (хэширование, кодирование и т. п.)
    • Снижает категорию персональных данных
    • Облегчает обмен данными со сторонними организациями
    • Не решает проблему полностью
  2. Обфускация — искажение данных таким образом, чтобы снизить чувствительность, но сохранить полезность
    • Существенно снижает риски утечки или злоупотребления
    • Требует предварительного согласования в зависимости от использования данных

Теперь перейдем непосредственно к старту проекта. Для начала необходима стратегия работы, которую нужно определить заранее:

  1. Обеспечение наличия и доступности данных для произвольных задач
    • Сбор собственных данных
    • Сбор открытых данных
    • Приобретение чужих данных
  2. Экспериментальный подход к бизнесу (A/B тестирования и эксперименты как таковые)
  3. Использование своих и внешних ресурсов и инструментов

Раскроем каждый пункт подробнее.
Обеспечение сбора и доступности данных — собственные данные:

  1. Постулирование ценности данных, независимо от возможности их немедленного использования
  2. Переоценка полезности данных с учетом применения технологий BD/ML
    • Структрированные транзакционные
    • Неструктурированные
    • Логи и т. п.
  3. Инвентаризация потоков данных, с учетом переоценки, пересмотр подхода к хранению данных
    • Форматы
    • Сроки

Обеспечение сбора и доступности данных — внешние данные:

  1. Поиск внешних источников и поставщиков данных
  2. Создание и развитие механизмов сбора и «интеграции» внешних и внутренних данных
  3. Последовательная работа по оценке полезности внешних данных, включению их в повседневную деятельность

Экспериментальный подход к бизнесу:

  1. Постепенный переход от субъективных экспертных оценок к объективным экспериментальным
  2. Формирование культуры эксперимента
    • Постоянное проведение экспериментов
    • Значительное внимание к дизайну экспериментов
    • Требование измеримых результатов

Необходимо помнить, что проекты в области Machine Learning, обладают рядом особенностей:

  1. Внимание на данные, а не на функции. Функционально решение крайне бедное, в общем случае реализуется одна функция
  2. Ограниченная применимость отработанных подходов внедрения, ориентированных на функции
  3. Вместо функционального ТЗ — требования к качеству модели
  4. Вместо опытной эксплуатации — эксперимент
  5. Во время промышленной эксплуатации необходима постоянная оценка и подстройка модели

Теперь переходим к самой главной части статьи. Жизненный цикл проекта в области Machine Learning:

  1. Определение целей, ограничений, критериев успеха — инициирование
  2. Определение требований к данным, доступности данных, получение образцов данных
  3. Определение формата результатов и способов использования результатов, детальное описание эксперимента, фиксация рамок проекта
  4. Передача и прием данных, препроцессинг, мэтчинг
  5. Построение, обучение, тестирование модели
  6. Экспериментальная проверка модели, опытная эксплуатация
  7. Интеграция модели в ИТ-инфраструктуру
  8. Эксплуатация решения, завершение проекта, промышленная эксплуатация и поддержка

Этап первый — Инициирование проекта

  1. Определение цели и критериев успеха в терминах бизнеса
  2. Оценка доступности данных
  3. Оценка реалистичности задачи
  4. Определение возможности и формы экспериментальной проверки
  5. Предварительное планирование

Этап второй- Определение требований к данным

  1. Инвентаризация доступных данных
  2. Номенклатура
  3. Образцы
  4. Объем
  5. Глубина
  6. Наличие обучающей выборки (при необходимости)

Оценка достаточности данных и возможности получения дополнительных данных. Определение чувствительности данных, возможности и формы их передачи, методов защиты и снижения чувствительности данных.

Этап третий- Определение формата результатов, фиксация рамок проектам

  1. Определение формата и способа использования результатов проекта
    • Данные — выгрузка / загрузка
    • Сервис по обработке данных
    • Результаты анализа данных
    • Модель как таковая (вместе со средой исполнения или отдельно)
  2. Детальное описание эксперимента
  3. Планирование проекта
  4. Фиксация рамок проекта, включающих все аспекты проекта

Этап четвертый- Передача и прием данных, препроцессинг, мэтчинг

  1. Определение способа передачи данных
    • По каналам связи
    • На носителях
  2. Препроцессинг
    • Обфускация
    • Деперсонализация
  3. Прием данных
    • Оценка соответствия соглашениям
    • Проверка полноты
  4. При необходимости мэтчинг данных из разных источников
    • Чем меньше обработаны и обфусцированы данные, тем проще мэтчинг
    • Определение технологий мэтчинга

Этап пятый- Построение, обучение, тестирование модели
С точки зрения управления этот этап «черный ящик». Что видно снаружи:

  1. Успешность приема данных, согласие с их достаточностью
  2. Определенность внутренних метрик качества
  3. Появление первой версии модели измеримого качества
  4. Повышение качества модели от версии к версии
  5. Соблюдение графика / отставание от графика

Этап шестой- Экспериментальная проверка модели

  1. Практическая реализация эксперимента
  2. Сбор данных в ходе эксперимента
  3. Расчет итогов
  4. Оценка результатов
  5. Решение о продолжении проекта / запуске сервиса

Этап седьмой- Интеграция модели в ИТ инфраструктуру

  1. Выбор способа интеграции
  2. Определение места размещения runtime части модели

Этап восьмой- Эксплуатация и поддержка модели
Определение Service Level Agreement (SLA)

Вот и все. Надеюсь эта информация поможет вам при запуске проектов в области Machine Learning.

OKR и мой план на год

Теория

OKR (от англ. Objectives and Key Results — цели и ключевые результаты) — метод, используемый в современном менеджменте для управления проектами. Позволяет синхронизировать командные и индивидуальные цели и обеспечить эффективный контроль за реализацией поставленных задач. Вначале задается цель (objective) и несколько, обычно 4 или 5, ключевых результатов (key results), которые легко измерить (т. е. не нужно тратить много времени на процесс измерения). Ключевые результаты помогают определить, насколько полно достигнута цель.

Суть метода состоит в том, что определяется несколько сложных ключевых целей на некоторый промежуток времени (квартал или год), притом они задаются как для всей компании (или отдела), так и для конкретных сотрудников; для каждой из поставленных целей определяются 3—5 измеримых параметров, по которым можно судить о достигнутых на данном направлении результатах. По истечении заданного промежутка времени степень готовности по каждому из ключевых параметров оценивается по шкале от 0 до 1. Оценка производится самим сотрудником; при этом итоговый показатель не рассматривается руководством в качестве индикатора успешности работы данного сотрудника. Цель считается достигнутой, если суммарно выполнено 70—75 % от задуманного. Если же оказывается, что задача выполнена на 100 %, это свидетельствует о недостаточно амбициозной постановке цели.

Ключевое отличие метода ОКR от прочих подобных методик заключается в том, что сформулированная цель является заведомо невыполнимой. Предполагается, что сотрудник должен чувствовать себя немного некомфортно при постановке задачи. На каждый год и квартал сотрудник задаёт себе по четыре — пять целей. Цели и ключевые результаты на год могут периодически пересматриваться, что позволяет компании оперативно реагировать на ситуацию на рынке. При этом цели на квартал менять не рекомендуется.

Еще один важный момент — открытость. Каждый может посмотреть OKR любого коллеги независимо от уровня менеджмента. И не только сами цели, но и вся их история за предыдущие годы, включая оценку достижений.

Другая специфика OKR: их достижение оценивает сам сотрудник, и по ним не судят о его профессиональных качествах и результативности (т. е. нет связи с зарплатой, премиями и продвижением на новые позиции).

Пример

Допустим, компания поставила перед собой следующую цель:
Попасть в тройку самых скачиваемых приложений на App Store.

Ключевые результаты:

  1. Увеличить число пользователей приложения на 50%
  2. Повысить рейтинг приложения до 4,5 звезд
  3. Получить 100 положительных отзывов от пользователей
  4. Выпустить 3 новые функции

На уровне отдела мобильной разработки ей могут соответствовать такая цель и ключевые результаты:

Увеличить удовлетворенность пользователей на 30%.

  1. Опросить 1000 пользователей и выявить главные жалобы и запрашиваемую функциональность
  2. Провести 10 UX-тестов с пользователями, чтобы выявить проблемы интерфейса
  3. Разрешить не менее половины жалоб, полученных в ходе опроса
  4. Выпустить 3 новые функции

На индивидуальном уровне iOS-разработчик может поставить себе следующую цель.

Увеличить удовлетворенность пользователей интерфейсом на 50%.

  1. Релиз нового интерфейса
  2. Получить как минимум 50 отзывов о новом интерфейсе
  3. Закрыть все баги, связанные с релизом в течение квартала.

Как видно, цели и результаты обязательно должны быть измеряемы. В конце квартала или года каждый сотрудник оценивает выполнение своих целей от 0 до 1 и вычисляет общий прогресс. Как уже говорилось, 60-70% каждой цели является оптимальным.

Эффект

Хорошая новость состоит в том, что плохих результатов в OKR быть просто не может! Поэтому если вы не довольны своими результатами в других системах планирования, вам точно понравится эта. Если по одной из целей получились низкие результаты— это повод переоценить ее значимость и либо понизить приоритет, либо переформулировать, либо вообще отказаться от нее. В целом же список достигнутых за квартал конкретных результатов наглядно показывает распределение времени, достижения и пробелы. А значит, OKR помогает составить более точный план на будущее.

Если последовательно придерживаться планирования с OKR, то основатели методики гарантируют нам следующие улучшения.

  1. Более последовательное принятие решений на всех уровнях. Перед постановкой новой задачи сотрудники будут задумываться, как она связана с общими целями компании и отдела.
  2. Понятные метрики для измерения прогресса. Поскольку метрики уже заложены в постановку цели, вы всегда будете опираться на объективные, а не субъективные критерии.
  3. Более прозрачная коммуникация между командами.
  4. Синхронизация усилий команд в сторону общей цели.

Итак мои цели на 2017 год:

Начать вести курсы/преподавать:

  1. Обучить 500 человек
  2. Включить как минимум 10 тем, на которые я могу читать курсы
  3. Получить более 400 положительных отзывов
  4. 200 подписчиков каналов на YouTube и стриминговых сервисах

Создание умного конструктора :

  1. Продать 200 комплектов
  2. Выпустить учебную книгу по электронике
  3. 50 видео уроков
  4. 100 подписчиков каналов на YouTube и стриминговых сервисах

Запуск 3-ех интернет проектов:

  1. Суммарно 5000 посещений в день
  2. Суммарно 500 платящих клиентов
  3. Рейтинг приложений до 4,5 звезд
  4. Получить 300 положительных отзывов от пользователей
  5. Разрешить 70% жалоб, полученных в ходе опроса
  6. Закрывать все баги, связанные с релизами в течение месяца.

Создание умного дома:

  1. Продать 12 комплектов
  2. Расширить комплектацию 3 новыми функциями
  3. Создать 2 проекта на основе умного дома
2017   Objectives and Key Results   OKR   достижение целей   пример OKR   управление проектами   Цели

Lego Serious Play — что, куда и зачем?

Lego Serious Play — это метод фасилитации встреч, коммуникации и решения запутанных проблем при помощи построения 3d моделей из лего.

Этот метод поиска решений проблем, обсуждений и коммуникаций в текущее время очень редко применяется в России, в Казахстане к сожалению я вообще не слышал о применении этого метода.

Lego Serious Play

История возникновения этого метода такова — Компания Lego внутри себя разработала данный продукт для решения стратегический задач и проведения стратегических сессий. Визуализация идей, бизнес моделей вкупе с возможностью всем заинтересованных высказаться дало чудесные результаты. И после этого Lego выпустила специальные наборы и саму методику в мир. К сожалению они не выпустили какого более менее маломальского описания как со всем этим работать и проводить все эти мероприятия. Думаю отчасти это и стало барьером для применения Lego Serious Play в нашей стране. О других сложностях применения чуть позже.

Где в данный момент это работает?

  1. Инновации
  2. Создание стратегий и прогнозирование
  3. Организационное развитие
  4. Разработка продуктов и сервисов
  5. Change management
  6. Повышени эффективности бизнеса

Когда стоит применять?

  1. Решаем непростые задачи из запутанного мира
  2. Возможны несколько альтернативных вариантов решений
  3. Важно активное участие каждого
  4. Необходимо создать чего-то радикально новое
  5. Необходима полная поддержка принятых решений каждым участником встречи

Сложности применения

  1. Для Lego Serious Play используются специальные наборы кубиков лего
  2. Эти наборы достаточно дорого стоят. И после мероприятия все, что было сконструировано остается у заказчика
  3. Так как этот метод используется для решения сложных стратегических проблем, то в мероприятиях Lego Serious Play должны участвовать топ-менеджмент компании. Длительность такого мероприятия около трех дней. Сами понимаете, время топ-менеджмета дорого.
  4. Сложно убедить топ-менеджмент играть в Lego
  5. Естественно, так же необходимо наличие профессионального фасилитатора, который хорошо знает принципы использования Lego Serious Play, и обладает опытом фасилитации подобных мероприятий. Таких людей в Казахстане я не знаю.

Как же происходит Lego Serious Play? Группа участников создает из конструктора модель компании или быть может бизнес модель, обсуждает ее, ищет взаимосвязи и так далее. К сожалению мне самому не удалось поучаствовать в подобного рода мероприятий.

В процессе изучения Lego Serious Play у меня возникла идея опробовать метод на создании бизнес модели стартапа с использование Канвы бизнес-модели описанной Александров Остервальдеров и Ив Пинье. С помощью человечков очень удобно визаулизировать клиентов, с помощью конструкций источники дохода и так далее. Раскопаю свое Lego и обязательно попробую.

Ctrl + ↓ Ранее