Инновации без театра: входные контрольные точки для продуктовых экспериментов

Основная идея

Инновация становится операционной, когда эксперименты сопровождаются решением, ограниченной стоимостью, назначенным владельцем и ясным условием для остановки.

Программы экспериментов обычно оцениваются по объему: количество тестов за квартал, проверенных функций, зафиксированных знаний. Такая оценка удобна, потому что каждый тест что-то дает, но скрывает важный вопрос — изменил ли тест решения организации? Можно провести сорок экспериментов за год и не изменить ни одного решения в дорожной карте, при этом информационная панель будет выглядеть вполне здорово.

Что изменилось и почему это важно сейчас

Главная проблема в том, что знания просто архивируются. Если результат теста записывается как инсайт, а не как решение, значит, к результату заранее не прикрепили решение. Прочитайте любой репозиторий экспериментов и посчитайте, сколько записей заканчиваются решением — ‘мы остановились’, ‘отправили в релиз’, ‘сменили направление’ — и сколько заканчиваются наблюдением. Соотношение — честная оценка программы, и оно часто неудобно.

Построение операционной модели

Используйте контрольные точки для подтверждения проблемы, решения, осуществимости доставки и масштабируемой экономики. Каждая точка должна требовать небольшой набор артефактов, а не презентационные выступления.

Предварительно регистрируйте решение, а не только гипотезу. До запуска теста пропишите, какой результат приведет к выпуску, какой — к остановке, а какой — к дополнительному тесту, уточняя последний, чтобы избежать бесконечного цикла. Если каждый неоднозначный результат разрешает продолжение, ворота становятся декоративными, а программа работает бесконечно на неубедительных данных.

Измеряйте результат принятого решения

Отслеживайте скорость обучения, стоимость решения каждого предположения, количество досрочно остановленных экспериментов и промежуток времени между валидным доказательством и решением о финансировании продукта.

Измеряйте долю экспериментов, давших решение в течение двух недель после окончания, количество остановок и стоимость за решение вместо стоимости за тест. Показатель остановок — ключевой диагностический параметр: программа, которая почти ничего не останавливает, не тестирует, а накапливает убедительные оправдания для уже сделанных выборов — что само по себе легитимно, но не есть экспериментирование.

Где происходит сбой исполнения

Команды могут радоваться активности, хотя неопределенность не меняется. Прототипов много, владельцы размыты, и никто не закрывает цикл.

Основная методологическая ошибка — слабо статистически обоснованные тесты воспринимаются как стойкие выводы. Случайные результаты принимаются за сигналы, и по ним двигается дорожная карта. Организационная ошибка более часта и серьезна: тест, противоречащий предпочтениям руководства, объявляют направленным, заказывают дополнительный тест — и так продолжают, пока результат не устроит их.

Как это выглядит на практике

На практике изменение процедурное, а не статистическое. Одностраничная предварительная регистрация для каждого теста с описанием правила принятия решения и лица, его применяющего. Правило, чтобы результаты читал нейтральный человек, не продвигающий функцию. Репозиторий, где поле решения обязательно к заполнению, а не просто поле инсайта. Это убирает большинство программ, которые тайно прекратили принимать решения.

Самый сильный аргумент против

Аргумент в том, что ранняя работа над продуктом — исследовательская, и навязывать правило решения на стадии понимания приводит к ложной строгости. Исследовательская работа часто не может заранее определить значимый результат, потому что задача — понять, какой вопрос задавать.

Это верно и служит основанием для маркировки исследовательской работы, отдельного бюджета и освобождения от требования решения. Такие работы должны составлять меньшинство программы. Отсутствие разграничения позволяет называть всё открытием, а выводы — доказательствами. Это создает уверенные дорожные карты, основанные на не подтвержденных тестами данных.

Что должно быть в одностраничной предварительной регистрации

Пять элементов и не больше: решение, которое информирует тест, метрика и направление поддержки, порог срабатывания действия, требуемый размер выборки или длительность, и лицо, применяющее правило. Всё длиннее этого прекращает писаться, особенно перед тестами на следующей неделе.

Порог — самый болезненный элемент, потому что его наличие исключает интерпретацию после. Исключение интерпретации и есть цель. Обсуждать порог до появления данных — дизайн, а после — переговоры, где обычно побеждает более старший.

Назначение конкретного ответственного важнее, чем кажется. Правила без владельца выполняются комитетом, а при неоднозначности комитеты склонны проводить дополнительный тест. Один человек, знающий правило и применяющий его, решает вопрос быстро, в то время как группа откладывает решение надолго.

Правила остановки и почему это самое сложное

В любой системе экспериментирования предусмотрена остановка, но чаще всего организации никогда ничего не останавливают. Причина не в упрямстве, а в том, что остановка — это единственный результат с видимой стоимостью и без видимой выгоды. Выпуск дает функцию, продолжение — активность, остановка — пробел в дорожной карте и неудобный разговор.

Баланс должен быть структурным. Останавливайте эксперименты официально, публикуйте остановки в том же отчете, что и запуски, с указанием высвободившихся ресурсов. Квартал, в котором команда остановила три эксперимента и перераспределила ресурсы, — успешный квартал, и он так воспринимается только при должном отчете.

Также полезно отделить остановку эксперимента от отмены идеи. Многие эксперименты стоит остановить сейчас с планом вернуться, если изменится предпосылка. Запись предпосылки превращает резкое прекращение в плановый пересмотр, что и точнее, и проще согласовать.

Чтение нежелательного результата

Самая важная способность в программе экспериментов — быстро принять нежелательный результат, и это почти полностью зависит от того, кто читает данные. Человек, предложивший функцию, будет интерпретировать результат доброжелательно, не из лжи, а из личных вложений в идею.

Простое решение — предоставить первичное чтение результатам кому-то нейтральному, кто объявит исход в соответствии с предварительным правилом до любых обсуждений смысла. После того, как правило применяется вслух, последующие переинтерпретации становятся видимыми.

Команды, принявшие такой подход, часто сообщают: количество тестов падает, количество решений растет. Это правильный тренд, хотя иногда в первом квартале это ошибочно принимают за снижение продуктивности. Руководство стоит предупредить заранее.

30-дневная последовательность внедрения

Выберите три крупнейших активных эксперимента и запишите единственное решение, которое каждый должен обеспечить. Приостановите те, что решения не имеют.

Первая неделя — аудит последних 20 экспериментов с классификацией на завершенные решением или инсайтом. Вторая — создание шаблона одностраничной предварительной регистрации и его использование для всех новых тестов. Третья — назначение нейтрального читателя, который вслух применит правило к первым результатам. Четвертая — публикация квартальных остановок вместе с запусками и наименованием высвобожденных ресурсов.

Отчет об остановках рядом с запусками

Ведите единый реестр с каждым экспериментом, предрегистрацией правила решения, результатом и принятым решением. Реестр выявляет два важных параметра: частоту переопределения правила и авторов переопределений. Это не обвинение, а корректирующий фактор, так как переопределять написанное правило на совещании просто, а в журнале неудобно.

Обсуждайте реестр ежеквартально по показателям принятия решений и остановок, а пороги — ежегодно. Если почти ничего не останавливается, пороги установлены слишком низко. Если почти всё — слишком высоко. Меняйте порог по одному и сохраняйте прежнее значение рядом для сравнения.

Редакционный вывод

Цель эксперимента — не обучение, а быстрое решение до дорогостоящих обязательств. Программы, ориентированные на обучение, накапливают документы; программы, ориентированные на решения, освобождают ресурсы и дают дорожную карту на основе доказательств. Разница — одна страница, написанная до теста, а не отчет после него.