Innovation sans théâtre : barrières de décision pour les expériences de produits

L'idée centrale: L'innovation devient opérationnelle lorsque les…

L'innovation devient opérationnelle lorsque les expériences ont une décision, un coût limité, un propriétaire nommé et une condition claire pour s'arrêter.

Les programmes d'expérimentation sont généralement jugés en volume : tests effectués par trimestre, caractéristiques validées, apprentissages capturés. Ce cadrage est confortable parce que chaque test produit quelque chose, et il déguise la question qui importe, qui est de savoir si un test a changé ce que l'organisation aurait autrement fait. Un programme peut mener quarante expériences en une année et ne pas modifier la décision de la feuille de route, et son tableau de bord sera en bonne santé tout au long.

Ce qui a changé, et pourquoi ça compte maintenant: Suivre la vitesse d'apprentissage, le coût par hypothèse…

La signature du problème est l'apprentissage qui est déposé. Lorsqu'un résultat d'examen est rédigé comme un aperçu plutôt qu'une décision, c'est parce qu'aucune décision n'a été jointe au résultat à l'avance. Lire n'importe quel dépôt d'expériences et compter combien d'entrées se terminent par un choix — nous nous sommes arrêtés, nous avons expédié, nous avons changé de direction — par rapport à combien de bouts avec une observation. Le ratio est la mesure honnête du programme, et il est généralement inconfortable.

Construire le modèle d'exploitation: Prenez les trois plus grandes expériences actives et…

Utiliser des barrières pour les preuves de problèmes, les preuves de solutions, la faisabilité de la livraison et l'économie évolutive. Chaque porte devrait nécessiter un petit ensemble d'artefacts plutôt qu'une présentation.

Pré-enregistrez la décision, pas seulement l'hypothèse. Avant les essais, écrivez le résultat qui conduit à l'expédition, le résultat qui conduit à l'arrêt, et le résultat qui conduit à un autre essai — et spécifiez le troisième étroitement, parce que c'est la trappe d'évacuation qui avale les programmes. Si chaque résultat ambigu autorise un autre tour, la porte est décorative et le programme fonctionnera indéfiniment sur des résultats non concluants.

Mesurer ce que la décision a produit: Le but d'une expérience n'est pas d'apprendre. C'est de…

Suivre la vitesse d'apprentissage, le coût par hypothèse résolue, les expériences se sont arrêtées tôt et le temps passé de la preuve validée à une décision de produit financé.

Mesurer la proportion d'expériences qui ont produit une décision déclarée dans les deux semaines suivant la conclusion, le nombre qui s'est terminé par un arrêt et le coût par décision plutôt que par test. Le taux d'arrêt est le diagnostic : un programme qui n'arrête presque jamais rien n'est pas un test, il recueille des preuves de choix déjà faits, ce qui est une activité légitime qui ne doit pas être appelée expérimentation.

Lorsque l'exécution cesse: Une expérience qui ne peut pas échouer est une…

Les équipes peuvent célébrer l'activité alors que l'incertitude demeure inchangée. Les prototypes se multiplient, la propriété se brouille, et personne ne ferme la boucle.

L'échec méthodologique dominant est sous-alimenté par des tests lus comme s'ils étaient concluants. Un résultat qui aurait pu se produire facilement par hasard est traité comme un signal, et la feuille de route y passe. L'échec organisationnel est pire et plus fréquent: le test qui contredit une préférence des aînés est reclassé comme directionnel, et un autre test est commandé, qui se poursuit jusqu'à ce qu'un résultat soit accepté.

À quoi cela ressemble dans la pratique: Une expérience qui ne peut pas échouer est une…

Dans la pratique, le changement est plus procédural que statistique. Préinscription d'une page avant chaque test, nommant la règle de décision et la personne qui l'appliquera. Une règle permanente que les résultats sont lus par quelqu'un qui ne préconisait pas la fonctionnalité. Et un dépôt où la décision, et non la perspicacité, est le champ qui ne peut pas être laissé vide — ce qui seul supprime la plupart des programmes qui ont cessé tranquillement de décider.

L'argument le plus fort contre cette: L'innovation devient opérationnelle lorsque les…

L'objection raisonnable est que le travail précoce du produit est véritablement exploratoire, et forcer une règle de décision sur un test conçu pour construire la compréhension produit une fausse rigueur. Le travail de découverte ne peut souvent pas indiquer à l'avance quel résultat serait important, parce que le but est de savoir quelle est la question.

C'est vrai et il plaide pour l'étiquetage plutôt que pour l'abandon des portes. Les travaux exploratoires devraient être désignés comme tels, être budgétisés séparément et exemptés de l'obligation de décision — et il devrait s'agir d'une minorité du programme. L'absence de distinction est ce qui permet à un programme de décrire l'ensemble de ses travaux comme une découverte tout en présentant ses conclusions comme une preuve, c'est-à-dire l'arrangement qui produit des feuilles de route confiantes fondées sur rien de testable.

Ce qui appartient à une pré-inscription d'une page: Suivre la vitesse d'apprentissage, le coût par hypothèse…

Cinq choses et pas plus : la décision que le test informe, la mesure et l'orientation qui compte comme support, le seuil auquel l'équipe agit, l'échantillon ou la durée requise, et la personne qui applique la règle. Tout ce qui est plus long cesse d'être écrit avant les tests qui sont en cours la semaine prochaine.

Le seuil est le champ que les gens résistent, car le nommer à l'avance enlève la salle pour interpréter ensuite. Cette suppression est tout le but. Un seuil discuté avant l'existence des données est une conversation de conception; le même seuil discuté après est une négociation, et le parti avec plus d'ancienneté tend à gagner.

Le nom de la personne importe plus qu'il ne semble. Les règles de décision sans propriétaire sont appliquées par le comité, et les comités par défaut d'ambiguïté à exécuter un autre test. Une personne nommée, appliquant une règle qu'elle a aidé à écrire, décide dans un après-midi ce qu'un groupe va reporter pendant un mois.

Arrêter les règles, et pourquoi elles sont la partie la plus dure

Chaque cadre d'expérimentation comprend l'arrêt en principe et la plupart des organisations n'ont jamais rien arrêté. La raison n'est pas l'entêtement; c'est que l'arrêt est le seul résultat avec un coût visible et aucun avantage visible. La navigation produit une caractéristique, la poursuite produit de l'activité, l'arrêt produit une lacune dans une feuille de route et une conversation gênante.

Le contrepoids doit être structurel. Rapport s'arrête comme une sortie aux côtés des navires, dans le même résumé, avec la ressource qu'ils ont publiée nommé explicitement. Un quart au cours duquel une équipe a arrêté trois choses et redéployé la capacité est un quart réussi, et il ne sera pas lu comme un seul sauf si le rapport le dit.

Il aide également à séparer l'arrêt de l'expérience de l'arrêt de l'idée. Beaucoup de choses valent la peine d'arrêter maintenant et de revoir quand une condition préalable change; l'enregistrement de la condition préalable convertit une mort inconfortable en un examen programmé, qui est à la fois plus précis et plus facile à accepter.

Lire un résultat que vous ne vouliez pas

La capacité la plus précieuse d'un programme d'expérimentation est la capacité d'accepter rapidement un résultat indésirable, et il s'agit presque entièrement de savoir qui lit les données. Un résultat interprété par la personne qui a proposé la fonction sera interprété charitablement, non par malhonnêteté, mais par un investissement ordinaire dans une idée.

La solution structurelle bon marché consiste à faire lire les résultats d'abord par quelqu'un qui n'a pas d'enjeu, qui déclare le résultat contre la règle pré-enregistrée avant toute discussion sur ce que cela signifie. Une fois la règle appliquée à haute voix, la réinterprétation devient visible comme une réinterprétation.

Les équipes qui adoptent ce rapport généralement la même chose: le nombre de tests tombe et le nombre de décisions augmente. C'est la bonne direction, et elle est souvent confondue avec un problème de productivité au cours du premier trimestre, qui mérite d'être avertie avant qu'il ne se produise.

Une séquence de mise en œuvre de 30 jours: Une expérience qui ne peut pas échouer est une…

Prenez les trois plus grandes expériences actives et écrivez la décision unique que chacun doit activer. Pas d'expérience sans.

Première semaine, vérifier les vingt dernières expériences et classer chacune comme terminée dans une décision ou terminée dans un aperçu. Deuxième semaine, écrivez le modèle de pré-inscription d'une page et utilisez-le pour tout à partir de maintenant. Troisième semaine, nommer le lecteur neutre et leur demander d'appliquer la règle aux premiers résultats à haute voix. Semaine 4, publiez les arrêts du quart à côté de ses navires, avec la capacité libérée nommée.

Signaler les arrêts à côté des navires

Tenir un registre avec chaque expérience, sa règle de décision préenregistrée, le résultat et la décision prise. Le registre rend deux choses visibles que rien d'autre ne fait: combien de fois la règle a été dépassée, et par qui. Ni l'un ni l'autre n'est censé être une accusation, et les deux changent de comportement simplement en étant enregistré, parce que passer outre une règle que vous avez écrite est facile dans une réunion et inconfortable dans un journal.

Examiner le registre tous les trimestres par rapport au taux de décision et au taux d'arrêt, et examiner les seuils chaque année. Si presque rien ne s'arrête, les seuils sont fixés là où ils ne peuvent pas échouer. Si presque tout s'arrête, ils peuvent être fixés pour un niveau de certitude dont l'entreprise n'a pas besoin. Changez un seuil à la fois et gardez la valeur précédente à côté.

Conclusion éditoriale: L'innovation devient opérationnelle lorsque les…

Le but d'une expérience n'est pas d'apprendre. C'est de décider, à bon marché, avant l'engagement coûteux. Les programmes qui mesurent l'apprentissage accumulent des documents; les programmes qui mesurent les décisions accumulent des capacités libérées et une feuille de route qui reflète les preuves. La différence entre eux est une page écrite avant le test plutôt qu'un rapport écrit après.