Résumé

Une fois que vous avez obtenu vos indicateurs de croissance de haut niveau, l'analyse peut vraiment commencer.

• De nombreux facteurs internes et externes ont une incidence sur les chiffres d'affaires d'une entreprise, tels que la croissance des revenus et des utilisateurs.
• Ce qui est essentiel, c'est d'être en mesure d'isoler les effets des actions prévues, comme le marketing et les relations publiques, pour comprendre leur efficacité pour une utilisation future.
• Les outils, couramment appliqués sur les marchés financiers, peuvent facilement être appliqués aux pratiques commerciales conventionnelles.

Déterminez les aspects de la croissance que vous souhaitez mesurer, puis créez une référence.

• Les stratégies de croissance commerciale comportent trois variables qui peuvent être déconstruites et mesurées: la croissance des utilisateurs, la rétention et l'engagement
• Un modèle de régression simple, le plus souvent via la méthode des moindres carrés ordinaires, peut alors déterminer la croissance «normale» de référence enregistrée par l'entreprise. Cela peut tester une gamme de forces internes et externes pour leur influence sur les performances de croissance.
• Ne traitez pas chaque stratégie de croissance employée comme un événement isolé. Une série d'événements peut avoir des performances variables à chaque instant, mais leur impact global peut se combiner pour produire des résultats significatifs

Commencez à créer un processus d'analyse: éliminez les harengs rouges et recherchez une amélioration continue via l'apprentissage automatique.

• Si un événement significatif mais ponctuel (comme une démission C-suite) se produit, marquez le point de données comme un événement sans rapport confondu, avec une variable indicatrice. Ces événements en eux-mêmes peuvent également être testés au fil du temps pour leurs effets isolés.
• Tenez compte de la non-linéarité de certains événements survenant en même temps. Les effets positifs-négatifs peuvent ne pas être les mêmes, comme pris isolément. Nous le voyons sur les marchés publics, où les entreprises peuvent «prendre un bain» en diffusant un déluge de nouvelles négatives d'un seul coup, conduisant à un premier coup «fixe» du fait des mauvaises nouvelles, avec des effets ultérieurs marginaux.
• Commencez également à créer un processus pour vos mesures de croissance. Au fur et à mesure que vous collectez plus de données au fil du temps, la précision des informations augmente.
• Examinez l'automatisation des flux de données dans le processus et récoltez les données d'autres domaines de l'organisation (par exemple, créez un lien vers GitHub pour tester l'effet des mises à jour logicielles). Au fil du temps, appliquer des principes d'apprentissage automatique itératifs à votre mesure de croissance ne fera qu'augmenter sa valeur pour que votre entreprise comprenne ses progrès.

En partie dans le prolongement de mon précédent article sur la manière d'identifier les moteurs de croissance des entreprises, je souhaite maintenant aller plus loin dans le terrier du lapin et examiner comment mesurer ensuite l'impact des initiatives de croissance. Je fournirai des outils pour évaluer l'impact d'actions telles que les mises à jour de produits, les relations publiques et les campagnes marketing sur la croissance des clients, les mesures de fidélisation et l'engagement. Cela représente les reflets de mes précédents travaux de statisticien, aidant les entreprises à évaluer l'impact sur leur valorisation des événements internes et externes via les réactions de leurs titres négociés.

Je pense que les outils d'impact statistique, plus courants dans les hedge funds et dans le monde de Wall Street, peuvent être beaucoup plus utiles aux entreprises technologiques pour gérer la croissance que la manière dont ils sont actuellement appliqués. En raison de la technologie qui met à notre disposition une gamme d'informations à haute fréquence sur le comportement des utilisateurs ou des clients, des statistiques ou des données qualifiées analyste peut être un véritable atout au sein des équipes commerciales.

Il existe de nombreuses façons de mesurer l'impact de la croissance

À titre d’exemple de mesure de l’impact statistique sur l’évaluation, supposons qu’une société cotée en bourse annonce un nouveau produit et souhaite savoir dans quelle mesure il a eu un impact sur sa valorisation. L'estimation de l'impact réel nécessite de prendre en compte:

1. Comment le marché lui-même s'est comporté ce jour-là, dans le contexte de la corrélation du titre avec lui.
2. L'effet de toute autre information relative à l'entreprise publiée en même temps.
3. Le simple fait que les cours des valeurs mobilières et le comportement des utilisateurs évoluent quotidiennement de la variance générale, même en l'absence de nouvelles informations.
4. Impact à plus long terme, en termes de tendance statistiquement significative à la hausse des prix.

Pour une entreprise privée, la même analyse peut être faite sur l'évolution des utilisateurs actifs, ou clients, à la fois à court et à long terme, qui servent de corollaire à l'activité boursière. Cela s'applique également à la rétention et à la profondeur des mesures d'engagement.

L'établissement de cette forme d'analyse arrondie permet aux entreprises de diriger leurs ressources limitées sur la base de signaux d'information beaucoup plus puissants, plutôt que de se laisser égarer par ce qui pourrait sembler être une réaction du marché ou des utilisateurs qui ne représente en fait rien de plus qu'une fluctuation aléatoire. Le travail initial pour mettre en place le modèle statistique qui sépare le signal du bruit peut rapporter d’énormes dividendes grâce aux informations qu’il apporte aux efforts de croissance d’une entreprise. Il s'agit également d'un processus itératif qui peut facilement (et souvent automatiquement) être mis à jour et affiné à mesure que de nouvelles données sont reçues.

Sélection de la métrique cible à tester

Tout effort de mesure d'une entreprise doit cibler au moins l'une des dimensions de croissance suivantes:

1. Croissance du chiffre d'affaires , défini comme l'évolution des ventes totales ou des utilisateurs / clients actifs au fil du temps.
2. Rétention d'utilisateurs et de clients, définie comme la durée de vie moyenne d'un utilisateur ou d'un client donné.
3. La profondeur de l'engagement d'utilisateurs et de clients, définie comme la fréquence de l'action principale entreprise ou le volume des transactions via la plateforme.

Les trois dimensions sont quantifiables et l'entreprise peut conceptualiser sa valeur comme l'aire du triangle formé par ces trois points. Si l'un s'effondre, le potentiel de valeur des deux autres est fortement limité. Bien que je sois certainement d'accord avec de nombreux fondateurs et investisseurs pour dire que «quelques utilisateurs qui vous aiment valent mieux que ceux qui vous aiment», je ne pense pas que cela contredit l'importance de la croissance du chiffre d'affaires en plus d'un engagement et d'une fidélisation solides. La trajectoire compte beaucoup plus que le niveau, et commencer par un petit groupe d'utilisateurs véritablement dévoués définit le mieux les conditions initiales d'une croissance à long terme en premier lieu.

La tâche principale de l'entreprise est ensuite d'établir le cadre analytique qui permet de mesurer les effets réels de leurs actions sur une ou plusieurs de ces trois mesures clés. L'entreprise peut soit tester différents modèles pour chacun, soit utiliser des outils tels que équations simultanées pour les lier plus directement. Les efforts de marketing et de relations publiques, d'après mon expérience, ont tendance à souffrir particulièrement d'un manque d'analyse rigoureuse pour savoir si l'entreprise reçoit un retour sur investissement. Certaines mesures, telles que les vues totales, les clics et les partages, sont presque toujours enregistrées, mais ce sont tous des moyens pour parvenir à une fin et la question suivante des effets sur la conversion et l'engagement des clients fait rarement l'objet d'une analyse sérieuse.

Choix du benchmark et exemple d'événement ponctuel

Nous commençons par la version simplifiée d'un événement ponctuel. Supposons qu’une entreprise publie une nouvelle mise à jour de produit ou publie une grande histoire de relations publiques le jour 0 et souhaite savoir si cela représente un pas dans la bonne direction en termes d’effet sur la croissance. Pour déterminer si un signal réel a été reçu indiquant que l'entreprise doit poursuivre des efforts similaires, il faut savoir combien elle a augmenté, par rapport à combien elle aurait, en l'absence de l'événement en question.

La croissance de référence peut être estimée via un modèle de régression qui prédit la croissance, la fidélisation ou l'engagement de l'entreprise en fonction de variables externes et internes. Dans certains cas, la possibilité d'isoler les utilisateurs affectés par une mise à jour de produit permet d'effectuer des tests A / B directs avec un groupe de contrôle. Ce n'est cependant pas le cas pour les produits à plus grande échelle, les relations publiques et les efforts commerciaux qui affectent de manière quelque peu uniforme tous les utilisateurs actuels et potentiels. Bien qu'il existe d'excellentes ressources disponibles pour de tels tests, de nombreuses entreprises en démarrage peuvent les trouver coûteuses.

Les variables qui peuvent être prises en compte pour ce modèle incluent:

Tendances du secteur	Croissance de votre secteur concerné en termes de volume total de ventes.
Cibler les tendances des clients	Diffère des tendances du secteur en ce que cela se concentre davantage sur la croissance de vos clients cibles eux-mêmes, qu'ils fassent déjà ou non des affaires avec votre secteur.
Le S&P 500 et d'autres sous-indices sectoriels	Si vos clients sont des sociétés financières ou peuvent être affectés par les effets directs ou psychologiques des marchés financiers.
Variables macro comme les taux d'intérêt et les taux de change	En fonction de votre modèle commercial, les taux d'intérêt et les taux de change peuvent affecter la compétitivité de votre offre.
Moteurs internes tels que les taux de référence	La croissance de toute entreprise est une combinaison de facteurs externes et internes. Les mesures internes qu'il est important de suivre en elles-mêmes, telles que le taux de référence des utilisateurs actuels (qui pourrait être un effet d'élan important), les cotes de satisfaction des utilisateurs, l'activité sur les réseaux sociaux, etc. peuvent toutes être utiles.
Saisonnalité / cyclicité	Les variables indicatrices, qui sont égales à 1 si une condition est remplie (par exemple, le mois tombe pendant la période des fêtes) et à 0 sinon, peuvent être utilisées pour contrôler les effets de tout mois de l'année / jour de la semaine qui pourrait être pertinent pour votre activité d'utilisateur .

Toutes les variables doivent être spécifiées comme un taux de changement plutôt que comme un niveau absolu, en utilisant des logarithmes plutôt que des pourcentages.

Le calendrier de chaque variable doit également être soigneusement considéré. Certaines variables sont de premier plan (le marché boursier, par exemple, est fortement basé sur les attentes), tandis que d'autres, comme les cotes de satisfaction des utilisateurs, sont basées sur l'expérience passée mais peuvent certainement être pertinentes pour la croissance attendue.

comment faire des graphiques 3D

Pour la régression elle-même, je recommande de commencer par Moindres carrés ordinaires (OLS) et ensuite seulement passer à d'autres formes fonctionnelles pour des raisons spécifiques. L'OLS est polyvalent et permet également une interprétation plus directe des résultats que d'autres formes plus complexes. Les modifications dans le contexte de l'OLS incluraient une régression logarithmique pour les variables non linéaires, les variables d'interaction (par exemple, peut-être la satisfaction actuelle du client et l'activité des médias sociaux) et les variables au carré qui, selon vous, ont des effets disproportionnés à des valeurs plus élevées. Étant donné que la croissance est, espérons-le, exponentielle, les régressions logarithmiques pourraient certainement s'avérer une bonne adéquation.

En ce qui concerne l'horizon temporel de l'impact de l'action, assurez-vous de prendre en compte la fréquence des actions ou des achats de vos utilisateurs pour vous aider à déterminer l'intervalle approprié pour rechercher l'impact. Lorsque vous utilisez des délais supérieurs à un jour, n'oubliez pas que les utilisateurs actifs hebdomadaires ne correspondent pas à la somme des utilisateurs actifs quotidiens cette semaine. Si j'utilise activement votre produit chaque jour cette semaine, je serais alors compté chaque jour pour une analyse quotidienne. Si vous passez ensuite à une analyse hebdomadaire, je ne devrais apparaître qu'une seule fois et, par conséquent, la somme des jours individuels serait surestimée.

Ce modèle vous permet ensuite d'estimer la croissance / la rétention / l'engagement attendus pour un moment donné ou une période de temps en cours en fonction de la performance de ces variables explicatives. La différence entre cette croissance attendue et la croissance réelle observée après l'événement est alors la partie anormale qui peut indiquer un impact. La division de cette croissance anormale par l'écart type de la croissance attendue indique alors la probabilité que la composante anormale se produise par hasard. En règle générale, un résultat de 1,96 (soit environ deux écarts types par rapport à la valeur prédite) est utilisé comme seuil pour juger qu'il ne s'est pas produit par hasard.

Dans le contexte des cohortes, la rétention et l'engagement peuvent être considérés soit en termes de changement entre les cohortes successives (en d'autres termes, en maintenant les valeurs fixées pour chaque cohorte), soit en fonction du changement dans le temps de la rétention et de l'engagement totaux, sans le décomposer par cohorte.

Impact cumulatif sur la croissance d'une série d'événements

Les stratégies de croissance mettent souvent l'accent sur le déploiement d'une série d'événements plutôt que d'efforts ponctuels, à la fois pour l'impact plus immédiat des efforts multiples et pour l'impact sous-jacent de montrer aux clients le modèle lui-même. L'analyse d'impact peut donc également examiner l'impact cumulatif. Une série d'événements individuellement insignifiants peut entraîner un impact cumulatif important et, à l'inverse, une série d'événements importants peut devenir insignifiante.

La première situation peut être considérée comme «lentement et régulièrement gagne la course». Supposons que vos ventes augmentent d'une fraction de pour cent par semaine plus rapidement que votre secteur concerné. Sur une courte période, cela ne signifierait rien, car la croissance d'une entreprise donnée différera légèrement de l'indice de référence par hasard. Cependant, si votre légère surperformance persiste assez longtemps, vous pouvez finalement affirmer avec confiance que le taux de croissance de l’entreprise dépasse vraiment celui du marché.

La deuxième situation est essentiellement tout type de renversement. Les moyens de plus en plus fréquents par lesquels les gens peuvent réagir aux développements avant de vraiment traiter les informations, ainsi que la mentalité de troupeau à court terme, posent le défi de s'assurer que vous considérez la véritable ampleur et la durée de la réaction à travers le bruit plus immédiat. Dans certaines circonstances, les utilisateurs et les marchés peuvent avoir tendance à systématiquement sur-réagir à court terme (nouvelles technologies, marchés des devises, et souvent de mauvaises nouvelles qui ne représentent pas une menace sérieuse pour une entreprise) pour ensuite se corriger par la suite.

quel est le modèle d'objet de page dans le sélénium

Les deux situations peuvent être illustrées comme suit. L'intervalle de confiance indique les limites dans lesquelles on peut s'attendre à ce que 95% des observations se situent, ce qui est généralement utilisé comme seuil pour juger quelque chose de statistiquement significatif.

L'absence de renversement significatif peut être considérée comme la preuve d'un impact durable. Il faut être prudent avec cette logique car elle va à l'encontre de la règle normale du scepticisme empirique selon laquelle l'absence de preuve n'est pas une preuve d'absence, mais c'est le mieux que nous puissions faire.

Soyez prudent lorsque vous comparez les pourcentages / changements logarithmiques sur des périodes individuelles. Une diminution de 99% suivie d'une augmentation de 99% ne résultera pas exactement en un changement cumulatif insignifiant. Assurez-vous de considérer le changement cumulatif à la fin.

Si vous mesurez l'impact cumulatif d'une série d'événements tels qu'une campagne de relations publiques spécifique sur une période limitée (c.-à-d. Une période des Fêtes), vous souhaiterez peut-être suivre la croissance sur tous les jours civils ou semaines inclus dans la période. , que chacun ait ou non pris une mesure spécifique. Vous espérez toujours essentiellement que le coup de poing 1-2-3 donne un KO dans une période spécifique, même s'il peut y avoir de légers retards entre les coups.

Si les événements en question sont plus éloignés mais que vous souhaitez tout de même évaluer l'impact cumulatif, vous pouvez envisager de les regrouper en une seule série continue de jours, puis de lancer la même analyse. En cela, vous dites essentiellement «Le jour 1 est le 5 janvier, le jour 2 est le 15 mars, le jour 3 est le 10 avril…») et testez leur changement cumulatif par rapport à celui prédit par l'indice de référence comme s'il s'agissait en fait de dates complètement séquentielles. Tester la signification est alors la même formule que pour les événements singuliers, sauf dans ce cas en élevant l'écart-type à la racine carrée du nombre de jours / semaines qui forment la période cumulative.

Traiter les informations contaminées lors de la mesure de la croissance de l'entreprise

Le monde nous offre rarement la courtoisie de conditions de laboratoire parfaites pour tester nos idées, donc une fois que le modèle de base est établi, il devra probablement contrôler d'autres informations qui affectent le taux de croissance attendu en même temps que les actions que nous vous cherchez à mesurer.

Supposons qu'en même temps qu'un événement de relations publiques ou une mise à jour de produit, un cadre supérieur décide malheureusement de partir pour un concurrent au milieu d'une grande fanfare de la presse et que vous craignez que certains utilisateurs puissent prendre cela comme un signal des mérites relatifs du deux produits. Une solution très rapide, malheureusement, consiste simplement à marquer le point de données comme un événement non lié confondu, avec une variable indicatrice.

Toutefois, si vous pouvez obtenir des données sur les instances précédentes de l’événement «confondant», vous pouvez effectuer une analyse transversale Cela vous permet de prédire quel impact cet événement particulier a tendance à avoir dans des circonstances similaires, et vous pouvez supprimer cet impact attendu des résultats finaux. Dans l'exemple ci-dessus, les données sur l'activité des utilisateurs entourant les départs de membres de l'équipe de haut niveau dans d'autres entreprises vous permettraient d'estimer et de séparer l'effet de ce facteur particulier afin d'isoler l'effet de l'événement de relations publiques ou de la mise à jour du produit que vous espériez évaluer.

principes de la gestalt dans l'organisation perceptive

De nombreuses entreprises peuvent également faire face à une saisonnalité en fonction de la période de l'année ou de certains moments clés tels que les vacances. Attribuez des variables indicatrices à la période de l'année en question pour contrôler cela.

Les non-linéarités de certains impacts

Lorsque vous considérez les résultats de votre analyse et vos stratégies pour les efforts de croissance, certains effets non linéaires sur la façon dont les gens ont été documentés pour réagir aux développements positifs méritent d'être pris en compte.

La sensibilité à la hausse et à la baisse peut être très différente. Si les données et le temps le permettent, pensez à estimer les effets attendus des événements positifs et négatifs, si les deux vous concernent. Malheureusement, dans de nombreux cas, les mouvements à la baisse allant du comportement des utilisateurs aux marchés financiers peuvent être beaucoup plus brusques et sévères que les mouvements à la hausse.

L'effet combiné de l'exécution de plusieurs actions à la fois peut ne pas être égal à celui de leur exécution en séquence, car le fait même du modèle en cours peut lui-même avoir un effet positif ou négatif. Le modèle selon lequel une entreprise publie une mise à jour de produit tous les mois peut inspirer confiance aux utilisateurs tout en annonçant des événements négatifs tels que des licenciements ou des réductions de valeur plus d'une fois peut avoir un effet largement disproportionné en causant l'inquiétude que l'entreprise ne comprend pas entièrement les siens. situation. Les sociétés cotées en bourse «prennent souvent un bain» et publient toutes les mauvaises nouvelles en même temps, car il peut y avoir un coup initial «fixe» du fait des mauvaises nouvelles elles-mêmes, avec un effet ultérieur marginal. La ' Effet torpille », Par exemple, décrit le phénomène empirique selon lequel la simple présence de mauvaises nouvelles peut expliquer une partie significative d'une baisse de prix. Les baisses négatives peuvent donc être décomposées en un effet fixe initial qui cède la place à un effet marginal décroissant du contenu réel de l'actualité ou du développement. Les campagnes de relations publiques fonctionnent mieux comme une séquence qu'un seul méga-événement, car l'objectif est de positionner l'entreprise dans le temps.

La variance ne peut bien sûr être mesurée qu'historiquement, mais certains événements peuvent modifier la vraie variance sous-jacente et la probabilité que la croissance anormale se soit produite par hasard. Étant donné que la nouvelle variance est elle-même le résultat de l'événement en question, la variance antérieure devrait être utilisée afin d'éviter le raisonnement circulaire consistant à rejeter l'importance de l'événement sur la base de la plus grande variance qui l'accompagne. Comme toujours cependant, il y a débat et chaque situation peut être différente.

Comme mentionné précédemment, la croissance ou un ralentissement de la croissance peuvent à la fois engendrer des effets similaires pendant un certain temps, en raison à la fois de la psychologie humaine et des structures de marché très réelles. Bien qu'il existe divers tests d'autocorrélation sophistiqués disponibles pour mesurer les effets de momentum, je trouve que l'approche plus «manuelle» consistant à régresser la série de croissance sur une version retardée d'elle-même est plus transparente et plus facile à expérimenter.

Réflexions finales sur l'approche de l'apprentissage automatique en entreprise

Une fois que le modèle permettant de tels tests a été développé, il n'y a aucune raison pour que les plates-formes de la société pour le suivi du comportement des utilisateurs, des ventes, etc. ne puissent pas être directement liées à son code pour mettre à jour en permanence les coefficients à mesure que de nouvelles données sont reçues. Ma préférence personnelle a toujours été d'avoir une période d'estimation sur un an lorsque cela était possible, en ce sens qu'elle équilibre la taille de l'ensemble de données avec la valeur plus élevée des informations plus récentes et inclut naturellement toutes les périodes de l'année en cas de saisonnalité.

En supposant qu'il n'y ait pas de rupture structurelle dans la nature de l'entreprise et du produit, il n'y a aucune raison de ne pas prolonger la période d'estimation au-delà d'un an, mais les jeunes entreprises à croissance rapide ont tendance à évoluer rapidement. Les entreprises basées sur des logiciels peuvent se connecter directement à leur GitHub pour créer le processus par lequel les mises à jour logicielles sont automatiquement testées pour l'impact. En créant ce lien direct et en permettant aux fonctions d'évoluer automatiquement, vous avez franchi le premier pas vers le déploiement de l'apprentissage automatique pour votre entreprise.

Il est souvent souligné que l’information est le bien le plus précieux du monde, mais il est moins souvent mentionné que les données ne sont pas des informations. Au contraire, les entreprises sont submergées par tant de données qui peuvent sembler raconter des récits concurrents, dont beaucoup ne peuvent être que de faux modèles basés sur le hasard. La statistique à son meilleur est un processus de réduction - de se concentrer rapidement sur les variables clés et les relations et de les déployer pour des tests pratiques. L'esprit de cette forme d'analyse imprègne avant tout un scepticisme sain dans le processus de prise de décision en forçant les données à se prouver en tant qu'informations réelles avant de baser une décision sur celles-ci.

Comprendre les bases

Comment la croissance est mesurée.

La croissance est mesurée à travers trois variables: la croissance du chiffre d'affaires (variation des ventes totales ou des utilisateurs / clients actifs au fil du temps), la rétention (durée de vie moyenne d'un utilisateur ou client donné) et la profondeur de l'engagement (fréquence de l'action principale entreprise ou volume) des transactions via la plateforme).

Pourquoi la fidélisation des clients est si importante.

La fidélisation des clients augmente à la fois la fiabilité des revenus et peut se répercuter sur la croissance de nouveaux utilisateurs. Les clients satisfaits sont des clients fidèles qui sont plus susceptibles d'évangéliser le produit / service auprès de nouveaux prospects