Le gain lié à l’adoption de votre IA est un effet de sélection

L’article explique que mesurer l’impact d’une fonctionnalité d’IA optionnelle (opt-in), comme un assistant IA, est compliqué par le biais de sélection : les comptes qui adoptent la fonctionnalité ont tendance à être plus engagés et à afficher une meilleure rétention, indépendamment de la fonctionnalité. Les comparaisons naïves surestiment l’effet en raison de facteurs de confusion liés à l’engagement et non observés. L’article illustre trois méthodes d’estimation à l’aide d’un jeu de données synthétique doté d’un seuil d’éligibilité basé sur le nombre de sièges : 1) l’écart de rétention naïf entre adoptants et non-adoptants (+15 points, biaisé), 2) une régression ajustée sur les covariables observées (toujours biaisée) et 3) une régression sur discontinuité (RD) au seuil d’éligibilité. La RD utilise le seuil arbitraire de sièges comme instrument pour isoler les effets causaux de la sélection. La RD estime un effet moyen local du traitement d’environ +5 points de rétention pour les adoptants induits, avec des intervalles de confiance plus larges qui reflètent l’incertitude réelle. L’article met en avant des contrôles de diagnostic de la crédibilité de la RD et souligne que seule une variation non choisie par les clients (comme le seuil) permet d’identifier des effets causaux. Il invite à interpréter avec soin quel estimande correspond à la question métier et met en garde contre des estimations naïves biaisées et trop confiantes.