Description
El número lo sacás. Lo que no siempre podés hacer es defenderlo, y en una sala llena de gente a punto de apostar plata a ese número, defenderlo es todo el trabajo. Reportás que el revenue promedio por usuario es de cuarenta y ocho dólares, y es un cálculo real del resumen equivocado, porque una sola cuenta enterprise lo está tirando para arriba muy por encima de lo que paga cualquier usuario normal. Decís que la página de checkout nueva subió la conversión un nueve por ciento, y no podés responder si ese nueve por ciento es una mejora real o la misma moneda que cayó cara dos veces. Mostrás que los usuarios que abren más la app churnean menos, y alguien arma un plan de retención sobre eso antes de que nadie chequee si abrir la app causa retención o solo marca a la gente que se iba a quedar igual. Cada uno de estos es un número aritméticamente correcto y equivocado para la decisión, y la distancia entre ambas cosas es la estadística, la parte que nadie te enseñó porque la herramienta te calcula el promedio y el p-value y se queda callada sobre si alguno de los dos significa lo que estás por decir que significa. Las queries son la parte fácil. Saber cuál número dice la verdad, cuánto de él es suerte, y si va a aguantar cuando el VP pregunte “¿qué tan seguro estás?” es la parte que separa a un analista que reporta de un analista en el que la empresa confía.
Este libro te lleva de un analista que sabe producir un número a uno que puede bancárselo en la sala donde se toma la decisión. Arranca donde arranca el dolor, con un número dicho con seguridad que resultó ser mentira para la decisión, y construye los seis juicios que evitan que te pase a vos. Vas a trabajar sobre una empresa a lo largo de todo el libro, Lumen, un negocio de cajas por suscripción, y a responder las preguntas sobre las que su dirección de verdad discute: cuánto vale en serio un usuario de Lumen, si el flujo de onboarding nuevo movió algo, por qué saltó el churn, y cómo pinta el trimestre que viene. Vas a aprender a describir los datos con honestidad, para saber cuándo el promedio dice la verdad y cuándo la mediana o la forma entera es la única respuesta honesta. Vas a aprender que un número sacado de una muestra es en realidad un rango, y cómo decir qué tan ancho es ese rango en vez de tirar una sola cifra con una seguridad falsa. Vas a aprender a distinguir una diferencia real de la suerte sin ahogar a la sala en jerga, qué afirma de verdad un p-value y qué no, y cómo diseñar un A/B test que pueda responder la pregunta antes de gastar seis semanas corriendo uno que no puede. Vas a aprender la trampa que quema a más analistas que ninguna otra, llamar causa a una correlación y habilitar una decisión que los datos nunca sostuvieron, y cómo detectarla en tus propios gráficos antes de que la detecte otro. Y vas a aprender a construir un modelo que a la vez explique qué empuja el churn y pronostique lo que viene, con honestidad, con su incertidumbre pegada en vez de escondida. Para el final no vas a tener solo el número. Vas a saber cuánto confiar en él, cómo decirlo en voz alta, y cómo ser la persona en la sala a la que los números le aguantan después de que la reunión termina. Para el analista cansado de rezar para que nadie haga la repregunta, y que quiere ser el que ya tiene la respuesta.
Quién debería leerlo
Este libro es para: el analista de una empresa de suscripción o e-commerce que ya sabe escribir la query y armar el gráfico, pero se traba un poco cuando alguien en la reunión pregunta “¿eso es real, o es ruido?”, que vio cómo un número dicho con seguridad se tuvo que desdecir una semana después, y que quiere ser la persona a la que los números le aguantan la repregunta en vez de la que reza para que nadie la haga.
La idea que lo cambia todo
Los 6 pasos para volverte el analista al que la dirección le cree cuando hay plata en juego. El método que convierte a un analista que sabe sacar un número en el que tiene números que se sostienen cuando la decisión está en juego. Tener razón en la query no es lo mismo que tener razón para la decisión: el promedio puede mentir, una mejora puede ser suerte, y una correlación puede mandar a la empresa por el camino equivocado. Vas a llevar un negocio de suscripción real de números seguros pero equivocados a números que podés defender, y a aprender a describir los datos con honestidad, decir qué tan incierta es de verdad una cifra, distinguir una diferencia real del ruido, diseñar un experimento que pueda responder la pregunta, esquivar la trampa de la correlación como causa, y pronosticar con la incertidumbre pegada en vez de enterrada.
- Describí los datos para que el resumen diga la verdad, no una mentira
- Decí qué tan incierto es un número en vez de fingir seguridad
- Distinguí una diferencia real de la suerte sin la jerga
- Diseñá un A/B test que pueda responder la pregunta
- Dejá de llamar causa a una correlación antes de que te queme
- Pronosticá con la incertidumbre pegada, con honestidad
Con qué te vas a quedar
- Capítulo 1: El número que fue mentira en la reunión, y cómo me cambió la forma de trabajar
- Capítulo 2: Nuestro usuario promedio vale cuarenta y ocho dólares. ¿Por qué eso me suena mal?
- Capítulo 3: Perdí el 5% de mis clientes esta semana. ¿Sería 5% de nuevo si preguntara la que viene?
- Capítulo 4: La página nueva convierte mejor. ¿Es real, o la moneda cayó cara dos veces?
- Capítulo 5: Corrí el test seis semanas y sigo sin saber quién ganó. ¿Qué armé mal?
- Capítulo 6: Los usuarios enganchados se van menos. Si subimos el enganche, ¿se va menos gente?
- Capítulo 7: El VP quiere el número del trimestre que viene. ¿Cómo doy uno que pueda defender?
- Capítulo 8: La reunión donde nadie me discutió el número
