Description
Un agente te va a entregar un análisis que corre, se ve prolijo y se lee convincente, y está mal en silencio de una forma que ningún mensaje de error va a marcar nunca. Un denominador que dejó afuera a la mitad de los usuarios sin avisar, así que el engagement parece subir. Un promedio arrastrado por una sola cuenta gigante, vendido como el cliente típico. Un resultado que se volvió significativo solo porque alguien miró ocho métricas y espió todas las mañanas. Una mejora que se da vuelta apenas la abrís por país, porque una variable escondida hacía todo el trabajo. Una correlación escrita como si fuera una causa. Un eje que arranca en 80 para fabricar un precipicio para el directorio. La query corrió y el gráfico se dibujó, lo que prueba que el código estaba bien armado, no que el número sea verdadero, que el experimento fuera válido, que la imagen sea honesta, ni que el uso de los datos fuera legal. Los tutoriales de herramientas no te sirven acá, no sos vos quien tipea la query. Lo que te falta es el modelo mental del revisor: qué tendría que ser cierto para que este número esté mal, y si alguien lo chequeó, para poder mirar un análisis y saber si lo usás o lo devolvés.
Este libro te entrena para ser el revisor y el que decide sobre los datos, no para memorizar otra herramienta. Arranca desde una premisa distinta a la de cualquier otro libro de analítica: el agente escribe las queries, el pandas y el primer borrador del gráfico, y tu valor es el criterio que la herramienta no tiene. Vas a aprender a encontrar la pregunta detrás de la pregunta que el stakeholder realmente hizo, a interrogar si se puede confiar en los datos antes de citarlos, a seguir un número hacia atrás por el pipeline y el warehouse hasta donde se pudo romper, a definir una métrica para que signifique lo que vos creés, y a usar solo la estadística que un analista de verdad necesita. Vas a aprender a diseñar un experimento que se pueda creer, a leer un p-value por lo que sí y lo que no te permite afirmar, a cazar el sesgo, el confounding y la paradoja de Simpson que dan vuelta un resultado, y a bajarle el verbo a una correlación hasta la afirmación que su diseño realmente sostiene. Después vas a aprender a elegir el gráfico que dice la verdad en lugar del que la maquilla, a convertir un hallazgo en una decisión que un ejecutivo ocupado va a tomar, y a manejar datos de usuarios dentro de la ley de privacidad y sin dejar que un modelo sesgado lave un daño viejo y lo meta en una decisión nueva. La progresión va de revisar un solo número, a revisar un experimento y una inferencia, a revisar cómo toda la historia llega a una decisión y si esa decisión es justa. Acá casi no hay sintaxis de herramientas y sí mucho sobre preguntas, confianza, inferencia, comunicación y las formas específicas en que el análisis de un agente sale mal. Para el analista que va a vibe-analizar de todas formas y quiere ser el que caza lo que se le escapó al modelo.
Para quién es este libro
Este libro es para: analistas, aspirantes a analista, y los ingenieros y product managers que hacen análisis a un costado, que ya se dieron cuenta de que un agente de IA va a escribir el SQL, el Python e incluso el primer borrador del gráfico y del resumen, y que su verdadera palanca ahora es el criterio que el agente no tiene, decidir si un número es verdadero, si un experimento se puede creer, y si la historia que cuenta debería cambiar una decisión, y que quieren ese criterio sin pasarse otra vez meses moliendo un tutorial de herramientas.
Con qué te vas a quedar
- Capítulo 1: Cómo me di cuenta de que mi trabajo ya no era escribir consultas
- Capítulo 2: La pregunta que me piden nunca es la que importa
- Capítulo 3: Por qué la query está bien y el número está mal
- Capítulo 4: ¿Dónde se rompe un número antes de llegar a mí?
- Capítulo 5: La pregunta que costó once dólares
- Capítulo 6: Todos saben qué es un usuario activo, hasta que lo tengo que definir yo
- Capítulo 7: Por qué el promedio miente sobre tus usuarios
- Capítulo 8: Cuando un resultado parece prueba y no lo es
- Capítulo 9: Por qué “estadísticamente significativo” puede no significar nada
- Capítulo 10: Cómo los mismos números dan vuelta la respuesta
- Capítulo 11: La palabra que convierte un número en mentira
- Capítulo 12: El gráfico que miente con números reales
- Capítulo 13: Mi análisis estaba bien y la decisión la ganó otro
- Capítulo 14: La query que no tenés permiso de correr
- Capítulo 15: Cómo frenar un modelo injusto me mostró en qué analista me había convertido
