Experimentos con poco tráfico

En Acumbamail hemos intentado hacer experimentos en muchas ocasiones con escaso éxito. Es difícil hacer tests a/b con el tráfico que tenemos –y eso que debemos estar en el top 10 de SaaS de españoles en tráfico– por lo que sabemos que tenemos que buscar otras opciones. Para saber qué opciones existen y porque pienso que la mayoría de vosotros tendréis un problema similar, llevo unos cuantos meses pidiéndole a mi amigo Corti , que es la persona que más sabe de experimentación que conozco, que escribiera un artículo hablando de experimentar con poco tráfico. Ha pasado de mí hasta que ha sacado un libro y necesita ventas en su crowdfunding , pero el artículo está guapo así que aquí lo tenéis.

Experimentar es la base para encontrar palancas de crecimiento en cualquier negocio.

Tradicionalmente se ha asociado experimentar a sitios con mucho tráfico donde se puedan hacer tests A/B, y eso excluye a la mayoría de los SaaS, o la mayoría de las páginas relevantes de un SaaS, que son negocios que necesitan poco tráfico para poder generar una buena cantidad de dinero.

En esta edición invitada de Disaaster vamos a ver cómo podemos realizar experimentar en sitios con poco tráfico para encontrar palancas de crecimiento para nuestro negocio con independencia de la fase de crecimiento donde estemos.

¿Por qué experimentar?

La mayoría de las decisiones que tomamos, incluso cuando pinta que tienen todo a su favor, no generan un impacto positivo en el negocio o incluso generan efectos negativos.

Esto pasa incluso cuando el cambio parece obvio. Webs como Craigslist o Milanuncios, cuyos diseños siempre se han visto muy mejorables por toda la comunidad, empeoraban su rendimiento cuando se trataban de modernizar o aplicar mejores prácticas.

En entornos empresariales, sean del tamaño que sean, también se juntan aspectos como los egos que llevan a tomar decisiones “porque yo soy más listo”, y las meteduras de patas de los HiPPOs. Los que lideramos equipos y tenemos mucha experiencia, muchas veces nos creemos más listos, opinamos y condicionamos las opiniones de todo el equipo. Luego echamos balones fuera como si nada, pero el pufo ya está hecho.

Experimentar nos permite testar ideas, hipótesis, de una forma ágil, invirtiendo pocos recursos y extrayendo conclusiones claras. Es tanto una forma de agilizar todos los procesos como una forma de aprender y extender el conocimiento por todo el negocio.

Antes de meter al equipo a estar 4 meses desarrollando una funcionalidad que no sabemos si nadie va a querer, podemos probar de forma súper rápida si tiene cierto interés preliminar. Antes de cambiar el color del botón del checkout porque el jefe dice que ha leído un artículo donde aseguran que el verde convierte mejor, podemos probarlo para no arruinar las ventas de la semana.

Experimentar permite encontrar formas de aumentar la conversión, recurrencia, otros KPIs de negocio, pero también facilita la priorización del backlog de producto, permite eliminar del mismo funcionalidades que suenan bien pero donde al testar una mínima idea no vemos interés, y con todo esto permite optimizar los costes de las operaciones y del desarrollo de producto. Cuando lo llevas a un enfoque cultural, es la mejor forma de fomentar la innovación continua en una organización, así como de facilitar que la cooperación interdepartamental. En una organización que integra la cultura de la experimentación, cualquier persona de la compañía puede plantear ideas, cambios o experimentos que luego son priorizados y validados con datos.

Probar rápido, probar muchas ideas, extraer conocimiento y mejoras. Y repetir, repetir, repetir…

¿Por qué se habla tanto de los test A/B?

No quiero profundizar en exceso en esta parte porque no es el foco en esta edición. Pero sí que hay que entender por qué la experimentación se suele asociar a los tests A/B y por qué la mayoría de los mortales debemos alejarnos de ese planteamiento para nuestro negocio.

Un test A/B (o multivariante), es básicamente una herramienta que nos permite comparar dos versiones de una web y ver cuál de las dos consigue los mejores resultados en términos de KPIs cercanos a negocio (conversiones, ventas, etc.).

La gracia que tiene un test A/B es que se apoya en conceptos estadísticos que nos permiten estar bastante seguros de que los resultados de ese experimento son “estadísticamente significativos”. Es decir, que si decimos que la versión A convierte un 30% mejor que la versión B, con una significancia estadística del 99,5%, eso va a mantenerse así cuando llevemos ese experimento a producción con una probabilidad cercana al 100%.

La estadística, como la vida, es muy cabrona (o muy directa), y el 99,5% significa que el 0,5% de las ocasiones, ese resultado no se va a mantener. Pero como poco podemos justificar bastante bien nuestra decisión.

La gracia es que si aplicamos muchos cambios donde encontramos mejoras con significancia estadística, vamos a estar yendo a un sitio mejor seguro.

Así pues, el primer punto a favor de los test A/B es que nos proporcionan un marco que reduce la incertidumbre acerca de las mejoras que realizamos sobre nuestra web o producto digital. Y transforma los procesos de mejora de producto, que suelen tener mucho de ego, gustos y “por mis narices” en algo más científico y cabal.

El otro gran punto que hace que todo el mundo mire a los test A/B se da porque las primeras empresas que han adoptado la experimentación como motor de crecimiento son grandes empresas que suelen tener mucho tráfico: Google, AirBnB, Booking, Bing…

Estas empresas tienen mucho tráfico, por lo que el enfoque de los test A/B no genera ninguna problemática. Pero lo que es más importante, son negocios muy sólidos y que mueven mucho dinero. En estos contextos, cuando tienes una “vaca lechera”, es mucho más fácil conseguir muchas pequeñas mejoras que en conjunto generen un incremento muy fuerte, que encontrar una sola palanca de crecimiento que te cambie el negocio.

Y que conste que un test A/B también puede servir para probar un experimento mucho más disruptivo, pero es una herramienta que encaja perfectamente con el modelo de mejora incremental del CRO.

Cuando tienes poco tráfico o negocio, necesitas hacer doble o nada

Lo primero que hay que hacer al experimentar es saber a qué vas a jugar. Siendo una gran empresa, te va a tirar el jugar a un modelo de mejora incremental (CRO). Pero cuando tienes poco tráfico o poco negocio, no te queda otra que jugártela mucho más si realmente quieres crecer.

Para mi, esta es una de las grandes diferencias entre enfoques que adoptan la experimentación como son el CRO (que busca mejoras incrementales y con más foco en métricas como conversión) y enfoques más amplios y que cubren todo el negocio de forma holística como es el Growth.

En definitiva, en entornos con poco tráfico tienes que hacer doble o nada. Realmente te va a tocar estar haciendo todo o nada de forma continua, al menos hasta que tengas una base sólida del negocio y del producto que no quieras perder de la noche a la mañana y te vayas volviendo algo más conservador con tus enfoques.

Y si vamos a arriesgar más, nos encontramos con un stack de enfoques para experimentar mucho más amplio, rico y que nos va a dar mucho más juego.

Buscar mejoras mucho mayores

Esto no es algo en lo que esté de acuerdo todo el mundo, pero para mi es algo clave. Cuando tienes poco tráfico o negocio, una forma de avanzar gracias a la experimentación es realizar experimentos que busquen grandes cambios en los KPIs de negocio.

Por lo general un test A/B permite detectar mejoras de incluso menos de un 1% de conversión o del KPI que se esté mejorando. Y con muchos datos podemos lograr tener una significancia estadística que valide esa mejora.

Cuando no tenemos tanto tráfico, la única forma de poder generar un resultado con significancia estadística con una muestra pequeña es conseguir un incremento mucho mayor (por ejemplo 10 veces mayor).

Habrá ocasiones que correremos un experimento con una muestra suficiente para nosotros, aunque no suficiente como para que nos de un dato estadísticamente significativo. Si el diferencial es suficientemente grande, yo soy partidario de darlo por bueno y seguir avanzando con otros experimentos.

En estas etapas no buscas estar seguro de todos los pasos que das, lo que buscas es dar varios pasos suficientemente grandes como para que te lleven a un sitio relevante. Hay que arriesgar más para ganar lo suficiente.

Experimentación fuera del producto

Experimentar dentro del producto en un SaaS en fases iniciales es complejo porque en muchas páginas del producto apenas tenemos movimiento.

Pero siempre podemos exponer a otros o más usuarios a las cosas que queremos probar. Por ejemplo podemos probar copies en anuncios de Meta o de Google para ver qué ‘copies’ convierten mejor. O podemos crear landings para probar distintas propuestas de valor y llevarles tráfico desde nuestras redes sociales o con anuncios para ver el comportamiento del usuario ante cada una de ellas.

A mi estos enfoques me encantan porque con inversiones muy pequeñas puedes validar ideas, mensajes y muchos otros elementos antes de gastarte mucho más dinero en ponerlos en producción o dentro del producto.

Pruebas cualitativas

Esto engancha muy bien con el punto anterior.

Una forma de experimentar es exponer a los usuarios a un contexto, mensaje o propuesta de valor y luego preguntarles directamente mediante una encuesta. Esto nos permite recoger pocos datos pero de calidad ya que el usuario nos está contestando exactamente a lo que le preguntemos.

Por ejemplo, si llevamos tráfico de unas campañas de anuncios para probar distintas propuestas de valor o CTAs, podemos tanto medir clicks u otros indicadores (datos cuantitativos) como luego pedirles que respondan una encuesta con estos datos cualitativos para recoger feedback más profundo.

Hablar con los usuarios, o bien cara a cara, o mediante encuestas, haciéndoles las preguntas adecuadas y sin condicionar su respuesta, es una herramienta súper poderosa.

Mapas de calor y grabación de sesiones

Una forma de recoger datos cualitativos sin pedirle feedback directo al usuario es utilizando herramientas que nos permiten ver mapas de calor o incluso grabar sesiones completas con el comportamiento de los usuarios en nuestro sitio.

Herramientas como Clarity nos dan esto de forma gratuita bajando las barreras de entrada, así que la tecnología no es una excusa.

Ver el comportamiento agregado o individualizado de los usuarios frente a nuestro producto o los experimentos que realizamos en nuestro producto nos puede dar insights muy directos y con muy poquito tráfico. Además, estas herramientas nos permiten responder a preguntas muy concretas que podemos hacernos al poder visualizar claramente cuando un usuario se encuentra un bug, no encuentra una opción por mucho que mira y muchas otras situaciones que son más habituales de lo que parecen.

Smoke tests o “fake door” testing

Un smoke test se utiliza para validar el interés de los usuarios en una nueva funcionalidad, característica o producto antes de que se desarrolle completamente. Se presenta a los usuarios un botón, enlace o llamada a la acción, y se mide la cantidad de clics que recibe.

Cuando los usuarios hacen clic, a menudo se les presenta un mensaje que indica que la funcionalidad aún no está disponible, pero que pueden registrar su interés o recibir más información en el futuro.

El fake door testing es muy similar al smoke test. Se crea una "puerta falsa" o una opción en la interfaz del usuario que, al hacer clic, lleva a una página que informa que la funcionalidad aún no está disponible o está en desarrollo. Esto ayuda a medir el interés del usuario sin haber desarrollado realmente la funcionalidad.

Ambos enfoques nos permiten experimentar el interés de ideas con las que estemos jugando antes de ponernos a invertir recursos en desarrollar esas ideas, y no requieren de mucho tráfico para ofrecernos datos relevantes. Muy a menudo enseguida nos damos cuenta que nuestra idea no le importa a nadie.

Experimenta o muere

Espero que esta edición de la newsletter de Disaaster te haya abierto los ojos a distintos enfoques con los que podemos hacer experimentos para mejorar tanto las páginas de marketing de nuestro SaaS como nuestro propio producto sin necesidad de tener mucho tráfico. Existen muchas más técnicas que pueden complementar esta “caja de herramientas” que te he dejado por aquí, así que hay un mundo por descubrir si te subes al carro de la experimentación.

Para mi la experimentación es el motor del crecimiento de cualquier empresa, por eso ando escribiendo el libro “Experimenta o muere: El futuro de los negocios en la era de la incertidumbre” , donde profundizamos muchísimo más sobre cómo usar la experimentación a nivel concreto y a nivel cultural para mejorar tu negocio. Si nos echas un cable en la campaña de Crowdfunding , nos vendrá genial para seguir dándole mucha caña.