Lo que aprendimos tras 6 semanas de A/B testing en nuestra homepage

En Contentsquare, nuestro sitio web nunca es simplemente un sitio web. Cuando creas un producto que ayuda a las marcas a entender cómo se comportan sus usuarios online, tu propio sitio se convierte en tu caso de estudio más visible. Así que, cuando tuvimos una hipótesis —que una experiencia conversacional impulsada por IA podía superar al hero estándar de nuestra homepage—, no nos pusimos a debatir. Lo probamos.

Durante seis semanas, ejecutamos un A/B test 50/50 en nuestro sitio en inglés para desktop. Una variante era nuestra homepage estándar. La otra sustituía el hero por un chatbot de IA en vivo con prompts prediseñados y un mayor foco visual en el producto. Lo medimos todo con nuestra propia plataforma.

Esto fue lo que descubrimos.

Insights clave

• +35 % de aumento en el tiempo de sesión en la variante con chatbot de IA, superando nuestro objetivo del +20-30 % desde el primer día.

• Incluso una tasa de interacción del 2 % puede validar un concepto Solo el 2 % de los visitantes llegó al chatbot, pero quienes lo hicieron pasaron casi 2 minutos en una conversación de alta intención.

• Saber quién está realmente en tu página lo cambia todo El elemento con más clics en nuestra homepage estándar fue el botón de Login (22,8 % de los clics). Separar el tráfico de clientes existentes del tráfico de nuevos prospects te ofrece una lectura mucho más realista del rendimiento de conversión.

• El fold real está en torno a los 1400 px, por muy bueno que sea tu diseño Ambas variantes perdieron a la mayoría de los visitantes en la misma profundidad de scroll. Si tus CTA más potentes están por debajo de esa línea, la mayoría de los visitantes nunca los verán.

• La búsqueda con IA ya te está enviando tráfico, aunque no lo estés midiendo ChatGPT generó visitas orgánicas a nuestra página de prueba sin que lo hubiéramos buscado. Las marcas B2B SaaS que crean contenido conversacional y legible para la IA están construyendo ahora mismo, casi sin hacer ruido, un nuevo canal de descubrimiento.

Por qué hicimos este test

Nuestra homepage estándar cumplía su función. El tráfico era saludable, las solicitudes de demo llegaban y la narrativa de marca era clara. Pero “cumplir su función” no es un listón muy alto para una empresa que cree que la experiencia digital es una ventaja competitiva.

Cuando analizamos la página con honestidad, vimos un problema conocido: estaba pensada para visitantes que ya conocían el producto. Para todos los demás —por ejemplo, un prospect que llega desde paid social con un problema de negocio real y sin contexto previo—, la página les pedía que se identificaran, que navegaran por nuestra taxonomía de plataforma y que averiguaran qué solución encajaba con ellos. Es mucho trabajo cognitivo antes incluso de llegar a una CTA.

Nuestra hipótesis era: ¿y si, en lugar de explicar qué hacemos, preguntáramos a los visitantes qué necesitan?

La variante AI Hero sustituyó el hero estático de la homepage por una interfaz conversacional. Los visitantes podían elegir entre prompts prediseñados, como “¿Cómo demuestro el ROI a mis stakeholders?” o “¿Por qué debería cambiarme a Contentsquare?”, o escribir su propia pregunta. Después, el producto respondía con contexto relevante y les guiaba hacia una solicitud de demo o un registro.

Qué mostraron los datos

Engagement: superamos nuestro propio objetivo

Desde el primer día, AI Hero superó nuestros objetivos de engagement. Habíamos fijado un objetivo de +20-30 % en el tiempo de sesión. La variante consiguió un +35 %.

Los usuarios de AI Hero pasaron menos tiempo en la homepage en sí —35 s frente a 37,1 s en la versión estándar—, pero mucho más tiempo explorando el resto del sitio: una media de 7 minutos y 49 segundos frente a 7 minutos y 6 segundos. Eso no es un usuario confundido. Es alguien que encontró algo relevante y siguió avanzando.

Los elementos interactivos específicos dentro de la página de AI Hero alcanzaron una tasa de engagement del 68 %, muy por encima del punto medio del benchmark del sector B2B de 2026, que ronda el 55 %.

Conversión: ganó la homepage estándar, pero no por las razones que asumimos

Durante las primeras cuatro semanas, la homepage estándar generó más solicitudes de demo. La diferencia empezó en un -34,7 % en la primera semana y se redujo hasta aproximadamente un -26 % en la cuarta. La tendencia mejoraba, pero seguía por detrás.

Nuestra primera intuición fue que el chatbot distraía demasiado. Pero cuando profundizamos en los datos de comportamiento en Contentsquare, surgió una historia distinta.

El elemento con más clics en la homepage estándar no fue “Book a demo”. Fue el botón de Login, con el 22,8 % de todos los clics.

Eso significa que una parte considerable del tráfico “convertidor” de la homepage estándar eran clientes existentes que no tenían ninguna intención de rellenar un formulario de demo. Si los excluimos, la diferencia de conversión entre ambas variantes se reduce de forma considerable.

Mientras tanto, AI Hero tuvo una tasa de actividad del 53 %, frente al 23 % de la versión estándar. Los visitantes de la versión estándar leían y se iban. Los visitantes de AI Hero interactuaban y exploraban.

El funnel del chatbot: el hallazgo estructural más importante

Solo el 1,9 % de los visitantes de la página AI Hero llegó al chatbot.

Ese dato nos hizo detenernos.

Del pequeño grupo que sí interactuó con él, la experiencia fue excelente: pasaron casi dos minutos en conversación, haciendo preguntas de alta intención, como cómo construir un business case para invertir en UX o cómo se compara Contentsquare con otras alternativas. No eran visitantes casuales. Eran compradores activos.

Pero el 98 % de los visitantes nunca llegó hasta ahí.

El diagnóstico: el hero era visualmente complejo. Una captura de pantalla del dashboard, varios elementos interactivos y una interfaz de chatbot competían por la atención en el mismo viewport. Los usuarios lo veían, decidían no interactuar y hacían scroll o rebotaban. Habíamos diseñado para una minoría curiosa y habíamos dejado de atender a una mayoría indecisa.

Este fue el dato más aleccionador de todo el test. Una funcionalidad puede ser brillante para quienes la usan y completamente invisible para todos los demás.

Qué revelaron nuestros datos de scroll

Con Zone-based Heatmaps y Session Replay, descubrimos algo que se aplicaba por igual a ambas variantes: las dos páginas perdían a la mayoría de los visitantes en la misma profundidad de scroll, alrededor de 1400 px, aproximadamente el 29 % de la altura total de la página.

Todo lo que estaba por debajo de esa línea lo vio menos del 30 % de los visitantes.

No fue un hallazgo sobre qué variante era mejor. Fue un hallazgo sobre la homepage como formato. La batalla por la atención se gana o se pierde en la primera pantalla; todo lo demás está ahí para la minoría que decide quedarse.

Un descubrimiento inesperado: ChatGPT como canal orgánico

En la tercera semana, detectamos tráfico referido hacia la página AI Hero desde ChatGPT. No procedía de campañas de pago, sino de usuarios que habían preguntado a un asistente de IA sobre analítica de la experiencia digital y habían sido dirigidos a nuestra página.

Se trata de un canal de descubrimiento que apenas existía hace 18 meses. Nuestro test lo sacó a la luz sin haberlo planificado. Es una señal que merece observarse con mucha atención.

Qué aprendimos sobre el testing en sí

Ejecutar este experimento nos enseñó tanto sobre cómo hacer testing como sobre nuestra homepage.

La estacionalidad existe. En la segunda semana vimos una caída significativa de los clics, no porque la variante estuviera fallando, sino por el Memorial Day y los festivos bancarios en EMEA. Si hubiéramos sacado conclusiones en la segunda semana, habríamos tomado la decisión equivocada. Las ventanas de test demasiado cortas son peligrosas.

La significación estadística lleva tiempo. En la primera semana, la diferencia en solicitudes de demo entre variantes fue de 13 frente a 22 envíos. Parece relevante. No lo es. El volumen era demasiado pequeño para concluir nada. Esperar a tener significación en lugar de actuar sobre señales direccionales tempranas es realmente difícil, y realmente necesario.

El test se convirtió en un motor de inteligencia cualitativa. El chatbot registró 582 conversaciones en 17 días. Los visitantes nos dijeron, con sus propias palabras, qué problemas necesitaban resolver. Sin encuesta. Sin focus group. Solo una ventana en vivo a la intención real de los compradores: una señal cuyo valor va mucho más allá del A/B test en sí.

La seguridad es innegociable en cualquier homepage. Registramos 24 intentos estructurados de prompt injection durante las dos primeras semanas. Si tu sitio web se está convirtiendo en una superficie de IA, tu postura de seguridad tiene que evolucionar con él.

La respuesta no es A o B. Es lo que A y B te enseñaron.

Después de seis semanas, nuestra conclusión no es que ganara AI Hero ni que ganara la homepage estándar. Es que ahora sabemos lo suficiente para construir algo mejor que cualquiera de las dos.

La homepage estándar tiene una arquitectura de conversión sólida. Su hero impulsa una intención de CTA clara y canaliza de forma eficiente a los visitantes con alta intención. Su debilidad: es, en esencia, un único momento decisivo. Los visitantes que no hacen clic en la parte superior tienden a desconectar.

AI Hero tiene una mayor calidad de engagement. Construye intención de forma progresiva, educa con más eficacia y su storytelling de producto a mitad de página es claramente mejor en términos medibles. Su debilidad: el hero genera demasiada complejidad visual con muy poca claridad inmediata sobre qué hace Contentsquare y para quién.

La homepage óptima es un híbrido: la urgencia visual y la prominencia de la CTA de la versión estándar, combinadas con la educación progresiva y la profundidad interactiva de la variante de IA.

Eso será la versión dos.

Por qué esto importa más allá de nuestra homepage

Lo más peligroso que puede hacer un equipo de marketing es optimizar para el visitante que imagina, en lugar de para el visitante que realmente llega.

Nuestro test reveló que una parte significativa del tráfico de nuestra homepage ni siquiera son prospects: son clientes existentes que inician sesión, empleados internos y visitantes casuales que nunca convertirán, por muy bueno que sea el titular. Entender esto cambia la forma en que interpretas cada métrica de la página.

También reveló que los visitantes que más nos interesan —compradores activos con un problema específico y una intención real de cambiar— están desatendidos por una página diseñada para explicar en lugar de interactuar. Llegan con una pregunta. Merecen una respuesta.

El testing es la única forma de cerrar la brecha entre la experiencia que crees que estás ofreciendo y la que tus visitantes están viviendo realmente.

En Contentsquare, creamos herramientas para ayudar a las marcas a entender esa brecha. Ejecutar este test en nuestra propia homepage fue un recordatorio de que nadie está exento de ella, ni siquiera nosotros.