Cómo crear productos de IA

Vivimos en una era en la que cualquier producto tiene que tener funcionalidades basadas en la Inteligencia Artificial para considerarse completo. No solo eso, casi cualquier producto tiene que tener un chatbot incrustado y tiene que hablar de IA en casi cada landing page.

Pero hay cosas para las que los LLM son útiles y cosas para las que son bastante lerdos. Así que hoy vamos a hablar sobre cómo y, sobre todo, cuándo deberíamos utilizar la Inteligencia Artificial dentro de nuestro producto.

La naturaleza de los LLM

Los LLM tienen unas características muy determinadas que les permiten ser muy buenos en ciertas tareas. Las tres principales para el caso que nos ocupa serían:

• Generar contenido: casi de cualquier tipo, imágenes, texto, código.
• Analizar datos: para los humanos no es sencillo analizar grandes cantidades de datos porque nuestro contexto mental no es gigante, pero el contexto de los LLMs aumenta cada mes.
• Resumir: sobre todo cosas pequeñas. Es cierto que cuando resume cosas gigantes puede alucinar o no encontrar los elementos clave, pero para cosas pequeñas funciona muy bien.

También tienen otras dos características muy importantes y que son relevantes a la hora de decidir en qué usarlos y en qué no:

• Alucinan: todos sabemos que, por la tecnología de base con la que están diseñados, los LLM flipan. Y hay cosas para las que flipar puede ser muy malo. Por ejemplo presentar impuestos.
• Cuestan dinero: esto es muy importante y aunque la tendencia va a que sean más baratos, convertir tu producto en uno que sea utilice la IA de forma intensiva puede reventar tus márgenes a lo grande.

Si tienes una empresa de software y quieres transformarla en una empresa de IA, hay algo muy importante que tienes que tener en cuenta: el coste por usuario va a ser el mismo –o muy similar– tengas un usuario o tengas cien. La economía de escala no aplica demasiado cuando lo que tienes que escalar son llamadas pagadas a un tercero.

No todo tiene que ser un chatbot

Después de que ChatGPT lo haya reventado, todo el mundo ha empezado a lanzar sus chatbots: Gemini y Claude prácticamente fusilaron el funcionamiento del pionero. Al convertirse esta interfaz en el estándar de la comunicación con la inteligencia artificial, muchos SaaS han introducido interfaces conversacionales dentro de sus productos.

Y, aunque en algunos casos, pueden resultar bastante útiles hay muchísimos escenarios en los usar un Chatbot es matar moscas a cañonazos. Además, hacer que el usuario se enfrente a un campo de texto libre puede hacer que tenga el síndrome del folio en blanco y se bloquee.

Creo que, según vaya madurando el sector, iremos viendo menos Chatbots y más funcionalidades que utilicen la IA de forma no transparente al usuario.

Por ejemplo, Mixpanel te permite preguntarle a las gráficas que estás viendo en pantalla cosas. Es una interfaz conversacional pero lo que realmente está haciendo es recoger un texto y traducirlo hacia todos los filtros que puedes aplicar a los datos:

Otro buen ejemplo es el filtro que Adobe utiliza para borrar elementos de las fotos. Una funcionalidad que la IA ha potenciado mucho para que funcione bien pero que se aleja mucho del tradicional campo de texto abierto para pedir algo.

Hay muchas cosas que se pueden hacer bastante bien con la inteligencia artificial sin que el usuario lo perciba:

• Personalización: es mucho más sencillo entender quién es nuestro usuario y encontrar información sobre él para adaptar el onboarding que antes.
• Insights valiosos: analizar las tendencias de uso de nuestros usuarios y ofrecerles información cualitativa sobre cómo mejorar su uso de la aplicación o en qué datos debería fijarse es trivial con un LLM.
• Automatización: Hay tareas absurdas que llevan tiempo a nuestros usuarios y que suponen un engorro que son fácilmente automatizables utilizando IA. Por ejemplo, crear un ticket de Linear utilizando Slack en lugar de rellenando un formulario de diez campos:

• Mejorar una interfaz compleja: que los usuarios no entienden y que les puede costar utilizar. Por ejemplo, Explorations en Tinybird te permite explorar tus datos sin necesidad de saber SQL.

Qué cosas deberías evitar

• No ataques un problema gigante. Intenta empezar por resolver problemas pequeños en lugar de uno gigante. La clave de los productos que utilizan bien la IA es que la utilizan para tareas muy concretas. Si quieres añadir IA a tu producto, piensa en qué partes podría haber una mejora, no pongas un chatbot que lo sustituya todo. Por ejemplo, no intentes hacer un asistente que gestione todo el ciclo de ventas: prospección, cualificación, demos, negociación y cierre. Empieza por algo pequeño, como redactar el primer email de prospección basándose en el perfil de LinkedIn del lead.
• No utilices solamente IA, mézclalo con otras técnicas. Pretender tirarle un problema complejo a un LLM y que te dé una solución interesante es mucho esperar. Divide el problema, decide qué partes se pueden hacer con tecnología "tradicional" y en qué pequeñas partes puede brillar el LLM. De otra forma acabarás teniendo un LLM que dice generalidades. Por ejemplo, si quieres predecir qué usuarios van a hacer churn de un producto, no le pidas al LLM que analice todos los datos y te dé la respuesta. Usa queries tradicionales para calcular métricas de engagement y pásale esos datos estructurados al LLM para que genere un resumen en lenguaje natural y sugiera acciones concretas.
• No luches contra el algoritmo. Si lo que hace tu producto es mejorar algo a lo que ahora mismo no llega el LLM, tu producto va a desaparecer pronto. Esta se la he robado a Omar Pera , pero tienes que ponerte contento cuando haya una actualización, no temer que vas a desaparecer en cada Keynote de OpenAI. Por ejemplo, si tu producto se basa en corregir las alucinaciones de ChatGPT o en ponerle una interfaz bonita encima sin añadir contexto propio, cada mejora del modelo base te acerca al cierre. En cambio, productos como Cursor aprovechan las mejoras del modelo para dar mejores resultados: cuanto mejor sea Claude o GPT, mejor funciona su producto.

Qué cosas te mejorarán la vida

• Proporciona todo el contexto que puedas. la diferencia principal entre un producto de IA chusquero y uno muy interesante es el contexto que se proporciona. Añade toda la información que puedas a las instrucciones que va a recibir el LLM: quién es tu usuario, información relacionada que busques online, en qué parte de producto está, qué es lo que está viendo en la pantalla, cómo debe comportarse, cómo no debe hacerlo. Tendemos a que nuestros prompts sean de dos frases y para hacer algo realmente interesante necesitas que sean de decenas.
• Piensa que tu trabajo es encontrar toda la información que puedas para dársela al modelo y que este funcione bien. Puede ser información privada que solamente tenga tu producto –esto es óptimo porque así te diferenciarás de la competencia– o información pública.
• Mucha gente cree que la verdadera ventaja competitiva está en hacer fine-tuning de un modelo y entrenarlo para el caso de uso específico que se necesita. Pero en muchos casos es algo completamente overkill: cuesta más caro y conseguir datos de entrenamiento adecuados es complejo. Por eso el camino inicial debe ser mejorar el contexto y el prompt, antes de embarcarse en el fine-tuning o en la creación de modelos.
• Juega a favor del algoritmo: tu producto debe ser mejor cuanto más mejore el algoritmo, no al revés.
• Aunque “solo” seas un wrapper, tienes que ser un buen wrapper. Si todos tenemos acceso a los mismos LLMs, lo que va a ser diferencial es lo que no sean los LLMs: contexto, UX, velocidad, fiabilidad o exactitud son algunas de las cosas que seguirán siendo claves.

Prepárate para el error, porque sucederá

La naturaleza de los LLM hace que alucinen. Y es un problema que no se va a solucionar pronto. Además, como no son deterministas, cada vez van a proporcionar una respuesta diferente. Por eso hay varias estrategias útiles para detectar cuando se nos está yendo de madre el sistema:

• Solicita feedback de los usuarios: lo típico de poner un dedito arriba o abajo para valorar la respuesta es una medida útil para detectar cuando la calidad está flaqueando. El problema es que no siempre es sencillo que los usuarios den feedback y tienden a ser más proclives a dar feedback malo.
• Realiza tests de forma habitual: prepara determinados escenarios en los que sepas cómo debe comportarse tu sistema y ejecútalos de forma periódica para comprobar que los cambios que se van introduciendo no están perjudicando el funcionamiento. Automatízalo y ejecútalo periódicamente.
• Similitud semántica: aunque la respuesta no sea la misma, puedes utilizar herramientas que calculen la distancia semántica utilizando embeddings.
• Puedes utilizar un LLM para analizar las respuestas: coger una muestra de las respuestas y hacer que un LLM compruebe que son correctas es una buena práctica para detectar cuando la cosa empieza a torcerse. Es el método más efectivo y más escalable pero también es el más caro.