¿Cómo sé si mi IA sigue funcionando bien?
La tecnología tradicional es determinística: ante la misma entrada siempre existe una misma salida. Pero los modelos de IA no lo son. Razonan con un contexto, y si ese contexto no se cuida, la calidad de las respuestas puede ir deteriorándose. Lo que antes era una respuesta correcta puede dejar de serlo, y un indicador como la satisfacción del cliente empieza a caer de a poco.
En ese punto aparece el riesgo de que nadie lo note a tiempo, cuando las organizaciones miden los resultados en los primeros meses y los celebran, pero dejan el modelo en producción sin seguimiento.
En este episodio de nuestro vlog “Off the record”, te contamos qué es la observabilidad de IA y cómo se degrada un modelo de IA. Vas a aprender que los modelos de IA no son determinísticos y pueden degradarse con el tiempo; que la observabilidad mide calidad, consumo, sesgos y disponibilidad de forma automática, que sostener un modelo en producción requiere más esfuerzo que construirlo, y que lo que se observa puede cambiar incluso el caso de negocio original.
Qué es la observabilidad de IA
Es la capacidad de medir, de forma automática, cómo se comporta un modelo en producción: la calidad de las respuestas y su cantidad, consumo, sesgos y disponibilidad. Con esas métricas se definen alertas y se decide cuándo ajustar, aplicar “fine tuning” o reentrenar. También permite responder a los organismos reguladores, que piden evidencia sobre sesgos, calidad y disponibilidad.
El esfuerzo que más se subestima
El desarrollo es lo que, en general, demanda menos esfuerzo. Pero, una vez en producción, un modelo necesita más atención que durante su construcción, con observabilidad, un equipo de soporte y gobierno. Como ejemplo, un equipo de dos personas que desarrolla una solución puede necesitar cuatro para mantenerla.
Un ejemplo: cuando la observación cambia el caso de negocio
En un proyecto con un agente conversacional comercial, el objetivo inicial era mejorar la conversión de potenciales clientes. Al leer las conversaciones, el equipo vio que los usuarios necesitaban sobre todo ayuda para usar la herramienta. Cambió el discurso del agente, amplió el alcance a otros usuarios, ajustó una pieza tecnológica para responder más rápido y sumó el canal web. Todo eso se descubrió porque alguien estaba mirando.
