¿Me va a llegar una factura impagable por mi IA?
“Tokens o licencia” es la primera decisión que hay que tomar al contratar inteligencia artificial. Los modelos de IA pueden consumirse de esas dos maneras: por tokens, sin tope, modalidad en la que se paga lo que se usa y el límite lo pone el gobierno de la organización; o por licencia de uso, en donde hay un techo y, cuando se alcanza, el servicio se corta.
La licencia evita sorpresas en la factura, aunque puede interrumpir el servicio. Los tokens dan más libertad, pero exigen gobierno y observabilidad.
En este video hablamos sobre los riesgos distintos que implican las dos formas de contratación, cómo los límites por usuario, caché y guardrails reducen el consumo, cómo medir que el caso de negocio cierre con un gasto máximo mensual definido, y aspectos que hacen de la observabilidad y la flexibilidad condiciones clave.
Cómo se limita el consumo
Hay varias técnicas. Una es poner límites por usuario: en un chatbot bancario de consulta de saldos, por ejemplo, se limita el consumo de cada usuario para que preguntas ajenas al servicio no disparen el gasto.
Otra es el caché de respuestas: si varios usuarios hacen la misma pregunta con palabras distintas, una capa intermedia detecta que es lo mismo y responde con la respuesta ya guardada, sin volver a consultar el modelo. Es eficiente, aunque técnicamente compleja.
Y están los guardrails, que ponen límites al costo, al tipo de consumo y al tipo de respuestas.
El caso de negocio manda
Antes de empezar conviene definir cuánto se puede gastar por mes para que el caso sea rentable y estimar el consumo por usuario. Si con el volumen esperado el gasto supera ese techo, el caso no debería arrancar. Y no todos los casos de negocio necesitan un modelo nuevo: priorizar es la primera defensa del presupuesto.
Por qué no se puede proyectar con exactitud
Los precios, las versiones y las políticas de los proveedores cambian durante el proyecto. Lo calculado al inicio puede no valer al final. Lo que sí se puede hacer es proyectar sobre el consumo real, observarlo de forma continua y no depender de un único modelo, para poder cambiar cuando aparece una alternativa mejor o más barata.
