«Entrenar en Python, servir en C++», Google mejora la IA de Python… eliminando Python

La relación entre Python e inteligencia artificial parece inseparable desde que se volvió un lenguaje de programación que se ha adaptado rápidamente a esta tecnología. No obstante, Google acaba de demostrar que entrenar modelos y ejecutarlos en producción no tiene por qué depender de la misma base. Por esto mismo es que la compañía ha presentado XLA Serving Engine (XSE), un nuevo componente de código abierto integrado en el ecosistema OpenXLA que permite desarrollar modelos de aprendizaje automático en Python y después desplegarlos sin necesidad de mantener el intérprete en el entorno de inferencia.

Con esto se puede lograr una ejecución más rápida sin tener que consumir tanta memoria, lo cual es muy bueno para responder a millones de consultas por segundo en servicios tan exigentes como Google Search, Google Ads o YouTube Shorts.

La creciente demanda de inferencia a gran escala ha llevado a empresas como Google, Microsoft o Meta a buscar alternativas que reduzcan costes operativos sin renunciar al rendimiento, y por eso es que proyectos como OpenXLA, JAX, ONNX Runtime o LibTorch son cada vez más importantes en la industria. Lo curioso es que «Google está mejorando la IA de Python eliminando Python«, según el experto Joab Jackson en The Register.

¿Qué es XSE y por qué Google quiere eliminar Python en la inferencia?

Aunque Python continúa siendo el lenguaje favorito de científicos de datos e ingenieros de aprendizaje automático gracias a su facilidad de uso y a bibliotecas como JAX, TensorFlow o PyTorch, su presencia en producción introduce una capa adicional de complejidad.

Cada solicitud debe atravesar el intérprete, lo que añade sobrecarga y limita el rendimiento cuando una aplicación necesita procesar millones de peticiones en tiempo real.

Con XSE, Google plantea una estrategia diferente: entrenar el modelo en Python y exportarlo posteriormente a una representación optimizada capaz de ejecutarse directamente sobre hardware objetivo sin depender del lenguaje original.

El proceso se apoya en StableHLO, una representación intermedia portátil incluida en OpenXLA. Los desarrolladores crean y entrenan sus modelos utilizando herramientas conocidas, pero una vez completado ese trabajo, los cálculos y los pesos se empaquetan en un formato denominado XLA SavedModel.

A partir de ahí, el motor de ejecución escrito en C++ compila el modelo para el procesador correspondiente y genera código nativo optimizado. En la práctica, Python desaparece de la ecuación durante la fase de inferencia.

Google asegura que esta aproximación ya está siendo utilizada internamente a gran escala. Según Nathan Beach, director de gestión de productos de la compañía, gran parte de la inferencia de producción no corresponde a chatbots o asistentes generativos, sino a tareas de clasificación, recomendación, ranking y visión por ordenador.

«El servicio LLM recibe la mayor parte de la atención en este momento, pero una cantidad significativa de inferencia de producción aún consiste en clasificación, recomendación, integración y modelos de visión», explicó el directivo.

Estas cargas de trabajo requieren respuestas casi instantáneas y presupuestos de latencia muy ajustados, un escenario donde eliminar el coste asociado a Python puede marcar una diferencia importante.

Cómo XSE multiplica el rendimiento de Search, Ads y YouTube sin cambiar los flujos de desarrollo en Python

La principal ventaja de XSE no está en sustituir Python durante el desarrollo, sino en conservar su flexibilidad y eliminar sus limitaciones cuando llega el momento de servir modelos a escala masiva. Según los datos compartidos por Google, el sistema ya gestiona más de seis millones de consultas por segundo en aplicaciones internas. Además, en pruebas con solicitudes cortas, XSE logró entre dos y cinco veces más rendimiento que su servidor Python optimizado, utilizando aproximadamente una cuarta parte de la memoria.

Este enfoque también busca ampliar la compatibilidad de OpenXLA. Los modelos exportados pueden ejecutarse sobre CPU, GPU y otros aceleradores compatibles.

Google trabaja junto a empresas como Arm e Intel para reforzar el ecosistema, aunque la compañía tampoco oculta su interés por impulsar el uso de sus propias TPU, diseñadas específicamente para cargas de inteligencia artificial.

El sector lleva años explorando caminos similares para resolver los cuellos de botella asociados al lenguaje. PyTorch dispone de LibTorch, su entorno de ejecución nativo en C++, y Microsoft lidera junto a otros socios el desarrollo de ONNX Runtime, una plataforma diseñada para ejecutar modelos optimizados sobre múltiples arquitecturas.