Meta actualiza su proyecto Ego-Exo para avanzar en la investigación de la IA y mejorar la perspectiva en primera persona

Meta ha anunciado nuevos proyectos en el ámbito de la Inteligencia Artificial (IA) y la actualización de su iniciativa Ego-Exo, destinada a resolver los desafíos que presenta la tecnología enfocada a ofrecer perspectiva en primera persona.

La compañía celebra estos días el décimo aniversario del equipo de Investigación Fundamental de la IA (FAIR, por sus siglas en inglés), que “ha estado a la vanguardia de numerosos avances científicos”, según ha explicado en un comunicado.

En este también ha subrayado que este conjunto de expertos es “una pieza fundamental para el éxito de Meta” y que gracias a su trabajo, ha podido constribuir “a constuir el futuro de la conexión social”.

Uno de sus últimos avances en este campo es Voicebox, un modelo de IA que presentó en junio de este año y tiene la capacidad de realizar tareas de generación de voz, así como clips de audio de alta calidad.

Ahora, la firma ha presentado a su sucesor, Audiobox, que registra indicaciones de voz o entradas de texto que describan los sonidos o tipos de habla que se quieran generar de forma personalizada.

Otra de las novedades que vienen con el décimo aniversario de FAIR es Seamless Communication, que Meta ha desarrollado basándose en SeamlessM4T para crear un conjunto de modelos de traducción de IA adaptado a diferentes idiomas.

En concreto, esta herramienta tiene soporte para inglés, español, alemán, francés, italiano y chino y “preserva la emoción y el estilo del hablante”, además de abordar la velocidad y el ritmo del habla.

SeamlessStreaming, por su parte, desbloquea conversaciones en tiempo real con otras personas que hablan idiomas diferentes. A diferencia de los sistemas convencionales, que traducen una vez el orador ha terminado de hablar, este lo hace durante su discurso para permitir al oyente acceder a la traducción de forma instantánea.

Para terminar, Meta ha explicado cómo está avanzando en materia de investigación de la llamada perspectiva en primera persona, también conocida como percepción egocéntrica, que trata de enseñar a la IA a interactuar con el mundo de forma realista, tal y como hacen los humanos.

Este proyecto, llamado Ego-Exo y en el que trabaja desde 2021, se ha actualizado a Ego-Exo4D para capturar simultáneamente las vistas en primera persona desde una cámara portátil, así como las externas o exocéntricas de cámaras que rodean al usuario.

Esta combinación da a los modelos de IA “una ventana a lo que la gente ve y escucha, combinada con más contexto sobre el entorno”, según ha explicado Meta en este escrito, que ha ejemplificado cómo espera materializar estos avances.

Gracias a ello, una persona que use visores inteligentes podrá adquirir nuevas habilidades con un entrenador virtual de IA, que le guiará a través de un vídeo instructivo para, por ejemplo, reparar la llanta de una bibicleta o hacer malabarismos con una pelota de fútbol.