La compañía tecnológica Meta desarrolló un modelo de inteligencia artificial (IA), llamado SAM 3D, que tiene la capacidad de reconocer personas y objetos y luego reconstruirlos en modelados formato 3D.
Seguidamente, estas creaciones podrán utilizarse en vídeos o exportarlos como modelados separados. Este nuevo modelo de inteligencia artificial es una variante del modelo base SAM 3.
En su página web, la empresa indicó que SAM 3 permite la detección y el seguimiento de objetos en imágenes y videos usando prompts de texto. Mientras que SAM 3D se encarga de la reconstrucción 3D de objetos y personas a partir de imágenes.
¿Cuáles son las novedades del modelo de IA de Meta SAM 3D?
El nuevo modelo es una herramienta que utiliza la tecnología de código abierto y permite crear objetos tridimensionales a partir de una sola imagen. A su vez, este sistema está compuesto por dos modelos.
El primero es SAM 3D Objects, el cual se especializa en reconstruir objetos y escenas del mundo físico. Adicionalmente se encuentra el SAM 3D Body, diseñado para estimar la forma y la estructura de los cuerpos de las personas.
En el primer modelo, el usuario tiene la opción de cargar una imagen y seleccionar los elementos que desea convertir en 3D. Luego, el sistema activará un modo de reconocimiento en el que identifica las características del objeto.
El siguiente paso que hará la herramienta será generar una máscara que el usuario podrá editar antes de extraer el modelo. Cabe destacar que el editor está en el Playground y cuenta con opciones para añadir efectos y exportar los modelos por separado o en un video.
En el caso de los humanos, el módulo de SAM 3D opera de la siguiente manera: primero identifica el modelo, luego genera una malla tridimensional aproximada con su correspondiente esqueleto, y finalmente ajusta la postura o pose de la figura.
Sin embargo, la herramienta de Meta diseñada para personas que se encuentra en la plataforma Playground no permite exportar o extraer los modelados 3D creados como en el caso de la versión Objetcs.
Según indicó Meta, ambos modelos ofrecen un rendimiento muy avanzado y robusto en la reconstrucción 3D guiada por Inteligencia Artificial. De hecho, la versión «Objects» demostró ser “significativamente superior” a los métodos de reconstrucción que existen actualmente.
¿Cómo funciona el modelo base?
En el caso de SAM 3, tiene la capacidad de reconocer objetos de imágenes y videos y realizarles un seguimiento. El factor clave es que funciona a base de prompts de texto, donde la persona puede escribir el nombre del objeto al que le desea hacer un seguimiento.
Esta herramienta resulta útil para las personas que se dedican a editar vídeos. En este sentido, solo tienen que escribir el nombre del objeto que quieren modificar en el prompt, y la IA se encargará automáticamente de seleccionarlo para que puedan hacer los cambios.
Las personas pueden probar los nuevos modelos de IA de Meta, SAM 3 y SAM 3D, en el Segment Anything Playground. Esta es la plataforma de la compañía que ofrece acceso a todos los modelos de última generación, sin necesidad de experiencia técnica.
Información de Meta / redacción Tecnoflash
No dejes de leer: X estrena Chat para mensajes cifrados: ¿Es segura la nueva función?
Usa la tecnología con inteligencia, únete a nuestras redes sociales hoy