Investigación del Dr. Yu Sun: Avanzando la IA con Cómputo Hiperbólico El Dr. Yu Sun, junto a investigadores de Stanford, UC Berkeley, UCSD y UT Austin, está empujando la frontera de la IA generativa utilizando la infraestructura de GPU de Hyperbolic Labs. Dos proyectos innovadores: generación de videos de un minuto y RNNs adaptativas. 🧵

Generación de videos de un minuto 🎥 La mayoría de los modelos de video como Sora y Veo tienen un límite de ~20s. El equipo de Sun introdujo capas de Entrenamiento en Tiempo de Prueba (TTT), estados neuronales adaptativos que evolucionan durante la inferencia, lo que hace posible crear videos de 1 minuto a partir de un solo aviso sin necesidad de edición posterior.

Infra y Resultados > 256× NVIDIA H100s a través de @hyperbolic_ai > Modelo: 5B param CogVideo-X > Longitud de contexto: 300,000 tokens > Tiempo de ejecución: 50 horas GPU > Conjunto de datos: 7 horas de dibujos animados storyboard > +34 Elo vs Mamba 2 de referencia > Documento 📄

RNNs con Estados Ocultos Expresivos 🔁 Los RNNs estándar se degradan más allá de 16k tokens. El equipo del Dr. Sun construyó TTT-Linear y TTT-MLP: estados ocultos que son redes neuronales aprendibles. Estas se adaptan durante la inferencia utilizando auto-supervisión basada en gradientes.

Resultados > Longitud del contexto: 32,000 tokens > Escala del modelo: 125M a 1.3B parámetros > Aceleración del tiempo de ejecución: 5× a través de optimización de forma dual > Tiempo lineal, memoria constante > Supera o iguala a Transformer, Mamba, DeltaNet > Código:

Hyperbolic Infra = Facilitador de Investigación Los clústeres H100 de Hyperbolic, estables y de alto rendimiento, soportaron el procesamiento de 300k tokens, entornos persistentes para la optimización de bucles internos y recursos escalables para experimentos ajustados a FLOP.

"Las GPU H100 y los servicios de Hyperbolic proporcionaron la fiabilidad que nos permitió prototipar nuestra investigación en el entrenamiento en tiempo de prueba. Su infraestructura facilitó la escalabilidad de nuestros modelos para generar videos de un minuto a partir de guiones gráficos de texto. Pudimos centrarnos en la investigación en lugar de lidiar con problemas de infraestructura." — Dr. Yu Sun

El futuro de la IA generativa y el modelado de secuencias ya está aquí. Con capas TTT y computación escalable, se están desbloqueando nuevas fronteras. Alquila GPUs bajo demanda ahora en Consulta el blog completo: