¡Difusión para todo! Compartimos una receta para comenzar desde un VLM autorregresivo preentrenado y, con muy poco cómputo de entrenamiento y algunos buenos trucos de recocido, convertirlo en un VLM de difusión SOTA. La investigación en difusión para el lenguaje está avanzando muy rápido y, en mi opinión, ofrece un camino tan prometedor para unificar modalidades como los modelos autorregresivos 'omni'. Un trabajo increíble liderado por @mariannearr @ServerProcessor durante el verano.