Диффузия для всего! Мы делимся рецептом, как начать с предобученной авторегрессионной VLM и, с очень небольшими вычислительными затратами на обучение и несколькими хорошими трюками отжига, превратить её в SOTA диффузионную VLM. Исследования в области диффузии для языка развиваются очень быстро и, на мой взгляд, предоставляют столь же многообещающий путь к унификации модальностей, как и 'омни' авторегрессионные модели. Удивительная работа, проведенная @mariannearr @ServerProcessor этим летом.