🚀New from Meta FAIR: today we’re introducing Seamless Interaction, a research project dedicated to modeling interpersonal dynamics. The project features a family of audiovisual behavioral models, developed in collaboration with Meta’s Codec Avatars lab + Core AI lab, that render speech between two individuals into diverse, expressive full-body gestures and active listening behaviors, allowing the creation of fully embodied avatars in 2D and 3D. These models have potential to create more natural, interactive virtual agents that can engage in human-like social interactions across a variety of settings. Learn more:

De asemenea, lansăm public Setul de date de interacțiune fără întreruperi, cu 4.000+ participanți și 4.000+ ore de interacțiuni, făcându-l cel mai mare set de date video cunoscut de acest gen. Acest set de date permite modelelor noastre comportamentale audiovizuale să înțeleagă și să genereze comportamente sociale asemănătoare oamenilor și reprezintă o piatră de temelie crucială pentru înțelegerea și modelarea modului în care oamenii comunică și se comportă atunci când sunt împreună. Îl împărtășim aici pentru a ajuta comunitatea de cercetare să-și avanseze munca:

Încă ceva... De asemenea, puteți consulta acest raport tehnic care detaliază metodologia noastră de a construi modele de mișcare pe setul de date, împreună cu un cadru de evaluare pentru acest tip de model:

Accesați blogul nostru pentru a aprofunda povestea completă: