Alcune delle tecnologie dietro SAM 3D che mi entusiasmano particolarmente: 1⃣ I dataset 3D esistenti (Objaverse-XL, ProcTHOR, ecc.) sono ottimi per insegnare i "prior 3D" (forma e aspetto di base). Ma non sono sufficienti per colmare completamente il divario con il mondo reale, dove le scene sono ingombre, gli oggetti sono occlusi, piccoli e generalmente disordinati. 2⃣Entra in gioco il nostro motore di dati 3D con modello in loop: il modello ➜ prevede il 3D da immagini reali ➜ gli esseri umani verificano rapidamente i buoni candidati (solo sì/no) ➜ il 3D verificato torna nell'addestramento ➜ il modello migliorato rientra nel loop. Un ciclo virtuoso che aumenta la qualità dell'annotazione 3D, la velocità di etichettatura e le prestazioni del modello, senza richiedere strumenti 3D o competenze di design. 3⃣Gli obiettivi 3D sono complicati: nessuna perdita differenziabile in forma chiusa cattura completamente la "buona 3Dness" (simmetrie, morbidezza, completezza). Quindi prendiamo in prestito dal playbook LLM e post-addestriamo con dati di preferenza umana. Questo allineamento non si riflette quasi nei metriche (che ereditano le stesse limitazioni delle perdite) ma migliora drammaticamente la qualità percepita degli output 3D. Maggiori dettagli nel documento.

3Difica qualsiasi cosa da un'immagine singola! Siamo molto entusiasti di annunciare SAM 3D. Da un'immagine di input, seleziona qualsiasi oggetto tu voglia, 3Dificalo! Blog: Demo: