La percezione condivisa e il senso dello spazio sono ciò che risolverà questo.

Vision epica per il posizionamento spaziale, se sei uno sviluppatore di Realtà Aumentata, guardalo, DUE VOLTE. Non è troppo tecnico, si tratta della visione di come le nostre app *dovrebbero funzionare. Niente più far partire l'utente da zero, tutti gli asset 3D rimangono dove li hanno lasciati, fondendoli nello spazio reale.

𝗜'𝘃𝗲 𝗵𝗲𝗮𝗿𝗱 𝘁𝗵𝗶𝘀 𝗮 𝗹𝗼𝘁 𝗿𝗲𝗰𝗲𝗻𝘁𝗹𝘆: "𝗪𝗲 𝘁𝗿𝗮𝗶𝗻𝗲𝗱 𝗼𝘂𝗿 𝗿𝗼𝗯𝗼𝘁 𝗼𝗻 𝗼𝗻𝗲 𝗼𝗯𝗷𝗲𝗰𝘁 𝗮𝗻𝗱 𝗶𝘁 𝗴𝗲𝗻𝗲𝗿𝗮𝗹𝗶𝘀𝗲𝗱 𝘁𝗼 𝗮 𝗻𝗼𝘃𝗲𝗹 𝗼𝗯𝗷𝗲𝗰𝘁 - 𝘁𝗵𝗲𝘀𝗲 𝗻𝗲𝘄 𝗩𝗟𝗔 𝗺𝗼𝗱𝗲𝗹𝘀 𝗮𝗿𝗲 𝗰𝗿𝗮𝘇𝘆!" Parliamo di cosa sta realmente accadendo in quella parte "A" (Azione) del tuo modello VLA. I componenti Vision e Language? Sono incredibili. Pre-addestrati su dati su scala internet, comprendono oggetti, relazioni spaziali e istruzioni di compito meglio che mai. Ma il componente Azione? Quello è ancora appreso da zero sulle tue specifiche dimostrazioni robotiche. 𝗛𝗲𝗿𝗲'𝘀 𝘁𝗵𝗲 𝗿𝗲𝗮𝗹𝗶𝘁𝘆: Il tuo modello VLA ha una comprensione su scala internet di come appare un cacciavite e di cosa significa "stringere la vite". Ma il reale schema motorio per "ruotare il polso mentre si applica pressione verso il basso"? Quello proviene dalle tue 500 dimostrazioni robotiche. 𝗪𝗵𝗮𝘁 𝘁𝗵𝗶𝘀 𝗺𝗲𝗮𝗻𝘀 𝗳𝗼𝗿 "𝗴𝗲𝗻𝗲𝗿𝗮𝗹𝗶𝘀𝗮𝘁𝗶𝗼𝗻":   • 𝗩𝗶𝘀𝗶𝗼𝗻 𝗴𝗲𝗻𝗲𝗿𝗮𝗹𝗶𝘀𝗮𝘁𝗶𝗼𝗻: Riconosce oggetti nuovi istantaneamente (grazie al pre-addestramento)   • 𝗟𝗮𝗻𝗴𝘂𝗮𝗴𝗲 𝗴𝗲𝗻𝗲𝗿𝗮𝗹𝗶𝘀𝗮𝘁𝗶𝗼𝗻: Comprende nuove istruzioni di compito (grazie al pre-addestramento)   • 𝗔𝗰𝘁𝗶𝗼𝗻 𝗴𝗲𝗻𝗲𝗿𝗮𝗹𝗶𝘀𝗮𝘁𝗶𝗼𝗻: Ancora limitato a schemi motori visti durante l'addestramento del robot Chiedi a quel robot di "svitare il tappo della bottiglia" e fallisce perché: • Vision: Riconosce bottiglia e tappo • Language: Comprende "svitare" • Action: Non ha mai appreso lo schema motorio "ruotare mentre si tira" 𝗧𝗵𝗲 𝗵𝗮𝗿𝗱 𝘁𝗿𝘂𝘁𝗵 𝗮𝗯𝗼𝘂𝘁 𝗩𝗟𝗔 𝗺𝗼𝗱𝗲𝗹𝘀: Il "VL" ti offre un'incredibile comprensione zero-shot. L'"A" richiede ancora dimostrazioni specifiche per il compito. Abbiamo risolto il problema della percezione e del ragionamento. Non abbiamo risolto il problema della generalizzazione motoria.

"L'augmentazione sorride agli ambiziosi" - @caydengineer 🧵

Stiamo costruendo un nuovo internet per la robotica e la XR, per rendere il mondo fisico accessibile all'IA. Nel video di quest'anno sullo Stato della Rete Auki evidenziamo alcune delle cose straordinarie già in fase di costruzione sulla rete decentralizzata di percezione delle macchine:

Auki Labs sta costruendo il web del mondo reale: un protocollo di computing spaziale che consente a IA e robot di navigare, interrogare e interagire con il mondo fisico con la stessa facilità con cui i browser fanno con il web digitale.

Nel 2009, Charlie Rose chiese a Jensen Huang di Nvidia contro Intel. I produttori di chip non stavano competendo direttamente, ma Jensen disse che la GPU contro la CPU era una "battaglia per l'anima" del computing e che le GPU sarebbero state "più rilevanti" col tempo. Intel valeva 100 miliardi di dollari e Nvidia era a 4 miliardi. Oggi, Intel è a 107 miliardi mentre Nvidia vale circa 1.000 volte di più a 4,4 trilioni.

Un drone per consegne che trasportava un pacco è appena passato davanti alla mia finestra a Shenzhen.

Mio figlio di due anni mi colpisce accidentalmente nei testicoli a letto. Io: Ahi, fa male. Non colpirmi nel pisellino. Lui: Puoi soffiare sul pisellino di Pappa, mamma? Che campione.

"Sapevo del potenziale dell'IA, della Realtà Aumentata, dei robot e così via, ma non pensavo fosse già qui e ora!" -Cliente Fortune Europe 300, vedendo Auki dal vivo nel suo locale