*Aggiunge l'investitore Figma alla bio.

Consiglio vivamente di candidarsi per lavorare con @jmj e @seidtweets! Sono persone e investitori incredibili!

Il 4 agosto ospiteremo il Theory Intelligence Day: conversazioni approfondite con esperti su agenti, stablecoin e sistemi di dati scalabili.

Come mi trova la tua email

I meme di oggi sono stati di un altro livello.

Non possiamo comprare Noah Shazeer per 1 miliardo, ma possiamo crearlo in aggregato.

Congratulazioni al team di Lance! Siamo entusiasti di lavorare con voi!

I miei pensieri per WSJ Venture Capital su quali attributi rendono un'azienda un forte candidato per andare in pubblico nel mercato odierno. Grazie @marcvarta!

@tryramp potete inserire i dati del mio calendario: titolo, partecipanti e quindi automatizzare i miei requisiti di spesa? io e il nostro stagista @pavitarsaini lo codificheremo questo fine settimana.

TL; DR: Abbiamo costruito un modello di base per i pagamenti basato su trasformatori. Funziona. Per anni, Stripe ha utilizzato modelli di apprendimento automatico addestrati su funzionalità discrete (BIN, zip, metodo di pagamento, ecc.) per migliorare i nostri prodotti per gli utenti. E questi sforzi funzionalità per funzionalità hanno funzionato bene: +15% di conversione, -30% di frodi. Ma questi modelli hanno dei limiti. Dobbiamo selezionare (e quindi vincolare) le caratteristiche considerate dal modello. E ogni modello richiede una formazione specifica per le attività: per l'autorizzazione, per le frodi, per le controversie e così via. Data la potenza di apprendimento delle architetture di trasformatori generalizzate, ci siamo chiesti se un approccio in stile LLM potesse funzionare in questo caso. Non era ovvio che lo avrebbe fatto: i pagamenti sono come il linguaggio in un certo senso (modelli strutturali simili alla sintassi e alla semantica, temporalmente sequenziali) ed estremamente diversi dal linguaggio in altri (meno "token" distinti, scarsità contestuale, meno principi organizzativi simili alle regole grammaticali). Così abbiamo creato un modello di base per i pagamenti, una rete auto-supervisionata che apprende vettori densi e generici per ogni transazione, proprio come un modello linguistico incorpora le parole. Addestrato su decine di miliardi di transazioni, distilla i segnali chiave di ogni carica in un unico e versatile incorporamento. Si può pensare al risultato come a una vasta distribuzione di pagamenti in uno spazio vettoriale ad alta dimensione. La posizione di ciascun incorporamento acquisisce dati complessi, incluso il modo in cui i diversi elementi si relazionano tra loro. I pagamenti che condividono somiglianze si raggruppano naturalmente: le transazioni dello stesso emittente della carta sono posizionate più vicine tra loro, quelle della stessa banca ancora più vicine e quelle che condividono lo stesso indirizzo e-mail sono quasi identiche. Questi ricchi incorporamenti rendono molto più facile individuare modelli di transazioni sfumati e contraddittori; e per creare classificatori più accurati basati sia sulle caratteristiche di un singolo pagamento che sulla sua relazione con altri pagamenti nella sequenza. Prendi il test delle carte. Negli ultimi due anni gli approcci tradizionali di ML (progettazione di nuove funzionalità, etichettatura dei modelli di attacco emergenti, riaddestramento rapido dei nostri modelli) hanno ridotto dell'80% i test delle carte per gli utenti su Stripe. Ma i tester di carte più sofisticati nascondono nuovi modelli di attacco nei volumi delle aziende più grandi, quindi sono difficili da individuare con questi metodi. Abbiamo creato un classificatore che inserisce sequenze di incorporamenti dal modello di base e stima se la sezione di traffico è sotto attacco. Sfrutta l'architettura dei trasformatori per rilevare modelli sottili nelle sequenze di transazione. E lo fa in tempo reale, in modo da poter bloccare gli attacchi prima che colpiscano le aziende. Questo approccio ha migliorato il nostro tasso di rilevamento degli attacchi di test delle carte su utenti di grandi dimensioni dal 59% al 97% da un giorno all'altro. Questo ha un impatto immediato per i nostri grandi utenti. Ma il vero potere del modello di fondazione è che questi stessi incorporamenti possono essere applicati ad altre attività, come controversie o autorizzazioni. Forse ancora più fondamentalmente, suggerisce che i pagamenti hanno un significato semantico. Proprio come le parole in una frase, le transazioni possiedono complesse dipendenze sequenziali e interazioni di funzionalità latenti che semplicemente non possono essere catturate dall'ingegneria manuale delle funzionalità. Si scopre che l'attenzione era tutti i pagamenti necessari!