Vřele doporučuji přihlásit se k práci s @jmj & @seidtweets! Jsou to neuvěřitelní lidé a investoři!

4. srpna budeme pořádat Theory Intelligence Day: podrobné rozhovory s odborníky na agenty, stablecoiny a škálovatelné datové systémy.

Jak mě váš e-mail najde

Memy dnes byly na další úrovni.

Nemůžeme koupit Noaha Shazeera za 1 miliardu, ale můžeme ho vytvořit v souhrnu

Gratulujeme týmu Lance! Jsem nadšený, že s vámi mohu spolupracovat!

Moje myšlenky pro WSJ Venture Capital o tom, jaké atributy dělají ze společnosti silného kandidáta na vstup na dnešní trh. Díky @marcvarta!

@tryramp můžete přijímat data z mého kalendáře: titul, účastníky a poté automatizovat mé požadavky na výdaje? náš stážista @pavitarsaini a já to tento víkend naprogramujeme.

TL; DR: Vytvořili jsme model založený na transformátoru platebních základů. Funguje to. Společnost Stripe již léta používá modely strojového učení trénované na diskrétních funkcích (BIN, zip, platební metoda atd.) abychom mohli zlepšovat naše produkty pro uživatele. A tyto snahy o jednotlivé funkce fungují dobře: +15 % konverzí, -30 % podvodů. Tyto modely však mají svá omezení. Musíme vybrat (a tedy omezit) prvky, které model uvažuje. A každý model vyžaduje školení specifické pro daný úkol: pro autorizaci, pro podvody, pro spory atd. Vzhledem k tomu, že zobecněné transformerové architektury se mohou učit více, zajímalo nás, zda by zde mohl fungovat přístup ve stylu LLM. Nebylo zřejmé, že by tomu tak bylo – platby jsou v některých ohledech jako jazyk (strukturální vzory podobné syntaxi a sémantice, časově sekvenční) a v jiných extrémně odlišné (méně odlišných "tokenů", kontextová řídkost, méně organizačních principů podobných gramatickým pravidlům). Proto jsme vytvořili model platební nadace – síť pod vlastním dohledem, která se učí husté, univerzální vektory pro každou transakci, podobně jako jazykový model vkládá slova. Je trénován na desítkách miliard transakcí a destiluje klíčové signály každého náboje do jediného, všestranného vložení. Výsledek si můžete představit jako obrovské rozložení plateb ve vysoce dimenzionálním vektorovém prostoru. Umístění každého vložení zachycuje bohatá data, včetně toho, jak spolu jednotlivé prvky souvisejí. Platby, které sdílejí podobnosti, se přirozeně shlukují: transakce od stejného vydavatele karty jsou umístěny blíže u sebe, transakce od stejné banky ještě blíže a transakce sdílející stejnou e-mailovou adresu jsou téměř identické. Díky těmto bohatým vložením je výrazně snazší rozpoznat nuancované, nežádoucí vzorce transakcí; a vytvořit přesnější klasifikátory založené jak na vlastnostech jednotlivé platby, tak na jejím vztahu k ostatním platbám v sekvenci. Vezměme si testování karet. Během posledních několika let tradiční přístupy ML (navrhování nových funkcí, označování vznikajících vzorců útoků, rychlé přetrénování našich modelů) snížily testování karet pro uživatele na Stripe o 80 %. Ale nejsofistikovanější testovači karet skrývají nové vzorce útoků v objemech největších společností, takže je těžké je pomocí těchto metod odhalit. Vytvořili jsme klasifikátor, který ingestuje sekvence vkládání ze základního modelu a předpovídá, zda je řez provozu vystaven útoku. Využívá architekturu transformátoru k detekci jemných vzorů napříč transakčními sekvencemi. A to vše v reálném čase, abychom mohli blokovat útoky dříve, než zasáhnou firmy. Tento přístup zlepšil naši míru detekce útoků testování karet na velké uživatele z 59 % na 97 % přes noc. To má okamžitý dopad na naše velké uživatele. Skutečná síla základního modelu však spočívá v tom, že stejná vnoření mohou být aplikována i na jiné úlohy, jako jsou spory nebo autorizace. Možná ještě zásadnější je, že naznačuje, že platby mají sémantický význam. Stejně jako slova ve větě mají transakce složité sekvenční závislosti a latentní interakce funkcí, které jednoduše nelze zachytit manuálním inženýrstvím funkcí. Ukázalo se, že pozornost byla vše, co bylo potřeba!

Ignorujte FUD, pokračujte v budování! 😆