TL; DR: We hebben een op transformatoren gebaseerd basismodel voor betalingen gebouwd. Het werkt. Stripe maakt al jaren gebruik van machine learning-modellen die zijn getraind op discrete functies (BIN, zip, betaalmethode, enz.) om onze producten voor gebruikers te verbeteren. En deze inspanningen per functie hebben goed gewerkt: +15% conversie, -30% fraude. Maar deze modellen hebben beperkingen. We moeten de functies selecteren (en dus beperken) die door het model worden overwogen. En elk model vereist taakspecifieke training: voor autorisatie, voor fraude, voor geschillen, enzovoort. Gezien de leerkracht van gegeneraliseerde transformatorarchitecturen, vroegen we ons af of een LLM-achtige aanpak hier zou kunnen werken. Het was niet duidelijk dat dit het geval zou zijn - betalingen lijken in sommige opzichten op taal (structurele patronen vergelijkbaar met syntaxis en semantiek, in de tijd opeenvolgend) en in andere opzichten extreem anders dan taal (minder duidelijke 'tokens', contextuele schaarste, minder organiserende principes verwant aan grammaticale regels). Daarom hebben we een basismodel voor betalingen gebouwd: een netwerk dat onder zelftoezicht toezicht houdt en voor elke transactie compacte, algemene vectoren leert, net zoals een taalmodel woorden insluit. Het is getraind op tientallen miljarden transacties en destilleert de belangrijkste signalen van elke lading in een enkele, veelzijdige inbedding. Je kunt het resultaat zien als een enorme verdeling van betalingen in een hoogdimensionale vectorruimte. De locatie van elke inbedding legt rijke gegevens vast, inclusief hoe verschillende elementen zich tot elkaar verhouden. Betalingen die overeenkomsten vertonen, clusteren van nature samen: transacties van dezelfde kaartuitgever bevinden zich dichter bij elkaar, die van dezelfde bank nog dichter bij elkaar, en transacties met hetzelfde e-mailadres zijn bijna identiek. Deze rijke inbeddingen maken het aanzienlijk gemakkelijker om genuanceerde, vijandige transactiepatronen te herkennen; en om nauwkeurigere classificaties te bouwen op basis van zowel de kenmerken van een individuele betaling als de relatie met andere betalingen in de reeks. Neem het testen van kaarten. In de afgelopen jaren hebben traditionele ML-benaderingen (het ontwikkelen van nieuwe functies, het labelen van opkomende aanvalspatronen, het snel opnieuw trainen van onze modellen) het testen van kaarten voor gebruikers op Stripe met 80% verminderd. Maar de meest geavanceerde kaarttesters verbergen nieuwe aanvalspatronen in de volumes van de grootste bedrijven, dus ze zijn moeilijk te herkennen met deze methoden. We hebben een classificatie gebouwd die reeksen inbeddingen uit het basismodel opneemt en voorspelt of het verkeerssegment wordt aangevallen. Het maakt gebruik van transformatorarchitectuur om subtiele patronen in transactiesequenties te detecteren. En het doet dit allemaal in realtime, zodat we aanvallen kunnen blokkeren voordat ze bedrijven treffen. Deze aanpak verbeterde ons detectiepercentage voor kaarttestaanvallen op grote gebruikers van de ene op de andere dag van 59% naar 97%. Dit heeft een onmiddellijke impact voor onze grote gebruikers. Maar de echte kracht van het foundationmodel is dat dezelfde inbeddingen kunnen worden toegepast op andere taken, zoals geschillen of autorisaties. Misschien nog fundamenteler is dat het suggereert dat betalingen een semantische betekenis hebben. Net als woorden in een zin bevatten transacties complexe sequentiële afhankelijkheden en latente functie-interacties die eenvoudigweg niet kunnen worden vastgelegd door handmatige functie-engineering. Blijkt dat de aandacht was alle betalingen die nodig waren!