TL; DR : Nous avons construit un modèle de base de paiement basé sur un transformateur. Ça marche. Depuis des années, Stripe utilise des modèles de machine learning entraînés sur des fonctionnalités distinctes (BIN, zip, moyen de paiement, etc.) pour améliorer nos produits pour les utilisateurs. Et ces efforts fonctionnalité par fonctionnalité ont bien fonctionné : +15 % de conversion, -30 % de fraude. Mais ces modèles ont des limites. Il faut sélectionner (et donc contraindre) les caractéristiques prises en compte par le modèle. Et chaque modèle nécessite une formation spécifique à une tâche : pour l’autorisation, pour la fraude, pour les litiges, etc. Compte tenu de la puissance d’apprentissage des architectures de transformateurs généralisés, nous nous sommes demandé si une approche de type LLM pouvait fonctionner ici. Il n’était pas évident que ce soit le cas – les paiements sont comme le langage à certains égards (modèles structurels similaires à la syntaxe et à la sémantique, séquentiels dans le temps) et extrêmement différents du langage à d’autres égards (moins de « jetons » distincts, rareté contextuelle, moins de principes d’organisation semblables à des règles grammaticales). Nous avons donc créé un modèle de base de paiement, c’est-à-dire un réseau auto-supervisé qui apprend des vecteurs denses et polyvalents pour chaque transaction, un peu comme un modèle de langage intègre des mots. Formé sur des dizaines de milliards de transactions, il distille les signaux clés de chaque charge en une intégration unique et polyvalente. Vous pouvez considérer le résultat comme une vaste distribution de paiements dans un espace vectoriel de grande dimension. L’emplacement de chaque intégration capture des données riches, y compris la façon dont les différents éléments sont liés les uns aux autres. Les paiements qui partagent des similitudes se regroupent naturellement : les transactions du même émetteur de carte sont positionnées plus près les unes des autres, celles de la même banque encore plus proches et celles partageant la même adresse e-mail sont presque identiques. Ces intégrations riches facilitent grandement la détection de modèles de transactions nuancés et contradictoires. et de construire des classificateurs plus précis basés à la fois sur les caractéristiques d’un paiement individuel et sur sa relation avec d’autres paiements dans la séquence. Prenez le test des cartes. Au cours des deux dernières années, les approches traditionnelles du ML (conception de nouvelles fonctionnalités, étiquetage des modèles d’attaque émergents, réentraînement rapide de nos modèles) ont permis de réduire de 80 % les tests de cartes pour les utilisateurs de Stripe. Mais les testeurs de cartes les plus sophistiqués cachent de nouveaux modèles d’attaque dans les volumes des plus grandes entreprises, de sorte qu’ils sont difficiles à repérer avec ces méthodes. Nous avons construit un classificateur qui ingère des séquences d’intégrations à partir du modèle de base et prédit si la tranche de trafic est attaquée. Il s’appuie sur l’architecture du transformateur pour détecter des modèles subtils dans les séquences de transactions. Et tout cela en temps réel afin que nous puissions bloquer les attaques avant qu’elles n’atteignent les entreprises. Cette approche a amélioré notre taux de détection des attaques de test de cartes sur les grands utilisateurs de 59 % à 97 % du jour au lendemain. Cela a un impact immédiat pour nos grands utilisateurs. Mais la véritable puissance du modèle de base est que ces mêmes intégrations peuvent être appliquées à d’autres tâches, comme les litiges ou les autorisations. Peut-être plus fondamentalement encore, cela suggère que les paiements ont une signification sémantique. Tout comme les mots d’une phrase, les transactions possèdent des dépendances séquentielles complexes et des interactions de caractéristiques latentes qui ne peuvent tout simplement pas être capturées par l’ingénierie manuelle des fonctionnalités. Il s’avère que l’attention était tous les paiements nécessaires !