TL; DR: Construímos um modelo de base de pagamentos baseado em transformadores. Está a funcionar. Durante anos, o Stripe tem usado modelos de aprendizado de máquina treinados em recursos discretos (BIN, zip, método de pagamento, etc.) para melhorar os nossos produtos para os utilizadores. E esses esforços recurso por recurso funcionaram bem: +15% de conversão, -30% de fraude. Mas estes modelos têm limitações. Temos que selecionar (e, portanto, restringir) as características consideradas pelo modelo. E cada modelo requer treinamento específico para tarefas: para autorização, para fraudes, para disputas e assim por diante. Dado o poder de aprendizagem das arquiteturas de transformadores generalizadas, nos perguntamos se uma abordagem no estilo LLM poderia funcionar aqui. Não era óbvio que isso aconteceria – os pagamentos são como a linguagem em alguns aspetos (padrões estruturais semelhantes à sintaxe e semântica, temporalmente sequencial) e extremamente diferentes da linguagem em outros (menos "tokens" distintos, parsidade contextual, menos princípios organizadores semelhantes a regras gramaticais). Por isso, construímos um modelo de base de pagamentos — uma rede autosupervisionada que aprende vetores densos e de uso geral para cada transação, da mesma forma que um modelo de linguagem incorpora palavras. Treinado em dezenas de bilhões de transações, ele destila os principais sinais de cada carga em uma única e versátil incorporação. Você pode pensar no resultado como uma vasta distribuição de pagamentos em um espaço vetorial de alta dimensão. A localização de cada incorporação captura dados ricos, incluindo como diferentes elementos se relacionam entre si. Os pagamentos que partilham semelhanças agrupam-se naturalmente: as transações do mesmo emissor do cartão estão posicionadas mais próximas, as do mesmo banco ainda mais próximas e as que partilham o mesmo endereço de e-mail são quase idênticas. Essas incorporações ricas tornam significativamente mais fácil detetar padrões de transações matizados e contraditórios; e construir classificadores mais precisos com base nas características de um pagamento individual e na sua relação com outros pagamentos na sequência. Faça o teste de cartão. Nos últimos dois anos, as abordagens tradicionais de ML (engenharia de novos recursos, rotulagem de padrões de ataque emergentes, retreinamento rápido de nossos modelos) reduziram os testes de cartão para usuários no Stripe em 80%. Mas os testadores de cartões mais sofisticados escondem novos padrões de ataque nos volumes das maiores empresas, por isso são difíceis de detetar com esses métodos. Construímos um classificador que ingere sequências de incorporações do modelo de fundação e prevê se a fatia de tráfego está sob ataque. Ele aproveita a arquitetura do transformador para detetar padrões sutis em sequências de transações. E faz tudo isso em tempo real para que possamos bloquear ataques antes que eles atinjam empresas. Essa abordagem melhorou nossa taxa de deteção de ataques de teste de cartão em grandes usuários de 59% para 97% durante a noite. Isto tem um impacto imediato para os nossos grandes utilizadores. Mas o verdadeiro poder do modelo de fundação é que essas mesmas incorporações podem ser aplicadas em outras tarefas, como disputas ou autorizações. Talvez ainda mais fundamental, sugere que os pagamentos têm significado semântico. Assim como as palavras em uma frase, as transações possuem dependências sequenciais complexas e interações de recursos latentes que simplesmente não podem ser capturadas pela engenharia manual de recursos. Acontece que a atenção foi todos os pagamentos necessários!