Кратко: Мы создали модель платежей на основе трансформеров. Она работает. На протяжении многих лет Stripe использует модели машинного обучения, обученные на дискретных признаках (BIN, почтовый индекс, способ оплаты и т.д.), чтобы улучшить наши продукты для пользователей. И эти усилия по отдельным признакам работали хорошо: +15% конверсии, -30% мошенничества. Но у этих моделей есть ограничения. Мы должны выбирать (и, следовательно, ограничивать) признаки, которые учитываются моделью. И каждая модель требует специфического обучения для задачи: для авторизации, для мошенничества, для споров и так далее. Учитывая обучающую мощность обобщенных архитектур трансформеров, мы задумались, может ли здесь сработать подход в стиле LLM. Это не было очевидно — платежи в чем-то похожи на язык (структурные шаблоны, похожие на синтаксис и семантику, временная последовательность) и крайне непохожи на язык в других аспектах (меньше различных «токенов», контекстная разреженность, меньше организующих принципов, подобных грамматическим правилам). Поэтому мы создали модель платежей — самосупервизируемую сеть, которая обучается плотным, универсальным векторам для каждой транзакции, подобно тому, как языковая модель встраивает слова. Обученная на десятках миллиардов транзакций, она дистиллирует ключевые сигналы каждого платежа в одно универсальное встраивание. Вы можете представить результат как огромное распределение платежей в многомерном векторном пространстве. Расположение каждого встраивания захватывает богатые данные, включая то, как различные элементы соотносятся друг с другом. Платежи, имеющие сходства, естественным образом группируются вместе: транзакции от одного и того же эмитента карты расположены ближе друг к другу, от одного и того же банка — еще ближе, а те, что имеют одинаковый адрес электронной почты, почти идентичны. Эти богатые встраивания значительно упрощают обнаружение тонких, враждебных шаблонов транзакций и создание более точных классификаторов на основе как признаков отдельного платежа, так и его связи с другими платежами в последовательности. Возьмем тестирование карт. За последние пару лет традиционные подходы ML (разработка новых признаков, маркировка новых шаблонов атак, быстрое переобучение наших моделей) сократили тестирование карт для пользователей на Stripe на 80%. Но самые сложные тестировщики карт скрывают новые шаблоны атак в объемах крупнейших компаний, поэтому их трудно обнаружить этими методами. Мы создали классификатор, который принимает последовательности встраиваний из базовой модели и предсказывает, находится ли срез трафика под атакой. Он использует архитектуру трансформера для обнаружения тонких шаблонов в последовательностях транзакций. И делает это все в реальном времени, чтобы мы могли блокировать атаки до того, как они достигнут бизнеса. Этот подход улучшил нашу скорость обнаружения атак на тестирование карт у крупных пользователей с 59% до 97% за одну ночь. Это оказывает мгновенное влияние на наших крупных пользователей. Но настоящая сила базовой модели заключается в том, что эти же встраивания могут быть применены к другим задачам, таким как споры или авторизации. Возможно, даже более фундаментально, это предполагает, что платежи имеют семантическое значение. Как и слова в предложении, транзакции обладают сложными последовательными зависимостями и скрытыми взаимодействиями признаков, которые просто невозможно захватить с помощью ручной инженерии признаков. Оказывается, внимание — это все, что нужно было платежам!