Tidigare den här månaden höll jag ett föredrag om en del av den teknik vi bygger på Thrive och filosofin bakom den. Ett fokus för oss har varit interna verktyg som förstärker vårt teams arbete, inklusive Puck, ett internt forskningssystem som körs i chatten och i bakgrunden.

Under det senaste året, genom att tätt integrera över vår datastack, LLM-infrastruktur och våra egna arbetsflöden, har vi kunnat föra Pucks kapacitet till en handfull ytor i hela teamet i meningsfull skala. Vi drog slutsatser om cirka 10 miljarder tokens i oktober över 1000-tals uppgifter.

Jag har funnit det värdefullt att ta till mig bra designidéer från "vanlig programvara" och tillämpa dem på AI-system. I föredraget tar jag upp några av dessa principer som driver Pucks arkitektur, inklusive hur vi organiserar uppmaningar och uppgifter, och vårt interna ramverk och loggningsverktyg.