Первое, что пришло на ум по поводу инференса на устройстве, это то, что вам, вероятно, не нужно много вычислительной мощности, чтобы агент мог перемещаться по всем приложениям на устройстве, если были сделаны правильные интеграции.