Khi tôi làm việc tại Google, tôi đã may mắn được hợp tác với một số kỹ sư máy học (ML) sáng giá nhất. Họ đã làm việc về kỹ thuật đặc trưng. Bằng cách chọn các yếu tố để hướng dẫn mô hình ML, những tiến bộ của họ có thể tạo ra hàng chục đến hàng trăm triệu doanh thu bổ sung. Hãy tưởng tượng một bảng tính Excel với hàng trăm cột dữ liệu. Thêm hai cột, nhân hai cột, chia cho một cột khác, và trừ đi một cột thứ tư. Mỗi cái trong số này là một đặc trưng. Các mô hình ML sử dụng các đặc trưng để dự đoán quảng cáo tốt nhất để hiển thị. Nó bắt đầu như một nghề thủ công, phản ánh bầu không khí của thời đại. Theo thời gian, chúng tôi đã cơ giới hóa nghệ thuật này thành một cỗ máy gọi là AutoML, giúp tăng tốc độ khám phá các đặc trưng đúng đắn một cách đáng kể. Ngày nay, học tăng cường (RL) đang ở cùng một vị trí như kỹ thuật đặc trưng 15 năm trước. RL là gì? Đó là một kỹ thuật dạy AI đạt được các mục tiêu. Hãy xem xét một chiếc Roomba dũng cảm. Nó tiến vào một căn phòng bẩn. Sau đó, nó phải lập một kế hoạch dọn dẹp và thực hiện nó. Tạo kế hoạch là bước 1. Để hoàn thành kế hoạch, giống như bất kỳ người lao động giỏi nào, nó sẽ tự thưởng cho mình, không phải bằng một khoảng thời gian nghỉ chơi bóng bàn, mà bằng một số điểm. Hàm thưởng của nó có thể là: +0.1 cho mỗi bộ vuông mới được dọn dẹp, -5 cho việc va vào tường, và +100 cho việc trở về dock với một thùng rác đầy. Hành vi của chiếc máy hút bụi không biết mệt mỏi này được hình thành bởi phép toán đơn giản này. (NB: Tôi đang đơn giản hóa khá nhiều ở đây.) Ngày nay, AI có thể tạo ra kế hoạch, nhưng vẫn chưa thể phát triển các hàm thưởng. Con người làm điều này, giống như chúng ta đã phát triển các đặc trưng 15 năm trước. Liệu chúng ta có thấy một AutoRL không? Không trong một thời gian. Các kỹ thuật cho RL vẫn đang được tranh luận. Andrej Karpathy đã nêu bật cuộc tranh luận trong một podcast gần đây. Làn sóng cải tiến AI hiện tại có thể phụ thuộc vào sự thành công của RL. Ngày nay, nó vẫn rất nhiều là một nghề thủ công. Tiềm năng tự động hóa nó—một phần hay hoàn toàn—sẽ biến đổi cách chúng ta xây dựng các hệ thống có khả năng hành động.