Thật kỳ diệu khi phép nhân ma trận, một phép toán rất đơn giản, lại có thể có nhiều chiều sâu và độ phức tạp khi bạn cố gắng làm cho nó cực kỳ nhanh. Nhiều cải tiến đáng chú ý nhất trong các chip của Nvidia qua nhiều thế hệ vừa qua hoàn toàn nhằm tăng tốc phép nhân ma trận. Ví dụ, trong B200 bạn có: - Các lõi Tensor (các bộ xử lý đồng cho phép nhân ma trận). Chúng có thể xử lý các ô lớn hơn so với các thế hệ trước. - Bộ nhớ Tensor, một bộ đệm mới chỉ để lưu trữ các đầu ra trung gian của các lõi Tensor. - Bộ tăng tốc bộ nhớ Tensor (TMA), phần cứng (được giới thiệu trong H100) chỉ để di chuyển bộ nhớ không đồng bộ cho các lõi Tensor. Và sau đó bạn sẽ gặp rất nhiều độ phức tạp từ tất cả phần mềm và các trừu tượng mà bạn cần để phối hợp tất cả phần cứng đó một cách hiệu quả.