Apple và Nvidia hợp tác sử dụng công nghệ ReDrafter để tăng tốc AI

Theo Techradar, công nghệ ReDrafter được Apple giới thiệu vào tháng 11.2024. Công nghệ này áp dụng phương pháp giải mã suy đoán, kết hợp mạng nơ-ron hồi quy (RNN) để tạo dự thảo với tìm kiếm chùm tia (beam search) và sự chú ý cây động (dynamic tree attention). Theo kết quả thử nghiệm của Apple, ReDrafter tạo ra lượng token nhiều gấp 2,7 lần mỗi giây so với phương pháp tự hồi quy truyền thống.

Nhờ tích hợp ReDrafter vào nền tảng TensorRT-LLM của Nvidia, công nghệ này đã mở rộng phạm vi ứng dụng bằng cách tăng tốc suy diễn mô hình ngôn ngữ lớn trên GPU Nvidia, vốn là tiêu chuẩn trong các môi trường sản xuất. Nvidia cũng đã thêm các toán tử mới và điều chỉnh các toán tử hiện tại trong TensorRT-LLM để phù hợp với thuật toán của ReDrafter. Điều này cho phép các nhà phát triển tối ưu hóa hiệu suất cho các mô hình quy mô lớn.

ẢNH: NVIDIA

Không chỉ tăng tốc độ, ReDrafter còn giúp giảm độ trễ cho người dùng cuối trong khi yêu cầu số lượng GPU ít hơn. Theo Apple, điều này không chỉ làm giảm chi phí tính toán mà còn tiết kiệm điện năng - một yếu tố quan trọng đối với các tổ chức triển khai AI quy mô lớn.

Dù hiện tại mối hợp tác tập trung vào hạ tầng của Nvidia, Apple không loại trừ khả năng mở rộng công nghệ này sang các GPU đối thủ như AMD hay Intel trong tương lai. Điều này có thể giúp ngành công nghiệp AI tận dụng tối đa hiệu quả máy học trên nhiều nền tảng khác nhau, đồng thời giảm sự phụ thuộc vào một nhà cung cấp duy nhất.

Nvidia cho biết: “Sự hợp tác này đã làm cho TensorRT-LLM trở nên mạnh mẽ và linh hoạt hơn, cho phép cộng đồng LLM sáng tạo các mô hình tiên tiến hơn và triển khai chúng dễ dàng với TensorRT-LLM để đạt hiệu suất vượt trội trên GPU Nvidia. Các tính năng mới mở ra những khả năng thú vị và chúng tôi mong đợi thế hệ mô hình tiên tiến tiếp theo từ cộng đồng sẽ tận dụng năng lực của TensorRT-LLM, thúc đẩy cải tiến hơn nữa trong các khối lượng công việc LLM”.

Với sự hỗ trợ của ReDrafter, các ứng dụng AI không chỉ trở nên hiệu quả hơn mà còn dễ dàng tiếp cận đối với các nhà phát triển và tổ chức lớn nhỏ. Những tiến bộ như vậy sẽ tiếp tục định hình tương lai của học máy, mở ra cơ hội cho những bước đột phá mới.