Trong một thử nghiệm vừa được công bố, chiếc iPhone 17 Pro đã làm được điều mà giới công nghệ cho là không tưởng, khi vận hành một mô hình ngôn ngữ khổng lồ vốn yêu cầu lượng RAM gấp 17 lần dung lượng hiện có của máy.
Bí mật giúp iPhone 17 Pro vận hành được mô hình AI khổng lồ
Dự án mã nguồn mở mang tên Flash-MoE, được chia sẻ bởi nhà phát triển @anemll, đã biến iPhone 17 Pro thành một 'phòng thí nghiệm AI' di động. Thông thường, một mô hình AI có quy mô 400 tỉ tham số cần ít nhất bộ nhớ RAM 200 GB để có thể tải lên và hoạt động. Tuy nhiên, iPhone 17 Pro (chỉ có 12 GB RAM) đã chứng minh giới hạn phần cứng có thể bị vượt qua bằng những thuật toán thông minh.
iPhone 17 Pro có thể chạy được mô hình AI với 400 tỉ tham số
ẢNH: PHONG ĐỖ
Thay vì cố gắng nhồi nhét toàn bộ mô hình vào bộ nhớ RAM hạn hẹp, hệ thống sử dụng một cơ chế đặc biệt đó là chỉ trích xuất các phần dữ liệu cần thiết từ bộ nhớ lưu trữ (Storage) theo thời gian thực.
Kết hợp với cấu trúc Mixture of Experts (MoE) - một mô hình kích hoạt một nhóm nhỏ các 'chuyên gia' AI cho từng câu hỏi - iPhone 17 Pro đã có thể duy trì hoạt động của mô hình AI này mà không cần đến bất kỳ kết nối đám mây nào.
Dù đây là một bước tiến lịch sử, nhưng thực tế sử dụng vẫn còn là một rào cản lớn. Với tốc độ tạo văn bản chỉ khoảng 0,6 token/giây, người dùng sẽ phải chờ đợi vài giây chỉ để nhận được một từ. Trải nghiệm này hiện tại giống như một bài kiểm tra lòng kiên nhẫn hơn là một trợ lý ảo thực thụ.
Bên cạnh đó, việc bắt bộ vi xử lý và bộ nhớ lưu trữ hoạt động ở cường độ cực cao khiến pin tụt nhanh chóng và máy nóng lên đáng kể.
Mặc dù hiện tại các mô hình AI nhỏ gọn vẫn là lựa chọn thực tế nhất cho người dùng, nhưng thử nghiệm trên iPhone 17 Pro đã gửi đi một thông điệp mạnh mẽ rằng ranh giới giữa máy chủ AI và điện thoại thông minh đang dần biến mất.
Khi tốc độ đọc ghi của bộ nhớ lưu trữ trên điện thoại ngày càng nhanh hơn và chip xử lý được tối ưu sâu cho cấu trúc MoE, việc sở hữu một siêu trí tuệ nhân tạo hoạt động ngoại tuyến, bảo mật tuyệt đối ngay trong lòng bàn tay sẽ không còn là chuyện viễn tưởng.
Bình luận (0)