Hook: 2,8 nghìn tỷ tham số. 896 chuyên gia. Mỗi lần forward cần 1,5 TB băng thông HBM. Nhưng điểm đáng chú ý không phải là những con số khổng lồ ấy, mà là một tuyên bố gây sốc từ báo cáo của SemiAnalysis về Kimi K3: dù đã giảm 10 lần băng thông truyền KV cache, tổng nhu cầu mạng cho suy luận vẫn tăng vọt. Với một người làm zero-knowledge như tôi, điều này gợi ra một câu hỏi trực tiếp: nếu hiệu quả cục bộ lại dẫn đến mở rộng tổng thể, thì các mạng lưới tính toán phi tập trung (DePIN) như Render, Akash hay io.net đang chuẩn bị cho kịch bản nào?
Context: Kimi K3 là mô hình ngôn ngữ lớn thế hệ mới của Moonshot AI, sử dụng kiến trúc dense 2,8T tham số kết hợp MoE (Mixture of Experts) với 896 expert. Điểm sáng kỹ thuật là KDA (Keyboard-Dependent Attention) – một cơ chế chú ý cục bộ giúp giảm 10 lần băng thông truyền KV cache, một trong những nút thắt cổ chai của suy luận trên chuỗi dài. Tuy nhiên, để triển khai MoE quy mô lớn, Kimi sử dụng WideEP (Wide Expert Parallelism): mỗi token được gửi đến các expert khác nhau, sau đó kết hợp kết quả. Báo cáo SemiAnalysis chỉ ra rằng mỗi lần forward cần thực hiện hơn 120 lần phân phối và gộp token trên toàn bộ cluster, tạo ra lưu lượng all-to-all khổng lồ. Nói cách khác, KDA tiết kiệm được băng thông một đầu, nhưng WideEP lại đòi hỏi gấp nhiều lần băng thông ở đầu kia. Toàn bộ hệ thống phụ thuộc vào các switch 800G/1.6T và InfiniBand tốc độ cao để vận hành.
Core Insight: Điều mà báo cáo gọi là “Jevons paradox” trong AI hoàn toàn có thể ánh xạ sang lĩnh vực blockchain. Cụ thể, giống như việc động cơ hơi nước hiệu quả hơn dẫn đến tiêu thụ than tăng, KDA hiệu quả hơn dẫn đến nhu cầu mạng tổng thể tăng. Trong bối cảnh DePIN, các dự án cung cấp GPU compute thường quảng cáo “giá rẻ hơn 80% so với AWS”. Họ dựa vào giả định rằng tối ưu hóa AI sẽ làm giảm nhu cầu tài nguyên. Nhưng với Kimi K3, chúng ta thấy điều ngược lại: nếu bạn có một mô hình cực kỳ hiệu quả về mặt bộ nhớ (KDA), bạn sẽ muốn mở rộng mô hình về số lượng tham số và expert, và điều đó làm tăng đột biến nhu cầu về băng thông mạng và độ trễ thấp. DePIN hiện tại chủ yếu tập trung vào cung cấp GPU raw (tính toán), nhưng không đầu tư đủ vào cơ sở hạ tầng mạng (switch, fiber, RDMA). Một node Render hay Akash có thể có GPU tốt, nhưng nếu kết nối mạng chỉ là 10GbE thông thường, nó sẽ không thể tham gia vào cluster WideEP. Điều này tạo ra một phân khúc thị trường mới: các nhà cung cấp compute phi tập trung cần phải tích hợp các giải pháp mạng tốc độ cao, tương tự như cách các nhà khai thác mining pool đầu tư vào mạng P2P riêng.
Hãy nhìn vào con số cụ thể: mỗi lần forward cần 1,5 TB băng thông HBM và hơn 13 GB dữ liệu phải trao đổi qua mạng (ước tính dựa trên 896 expert và batch size thông thường). Nếu một node chỉ có kết nối 25GbE, thời gian truyền sẽ là 4 giây – không thể chấp nhận cho suy luận real-time. Do đó, các dự án DePIN muốn phục vụ các mô hình tầm cỡ Kimi K3 cần nâng cấp lên ít nhất 100GbE, lý tưởng là 400GbE hoặc InfiniBand. Điều này đẩy chi phí vốn lên cao, phá vỡ luận điểm “giá rẻ” ban đầu. Tuy nhiên, đây cũng là cơ hội cho các tokenomics thiết kế phần thưởng dựa trên băng thông mạng, chứ không chỉ dựa trên số giờ GPU.
Contrarian Angle: Nhiều người cho rằng sự ra đời của các cơ chế attention hiệu quả (như KDA, MQA, GQA) sẽ làm giảm nhu cầu về hardware và từ đó giảm áp lực lên các mạng compute phi tập trung. Tôi cho rằng điều này sai về bản chất. Thực tế, chính những tối ưu này mới là chất xúc tác để các công ty AI xây dựng những mô hình lớn hơn, từ đó đẩy nhu cầu lên cao hơn. Điểm mù ở đây là các nhà đầu tư DePIN đang đánh giá thấp tầm quan trọng của networking. Họ tập trung vào GPU, VRAM, nhưng quên rằng nếu không có mạng tốc độ cao, GPU sẽ chết đói dữ liệu. Hãy nhìn vào lịch sử: Bitcoin mining ban đầu cũng chỉ dùng CPU và mạng thường, nhưng khi khó khăn tăng, các pool đã phải xây dựng hạ tầng mạng chuyên dụng để giảm latency. Tương tự, DePIN cần phải trải qua quá trình “chuyên nghiệp hóa” này. Các dự án nào sớm tích hợp mạng quang tốc độ cao và RDMA sẽ chiếm ưu thế. Ngược lại, các dự án chỉ tập trung vào số lượng GPU rẻ sẽ bị loại khỏi cuộc chơi khi khách hàng yêu cầu suy luận low-latency cho các mô hình thế hệ mới.
Takeaway: Khi Kimi K3 chính thức deploy, nó sẽ tiêu thụ một lượng băng thông mạng khổng lồ – lớn hơn bất kỳ mô hình nào trước đây. Điều này tạo ra tín hiệu rõ ràng cho thị trường DePIN: nếu bạn muốn phục vụ AI enterprise, hãy đầu tư vào networking trước, GPU sau. Ngược lại, nếu bạn chỉ có GPU rẻ mà không có mạng đủ nhanh, bạn sẽ mãi ở phân khúc compute rác. Câu hỏi dành cho các nhà phát triển Akash, Render, io.net: liệu tokenomics của bạn có khuyến khích người dùng nâng cấp băng thông lên 400GbE, hay bạn vẫn chỉ thưởng cho số giờ GPU? Sự khác biệt giữa thành công và thất bại nằm ở câu trả lời.
