Hook
More breakout videos from this creator.
Engine 176 KB kéo nổi model 2,78 nghìn tỉ tham số 🔥 Kimi K3 in C — chạy Kimi K3 trên MỘT CPU, không GPU, không framework. ⭐ 2K sao sau 4 ngày · Apache-2.0 · RAM đỉnh 8,24 GB (đo thật) ⚡ Build: $ make -j && ./bin/k3 Repo: FareedKhan-dev/kimi-k3-in-c #aidev #aidevrepo #kimik3 #llamacpp #cprogramming Engine vọn vẹn một trăm bảy sáu ki lô bai, chạy nổi model hai phẩy tám nghìn tỉ tham số! GIOI THIEU Kimi K3 in C 2,78 nghìn tỉ tham số - 1 CPU - 8,24 GB RAM 2K STARS Aug 2026 LAUNCHED v0.1.0 LATEST Engine inference việt thuần C, 6 file, binary 176 KB. Chạy Kimi K3 trên một CPU — không GPU, không framework, không BLAS. C99 AVX2 Không GPU MoE 896 expert không GPU, không framework, không thư viện toán. BANG CHUNG GITHUB 2K stars By FareedKhan-dev LICENSE Apache-2.0 Lên GitHub bốn ngày đã gần hai nghìn sao, ba trăm hai ba fork, giấy phép Apache. Areas to scale: half a byte per weight saves four terabytes bf16 - 5,560 GB experts at bf16 5,445 GB 3.8x smaller but we write a line of code and never expanded, which would cost 194 GB per token. MXFP4 - 1,560 GB read the text from disk, but at 3x time 113 GB what must stay on disk 8.24 GB what an ordinary laptop Kimi K3 in C - stream trunk 8.24 GB RAM Nạp thẳng bản bf16 5,560 GB-RAM nhỏ hơn 675 lần - kết quả vẫn giống hệt Điện nhất: RAM ĐÌNH Cả model gọn trong RAM peak RSS do thật cgroup chặn cứng 8 GB 93 layer 104B tham số active/token 8,24 GB RAM đỉnh - số đo thật, không mô phỏng. không lý thuyết. CHUOI NEN 675X 675x nhỏ hơn bản gốc bf16 - 5,560 GB MXFP4 - 1,560 GB top-16/896 - 113 GB stream - 8,24 GB Kimi K3 in C - stream trunk 8.24 GB RAM Nạp thẳng bản bf16 5,560 GB-RAM nhỏ hơn 675 lần - kết quả vẫn giống hệt nhỏ hơn sáu trăm bảy lăm lần. Bí quyết: KIEN TRUC Ba bước ép 1,56 TB vào RAM Nén MXFP4 nguyên bản 0.53 byte mỗi weight - 12.5 MB mỗi token-expert - không bao giờ giải nén ra bf16 MoE thừa - top-16 mỗi token chỉ bật 16 trên 896 expert + 2 shared → còn 113 GB Stream trunk từ NVMe phần còn lại stream thẳng từ ổ đĩa → RAM đỉnh 8,24 GB 93/93 layer khớp PyTorch - sai lệch logits 7,87e-06 - tương quan 1,000000000 mỗi token chỉ bật mười sáu trên tám trăm chín sáu expert, phần còn lại stream thẳng từ ổ NVMe. CÁI GIÁ PHẢI TRẢ Đổi lại: chậm và tốn đĩa 32,69 giây / token cần ~1,7 TB đĩa trống 96 shard NVMe 3,2 GB/s prefill 53 giây checkpoint 1,56 TB chi Linux x86-64 greedy decode - v0.1.0 $ make -j && ./bin/k3 --preset laptop và cần một phẩy bảy tê bai ổ cứng. THU NGAY BUILD XONG TRONG VÀI GIÂY 12 mức RAM một kết quả duy nhất. Repo: github.com/FareedKhan-dev/kimi-k3-in-c Apache-2.0 - C99 - AVX2 - MXFP4 - stream trunk từ NVMe #AIDEV REVIEW REPO CHO AIDEV mười hai mức RAM từ tám tới hai trăm hai tư giga đều ra đúng một kết quả. Tìm FareedKhan dev, Kimi K3 in C. AIdev Repo @aidev.repo 305.7K người theo dõi Theo dõi Follow AIDev Repo để không bỏ lỡ repo hay nhé! THEO DOI NGAY # AIDEV @aidev.repo #AIDEV #KIMIK3 #CLANGUAGE #LLM