Hook

Their other posts in the index, biggest breakout first.
26 tỉ tham số chạy gọn trong 2 GB RAM TurboFieldfare — Gemma 4 26B chạy local trên MacBook, không cần cloud. 2.9K sao · Apache-2.0 · 1,8 GB RAM thực đo trên MacBook Air M2 8 GB Cài: $ swift build -c release Repo: drumih/turbo-fieldfare #aidev #aidevrepo #gemma #applesilicon #localai Hai mươi sáu tỉ tham chạy gọn trong hai gigabyte RAM, trên chiếc MacBook tám gig! Đây là TurboFieldfare, GEMMA 4 26B CHẠY LOCAL - ~2 GB RAM 2.9K STARS JUL 2026 LAUNCHED v0.3 LATEST Runtime Swift + Metal viết tay từ số 0 - stream expert từ SSD theo từng token, giữ RAM chỉ ~2 GB. Apple Silicon 26B - 3.88B active Server OpenAI chạy model Gemma bốn ngay trên máy Mac. Mới hai tuần tuổi đã gần ba nghìn sao GitHub, giấy phép Apache. 128 expert chỉ đọc 8 MoE 26B - 30 layer router top-8 LFU cache 16 slot đọc SSD song song Mỗi lớp một trăm hai mươi tám expert, router chỉ đọc tám, 3,88B tham số active mỗi token trên tổng 26 tỉ stream thẳng từ SSD từng token. RAM - TỐC ĐỘ 1,8 GB RAM thực đo trên MacBook M2 5,1-6,3 tok/s - M2 8 GB 31-35 tok/s - M5 Pro 14,3 GB trên SSD 100% offline TurboFieldfare ~1,8 GB RAM mix-lm (cùng model) ~9,8 GB RSS -> Đổi lại slx-1x nhanh hơn ~2,4x - TurboFieldfare dua RAM, không dua tốc độ M5 Pro vượt lên ba mươi lăm. Trọn bộ ba món 1 App Mac native chat offline ngay trên máy - không cần terminal 2 CLI dòng lệnh chạy prompt thẳng từ terminal - stream token 3 Server OpenAI-compatible 127.0.0.1:8080/v1 - cắm thẳng SDK sẵn có Cùng một runtime - 6 product trong 1 Swift Package duy nhất. CLI, và server chuẩn OpenAI cắm thẳng vào code cũ. CÔNG NGHỆ LÕI Kỹ thuật viết tay 100% Swift 6.2 Metal 4 macOS 26 MoE 128 expert 4-bit MLX offline KV cache FP16 swift-transformers swift-nio Không wrap llama.cpp hay MLX - toàn bộ kernel Metal tự viết tay từ con số 0. $ 103 thí nghiệm tôi ưu - dùng 2 dependency - Apache-2.0 sau một trăm lẻ ba thí nghiệm. TurboFieldfare, THỬ NGAY CLONE REPO RỒI BUILD LÀ CHẠY $ swift build -c release 26 tỉ tham số trong 2 GB RAM. Repo: github.com/drumih/turbo-fieldfare Apache-2.0 - Swift + Metal 4 - expert streaming từ SSD swiftbuild là chạy! # AIDEV REVIEW REPO CHO AIDEV Theo dõi AIDEV Repo để không bỏ lỡ repo hot mỗi ngày. AI Dev Repo @aidev.repo 302,6K người theo dõi Đang theo dõi #AIDEV #GEMMA #APPLESILICON #LOCALAI