BookingmacDocs

Beban kerja

Model lokal

Tentukan ukuran memori terpadu untuk sebuah model, lalu jalankan dengan MLX atau llama.cpp.

Di Apple silicon, CPU dan GPU berbagi satu pool memori. Model berjalan baik jika bobot, konteks, dan cache-nya muat di pool itu dengan ruang yang masih tersisa.

Perkiraan ukuran

Bobot model kira-kira sebesar jumlah parameter dikali byte per parameter. Sisakan tambahan 20 persen untuk konteks dan runtime.

Model4-bit8-bit16-bit
8B5 GB10 GB19 GB
32B19 GB38 GB77 GB
70B42 GB84 GB168 GB
405B243 GB486 GB972 GB

Tool model fit di halaman utama mengecek setiap konfigurasi di armada untuk Anda.

Jalankan dengan MLX

python3 -m venv .venv && source .venv/bin/activatepip install mlx-lmmlx_lm.generate --model mlx-community/Meta-Llama-3.1-70B-Instruct-4bit --prompt "Hello"