Beban kerja
Model lokal
Tentukan ukuran memori terpadu untuk sebuah model, lalu jalankan dengan MLX atau llama.cpp.
Di Apple silicon, CPU dan GPU berbagi satu pool memori. Model berjalan baik jika bobot, konteks, dan cache-nya muat di pool itu dengan ruang yang masih tersisa.
Perkiraan ukuran
Bobot model kira-kira sebesar jumlah parameter dikali byte per parameter. Sisakan tambahan 20 persen untuk konteks dan runtime.
| Model | 4-bit | 8-bit | 16-bit |
|---|---|---|---|
| 8B | 5 GB | 10 GB | 19 GB |
| 32B | 19 GB | 38 GB | 77 GB |
| 70B | 42 GB | 84 GB | 168 GB |
| 405B | 243 GB | 486 GB | 972 GB |
Tool model fit di halaman utama mengecek setiap konfigurasi di armada untuk Anda.
Jalankan dengan MLX
python3 -m venv .venv && source .venv/bin/activatepip install mlx-lmmlx_lm.generate --model mlx-community/Meta-Llama-3.1-70B-Instruct-4bit --prompt "Hello"