Model lokal
Sewa Mac Studio untuk LLM lokal.
Di Apple silicon, CPU dan GPU berbagi satu kumpulan memori, sehingga model besar bisa tetap berada di memori. Sewa hingga 512 GB per jam atau per bulan.
Mengapa Mac Studio untuk model AI lokal
Sebuah model berjalan baik jika bobot, konteks, dan cache-nya muat di memori dengan ruang tersisa. Di Mac Studio, memori itu terpadu: MLX dan llama.cpp bisa memakai seluruhnya, sedangkan kartu GPU terpisah dibatasi oleh VRAM-nya sendiri.
Karena setiap pemesanan adalah satu mesin utuh, tidak ada proses lain yang berebut memori. Angka yang Anda ukur adalah model itu di Mac tersebut.
Berapa memori yang dibutuhkan sebuah model
Bobot model memakan kira-kira jumlah parameter dikali byte per parameter. Sisakan 20 persen untuk konteks dan runtime. Sebagai gambaran kasar:
- 8B parameter: sekitar 5 GB di 4-bit, 10 GB di 8-bit, 19 GB di 16-bit
- 32B: sekitar 19 GB di 4-bit, 38 GB di 8-bit, 77 GB di 16-bit
- 70B: sekitar 42 GB di 4-bit, 84 GB di 8-bit, 168 GB di 16-bit
- 405B: sekitar 243 GB di 4-bit, 486 GB di 8-bit
Konfigurasi mana yang disewa
Memori adalah batas mutlak. Jika model tidak muat, chip yang lebih cepat tidak akan menolong. Untuk model hingga 70B, mulailah dari M3 Ultra 256 GB. Di atas 100B, lihat konfigurasi 512 GB yang menyisakan ruang untuk bobot, konteks, dan KV cache.
Alat di bawah memeriksa ukuran model apa pun terhadap setiap konfigurasi di armada dan menampilkan biayanya per jam.
Menjalankan model di Mac yang Anda sewa
Sambungkan lewat SSH, lalu pasang runtime Anda. Dengan MLX, cukup virtual environment Python dan pip install mlx-lm; dengan llama.cpp, brew install llama.cpp. Perintah lengkapnya ada di panduan model lokal.
Unduh bobot model sekali ke satu folder dan arahkan semua tool ke sana. Salin hasilnya sebelum masa sewa berakhir, karena disk dihapus setelahnya. Lihat transfer file.
Cek model terhadap setiap konfigurasi
Pilih ukuran model dan presisinya. Setiap konfigurasi menunjukkan apakah modelnya muat dan berapa biayanya per jam.
Kecocokan model
Bobot × byte per parameter + 20%
Butuh sekitar42 GB
- M1 Max · 32 GBTak muat
- M2 Max · 32 GBTak muat
- M4 Max · 36 GBTak muat
- M5 Max · 36 GBTak muat
- M4 Max · 48 GBMepet
- M1 Max · 64 GBMuat
- M2 Max · 64 GBMuat
- M1 Ultra · 64 GBMuat
- M4 Max · 64 GBMuat
- M2 Ultra · 64 GBMuat
- M2 Max · 96 GBMuat
- M3 Ultra · 96 GBMuat
- M5 Ultra · 96 GBMuat
- M1 Ultra · 128 GBMuat
- M2 Ultra · 128 GBMuat
- M4 Max · 128 GBMuat
- M2 Ultra · 192 GBMuat
- M3 Ultra · 256 GBMuat
- M5 Ultra · 256 GBMuat
- M3 Ultra · 512 GBMuat
- M5 Ultra · 512 GBMuat
Termurah yang muat: M1 Max · 64 GB seharga $229.00/bln
Sewa sekarang“Muat” berarti masih tersisa seperempat memori untuk macOS dan tools Anda. “Mepet” masih bisa jalan dengan konteks pendek.
Semua konfigurasi dan harga
Daftar lengkap dalam satu tabel: memori, SSD, jumlah core, tarif per jam dan per bulan, serta jumlah yang tersedia saat ini.
Sewa pre-order
Dipesan sekarang, diserahkan saat Mac terpasang. Harga lebih rendah karena menunggu.
M5 Ultra · 96 GB
Sewa pre-order2 TB SSD · CPU 30 core · GPU 64 core
$679.00/bln
Pre-order$1.25/jam· Per jam habis5 slot sewa tersediaM5 Ultra · 256 GB
Sewa pre-order4 TB SSD · CPU 36 core · GPU 80 core
$1,049.00/bln
Pre-order$2.00/jam· Per jam habis2 slot sewa tersediaM5 Ultra · 512 GB
Sewa pre-order8 TB SSD · CPU 36 core · GPU 80 core
$1,749.00/bln
Pre-order$3.40/jam· Per jam habis1 slot sewa tersediaM5 Max · 36 GB
Sewa pre-order512 GB SSD · CPU 18 core · GPU 32 core
$249.00/bln
Pre-order$0.50/jam· Per jam habis5 slot sewa tersedia
| Chip | Memori | SSD | CPU | GPU | Per jamHabis | Per bulan | Tersedia | |
|---|---|---|---|---|---|---|---|---|
| M5 Ultra | 96 GB | 2 TB | 30 | 64 | $679.00/bln | 5Sewa pre-order | Pre-order | |
| M5 Ultra | 256 GB | 4 TB | 36 | 80 | $1,049.00/bln | 2Sewa pre-order | Pre-order | |
| M5 Ultra | 512 GB | 8 TB | 36 | 80 | $1,749.00/bln | 1Sewa pre-order | Pre-order | |
| M5 Max | 36 GB | 512 GB | 18 | 32 | $249.00/bln | 5Sewa pre-order | Pre-order |
Siap sekarang
Tersedia, satu sampai tiga unit per ukuran. Harganya di atas pre-order karena bisa langsung dipakai. Kirim email ke [email protected] sebelum checkout, dan kami beri tahu persis seberapa cepat mesin Anda siap.
M4 Max · 36 GB
Tersedia512 GB SSD · CPU 14 core · GPU 32 core
$239.00/bln
Sewa$0.45/jam· Per jam habis3 tersediaM4 Max · 48 GB
Tersedia1 TB SSD · CPU 16 core · GPU 40 core
$309.00/bln
Sewa$0.60/jam· Per jam habis2 tersediaM4 Max · 64 GB
Tersedia1 TB SSD · CPU 16 core · GPU 40 core
$389.00/bln
Sewa$0.75/jam· Per jam habis2 tersediaM4 Max · 128 GB
Permintaan tinggi2 TB SSD · CPU 16 core · GPU 40 core
$559.00/bln
Sewa$1.05/jam· Per jam habisTinggal 1M3 Ultra · 96 GB
Permintaan tinggi1 TB SSD · CPU 28 core · GPU 60 core
$479.00/bln
Sewa$0.90/jam· Per jam habisTinggal 1, lalu 10 slot pre-orderM3 Ultra · 256 GB
Permintaan tinggi2 TB SSD · CPU 32 core · GPU 80 core
$819.00/bln
Sewa$1.55/jam· Per jam habisTinggal 1, lalu 5 slot pre-orderM3 Ultra · 512 GB
Permintaan tinggi4 TB SSD · CPU 32 core · GPU 80 core
$1,399.00/bln
Sewa$2.70/jam· Per jam habisTinggal 1, lalu 1 slot pre-orderM2 Ultra · 64 GB
Tersedia1 TB SSD · CPU 24 core · GPU 60 core
$439.00/bln
Sewa$0.85/jam· Per jam habis2 tersediaM2 Ultra · 128 GB
Permintaan tinggi2 TB SSD · CPU 24 core · GPU 60 core
$539.00/bln
Sewa$1.05/jam· Per jam habisTinggal 1M2 Ultra · 192 GB
Permintaan tinggi4 TB SSD · CPU 24 core · GPU 76 core
$689.00/bln
Sewa$1.30/jam· Per jam habisTinggal 1M2 Max · 32 GB
Tersedia512 GB SSD · CPU 12 core · GPU 30 core
$199.00/bln
Sewa$0.40/jam· Per jam habis3 tersediaM2 Max · 64 GB
Tersedia1 TB SSD · CPU 12 core · GPU 38 core
$279.00/bln
Sewa$0.55/jam· Per jam habis2 tersediaM2 Max · 96 GB
Permintaan tinggi2 TB SSD · CPU 12 core · GPU 38 core
$339.00/bln
Sewa$0.65/jam· Per jam habisTinggal 1M1 Ultra · 64 GB
Tersedia1 TB SSD · CPU 20 core · GPU 48 core
$339.00/bln
Sewa$0.65/jam· Per jam habis2 tersediaM1 Ultra · 128 GB
Permintaan tinggi2 TB SSD · CPU 20 core · GPU 64 core
$459.00/bln
Sewa$0.85/jam· Per jam habisTinggal 1M1 Max · 32 GB
Tersedia512 GB SSD · CPU 10 core · GPU 24 core
$159.00/bln
Sewa$0.30/jam· Per jam habis3 tersediaM1 Max · 64 GB
Tersedia1 TB SSD · CPU 10 core · GPU 32 core
$229.00/bln
Sewa$0.45/jam· Per jam habis2 tersedia
| Chip | Memori | SSD | CPU | GPU | Per jamHabis | Per bulan | Tersedia | |
|---|---|---|---|---|---|---|---|---|
| M4 Max | 36 GB | 512 GB | 14 | 32 | $239.00/bln | 3Tersedia | Sewa | |
| M4 Max | 48 GB | 1 TB | 16 | 40 | $309.00/bln | 2Tersedia | Sewa | |
| M4 Max | 64 GB | 1 TB | 16 | 40 | $389.00/bln | 2Tersedia | Sewa | |
| M4 Max | 128 GB | 2 TB | 16 | 40 | $559.00/bln | 1Permintaan tinggi | Sewa | |
| M3 Ultra | 96 GB | 1 TB | 28 | 60 | $479.00/bln | 1Permintaan tinggilalu 10 slot pre-order | Sewa | |
| M3 Ultra | 256 GB | 2 TB | 32 | 80 | $819.00/bln | 1Permintaan tinggilalu 5 slot pre-order | Sewa | |
| M3 Ultra | 512 GB | 4 TB | 32 | 80 | $1,399.00/bln | 1Permintaan tinggilalu 1 slot pre-order | Sewa | |
| M2 Ultra | 64 GB | 1 TB | 24 | 60 | $439.00/bln | 2Tersedia | Sewa | |
| M2 Ultra | 128 GB | 2 TB | 24 | 60 | $539.00/bln | 1Permintaan tinggi | Sewa | |
| M2 Ultra | 192 GB | 4 TB | 24 | 76 | $689.00/bln | 1Permintaan tinggi | Sewa | |
| M2 Max | 32 GB | 512 GB | 12 | 30 | $199.00/bln | 3Tersedia | Sewa | |
| M2 Max | 64 GB | 1 TB | 12 | 38 | $279.00/bln | 2Tersedia | Sewa | |
| M2 Max | 96 GB | 2 TB | 12 | 38 | $339.00/bln | 1Permintaan tinggi | Sewa | |
| M1 Ultra | 64 GB | 1 TB | 20 | 48 | $339.00/bln | 2Tersedia | Sewa | |
| M1 Ultra | 128 GB | 2 TB | 20 | 64 | $459.00/bln | 1Permintaan tinggi | Sewa | |
| M1 Max | 32 GB | 512 GB | 10 | 24 | $159.00/bln | 3Tersedia | Sewa | |
| M1 Max | 64 GB | 1 TB | 10 | 32 | $229.00/bln | 2Tersedia | Sewa |
FAQ
Pertanyaan sebelum memesan.
Masih ragu?
Dokumentasi kami membahas akses, masa sewa, dan pembayaran langkah demi langkah.
Baca konsep dasarnyaBerapa besar memori yang bisa disewa untuk LLM lokal?
Dari 32 GB sampai 512 GB memori terpadu, yang dipakai bersama oleh CPU dan GPU.
Bisakah menjalankan MLX dan llama.cpp?
Bisa. Anda punya hak admin dan memasangnya sendiri, misalnya dengan pip untuk MLX atau Homebrew untuk llama.cpp.
Apakah model 70B muat?
Di 4-bit, model 70B butuh sekitar 42 GB untuk bobot, ditambah sekitar 20 persen untuk konteks dan runtime. Alat kecocokan model di halaman ini memeriksanya terhadap setiap konfigurasi.
Apakah mesinnya dipakai bersama saat model saya berjalan?
Tidak. Satu pemesanan adalah satu Mac Studio fisik, jadi memori dan GPU tidak dibagi dengan pelanggan lain.
Apa yang terjadi pada bobot model saya saat masa sewa berakhir?
Disk dihapus sebelum Mac ditawarkan lagi. Simpan salinan Anda sendiri untuk apa pun yang masih dibutuhkan.
Siap kapan pun Anda butuh.
Tanpa beli rak. Tanpa mesin yang menua di meja di antara rilis. Pesan konfigurasinya, lalu berhenti saat selesai.