Langsung ke konten
M5 Ultra kini tersedia dalam 96, 256, dan 512 GB.
Bookingmac

Model lokal

Sewa Mac Studio untuk LLM lokal.

Di Apple silicon, CPU dan GPU berbagi satu kumpulan memori, sehingga model besar bisa tetap berada di memori. Sewa hingga 512 GB per jam atau per bulan.

Mengapa Mac Studio untuk model AI lokal

Sebuah model berjalan baik jika bobot, konteks, dan cache-nya muat di memori dengan ruang tersisa. Di Mac Studio, memori itu terpadu: MLX dan llama.cpp bisa memakai seluruhnya, sedangkan kartu GPU terpisah dibatasi oleh VRAM-nya sendiri.

Karena setiap pemesanan adalah satu mesin utuh, tidak ada proses lain yang berebut memori. Angka yang Anda ukur adalah model itu di Mac tersebut.

Berapa memori yang dibutuhkan sebuah model

Bobot model memakan kira-kira jumlah parameter dikali byte per parameter. Sisakan 20 persen untuk konteks dan runtime. Sebagai gambaran kasar:

  • 8B parameter: sekitar 5 GB di 4-bit, 10 GB di 8-bit, 19 GB di 16-bit
  • 32B: sekitar 19 GB di 4-bit, 38 GB di 8-bit, 77 GB di 16-bit
  • 70B: sekitar 42 GB di 4-bit, 84 GB di 8-bit, 168 GB di 16-bit
  • 405B: sekitar 243 GB di 4-bit, 486 GB di 8-bit

Konfigurasi mana yang disewa

Memori adalah batas mutlak. Jika model tidak muat, chip yang lebih cepat tidak akan menolong. Untuk model hingga 70B, mulailah dari M3 Ultra 256 GB. Di atas 100B, lihat konfigurasi 512 GB yang menyisakan ruang untuk bobot, konteks, dan KV cache.

Alat di bawah memeriksa ukuran model apa pun terhadap setiap konfigurasi di armada dan menampilkan biayanya per jam.

Menjalankan model di Mac yang Anda sewa

Sambungkan lewat SSH, lalu pasang runtime Anda. Dengan MLX, cukup virtual environment Python dan pip install mlx-lm; dengan llama.cpp, brew install llama.cpp. Perintah lengkapnya ada di panduan model lokal.

Unduh bobot model sekali ke satu folder dan arahkan semua tool ke sana. Salin hasilnya sebelum masa sewa berakhir, karena disk dihapus setelahnya. Lihat transfer file.

Cek model terhadap setiap konfigurasi

Pilih ukuran model dan presisinya. Setiap konfigurasi menunjukkan apakah modelnya muat dan berapa biayanya per jam.

Kecocokan model

Bobot × byte per parameter + 20%

70B parameter

Butuh sekitar42 GB

  • M1 Max · 32 GBTak muat
  • M2 Max · 32 GBTak muat
  • M4 Max · 36 GBTak muat
  • M5 Max · 36 GBTak muat
  • M4 Max · 48 GBMepet
  • M1 Max · 64 GBMuat
  • M2 Max · 64 GBMuat
  • M1 Ultra · 64 GBMuat
  • M4 Max · 64 GBMuat
  • M2 Ultra · 64 GBMuat
  • M2 Max · 96 GBMuat
  • M3 Ultra · 96 GBMuat
  • M5 Ultra · 96 GBMuat
  • M1 Ultra · 128 GBMuat
  • M2 Ultra · 128 GBMuat
  • M4 Max · 128 GBMuat
  • M2 Ultra · 192 GBMuat
  • M3 Ultra · 256 GBMuat
  • M5 Ultra · 256 GBMuat
  • M3 Ultra · 512 GBMuat
  • M5 Ultra · 512 GBMuat

Termurah yang muat: M1 Max · 64 GB seharga $229.00/bln

Sewa sekarang

“Muat” berarti masih tersisa seperempat memori untuk macOS dan tools Anda. “Mepet” masih bisa jalan dengan konteks pendek.

Semua konfigurasi dan harga

Daftar lengkap dalam satu tabel: memori, SSD, jumlah core, tarif per jam dan per bulan, serta jumlah yang tersedia saat ini.

Sewa pre-order

Dipesan sekarang, diserahkan saat Mac terpasang. Harga lebih rendah karena menunggu.

  • M5 Ultra · 96 GB

    Sewa pre-order

    2 TB SSD · CPU 30 core · GPU 64 core

    $679.00/bln$1.25/jam · Per jam habis5 slot sewa tersedia

    Pre-order
  • M5 Ultra · 256 GB

    Sewa pre-order

    4 TB SSD · CPU 36 core · GPU 80 core

    $1,049.00/bln$2.00/jam · Per jam habis2 slot sewa tersedia

    Pre-order
  • M5 Ultra · 512 GB

    Sewa pre-order

    8 TB SSD · CPU 36 core · GPU 80 core

    $1,749.00/bln$3.40/jam · Per jam habis1 slot sewa tersedia

    Pre-order
  • M5 Max · 36 GB

    Sewa pre-order

    512 GB SSD · CPU 18 core · GPU 32 core

    $249.00/bln$0.50/jam · Per jam habis5 slot sewa tersedia

    Pre-order

Siap sekarang

Tersedia, satu sampai tiga unit per ukuran. Harganya di atas pre-order karena bisa langsung dipakai. Kirim email ke [email protected] sebelum checkout, dan kami beri tahu persis seberapa cepat mesin Anda siap.

  • M4 Max · 36 GB

    Tersedia

    512 GB SSD · CPU 14 core · GPU 32 core

    $239.00/bln$0.45/jam · Per jam habis3 tersedia

    Sewa
  • M4 Max · 48 GB

    Tersedia

    1 TB SSD · CPU 16 core · GPU 40 core

    $309.00/bln$0.60/jam · Per jam habis2 tersedia

    Sewa
  • M4 Max · 64 GB

    Tersedia

    1 TB SSD · CPU 16 core · GPU 40 core

    $389.00/bln$0.75/jam · Per jam habis2 tersedia

    Sewa
  • M4 Max · 128 GB

    Permintaan tinggi

    2 TB SSD · CPU 16 core · GPU 40 core

    $559.00/bln$1.05/jam · Per jam habisTinggal 1

    Sewa
  • M3 Ultra · 96 GB

    Permintaan tinggi

    1 TB SSD · CPU 28 core · GPU 60 core

    $479.00/bln$0.90/jam · Per jam habisTinggal 1, lalu 10 slot pre-order

    Sewa
  • M3 Ultra · 256 GB

    Permintaan tinggi

    2 TB SSD · CPU 32 core · GPU 80 core

    $819.00/bln$1.55/jam · Per jam habisTinggal 1, lalu 5 slot pre-order

    Sewa
  • M3 Ultra · 512 GB

    Permintaan tinggi

    4 TB SSD · CPU 32 core · GPU 80 core

    $1,399.00/bln$2.70/jam · Per jam habisTinggal 1, lalu 1 slot pre-order

    Sewa
  • M2 Ultra · 64 GB

    Tersedia

    1 TB SSD · CPU 24 core · GPU 60 core

    $439.00/bln$0.85/jam · Per jam habis2 tersedia

    Sewa
  • M2 Ultra · 128 GB

    Permintaan tinggi

    2 TB SSD · CPU 24 core · GPU 60 core

    $539.00/bln$1.05/jam · Per jam habisTinggal 1

    Sewa
  • M2 Ultra · 192 GB

    Permintaan tinggi

    4 TB SSD · CPU 24 core · GPU 76 core

    $689.00/bln$1.30/jam · Per jam habisTinggal 1

    Sewa
  • M2 Max · 32 GB

    Tersedia

    512 GB SSD · CPU 12 core · GPU 30 core

    $199.00/bln$0.40/jam · Per jam habis3 tersedia

    Sewa
  • M2 Max · 64 GB

    Tersedia

    1 TB SSD · CPU 12 core · GPU 38 core

    $279.00/bln$0.55/jam · Per jam habis2 tersedia

    Sewa
  • M2 Max · 96 GB

    Permintaan tinggi

    2 TB SSD · CPU 12 core · GPU 38 core

    $339.00/bln$0.65/jam · Per jam habisTinggal 1

    Sewa
  • M1 Ultra · 64 GB

    Tersedia

    1 TB SSD · CPU 20 core · GPU 48 core

    $339.00/bln$0.65/jam · Per jam habis2 tersedia

    Sewa
  • M1 Ultra · 128 GB

    Permintaan tinggi

    2 TB SSD · CPU 20 core · GPU 64 core

    $459.00/bln$0.85/jam · Per jam habisTinggal 1

    Sewa
  • M1 Max · 32 GB

    Tersedia

    512 GB SSD · CPU 10 core · GPU 24 core

    $159.00/bln$0.30/jam · Per jam habis3 tersedia

    Sewa
  • M1 Max · 64 GB

    Tersedia

    1 TB SSD · CPU 10 core · GPU 32 core

    $229.00/bln$0.45/jam · Per jam habis2 tersedia

    Sewa

FAQ

Pertanyaan sebelum memesan.

Masih ragu?

Dokumentasi kami membahas akses, masa sewa, dan pembayaran langkah demi langkah.

Baca konsep dasarnya
Berapa besar memori yang bisa disewa untuk LLM lokal?

Dari 32 GB sampai 512 GB memori terpadu, yang dipakai bersama oleh CPU dan GPU.

Bisakah menjalankan MLX dan llama.cpp?

Bisa. Anda punya hak admin dan memasangnya sendiri, misalnya dengan pip untuk MLX atau Homebrew untuk llama.cpp.

Apakah model 70B muat?

Di 4-bit, model 70B butuh sekitar 42 GB untuk bobot, ditambah sekitar 20 persen untuk konteks dan runtime. Alat kecocokan model di halaman ini memeriksanya terhadap setiap konfigurasi.

Apakah mesinnya dipakai bersama saat model saya berjalan?

Tidak. Satu pemesanan adalah satu Mac Studio fisik, jadi memori dan GPU tidak dibagi dengan pelanggan lain.

Apa yang terjadi pada bobot model saya saat masa sewa berakhir?

Disk dihapus sebelum Mac ditawarkan lagi. Simpan salinan Anda sendiri untuk apa pun yang masih dibutuhkan.

Siap kapan pun Anda butuh.

Tanpa beli rak. Tanpa mesin yang menua di meja di antara rilis. Pesan konfigurasinya, lalu berhenti saat selesai.