Server AI On-Premise: GPU, RAM, dan Penyimpanan yang Dibutuhkan
Kebutuhan server AI ditentukan hampir sepenuhnya oleh ukuran model dan jumlah pengguna serentak. Ini cara menghitungnya sebelum membeli perangkat.
Menjalankan model bahasa di server sendiri berarti Anda menyiapkan sendiri memori kartu grafis (VRAM), RAM, dan penyimpanan. Kesalahan paling umum adalah membeli perangkat sebelum tahu model dan beban kerjanya. Urutan yang benar: tentukan kasus penggunaan, pilih model, hitung memori, baru pilih perangkat.
Berapa VRAM yang dibutuhkan model?
Pegangan kasar: jumlah parameter dikali byte per parameter. Model dengan presisi 16-bit memakai 2 byte per parameter, sedangkan versi terkuantisasi 4-bit memakai sekitar setengah byte. Ditambah ruang untuk konteks percakapan (KV cache) dan overhead, biasanya 10 sampai 30 persen lebih.
- Model 7 miliar parameter: sekitar 14 GB di 16-bit, sekitar 4 sampai 5 GB di 4-bit.
- Model 13 miliar: sekitar 26 GB di 16-bit, sekitar 7 sampai 8 GB di 4-bit.
- Model 70 miliar: sekitar 140 GB di 16-bit, sekitar 35 sampai 40 GB di 4-bit.
Angka di atas perkiraan; kebutuhan nyata berbeda per model dan per perangkat lunak penjalannya, jadi uji dulu sebelum memesan.
Bagaimana jumlah pengguna memengaruhi?
Satu pengguna dan lima puluh pengguna serentak membutuhkan perangkat yang sangat berbeda. Tiap permintaan aktif memakai tambahan memori konteks dan waktu hitung. Tanyakan: berapa pengguna aktif pada jam sibuk, seberapa panjang dokumen rata-rata, dan berapa detik jawaban yang masih bisa diterima. Untuk pilot dengan 5 sampai 10 pengguna, satu server berkapasitas sedang sering cukup.
RAM, CPU, dan penyimpanan
- RAM sistem: sediakan minimal sebesar VRAM total agar model bisa dimuat dengan lancar, lebih baik dua kali lipat.
- CPU: tidak perlu mewah, tetapi cukup jalur PCIe untuk GPU dan NVMe.
- Penyimpanan: gunakan SSD NVMe untuk berkas model (puluhan GB per model) dan basis data vektor bila memakai pencarian dokumen. Siapkan juga ruang untuk dokumen sumber dan cadangan.
- Listrik dan pendingin: GPU server menarik daya besar dan menghasilkan panas. Cek kapasitas listrik dan pendingin ruangan sebelum perangkat datang.
Satu GPU besar atau beberapa GPU kecil?
Model yang muat di satu GPU lebih sederhana dan lebih cepat. Membagi satu model ke beberapa GPU memungkinkan model lebih besar, tetapi menambah kerumitan dan butuh antarmuka yang cukup cepat. Untuk banyak kasus perusahaan, model menengah terkuantisasi di satu GPU sudah memadai.
Kapan sewa lebih masuk akal daripada beli?
Bila beban kerja masih diuji atau pemakaian jarang, menyewa server GPU atau memakai server di pusat data lokal bisa lebih hemat sambil Anda belajar. Beli perangkat sendiri baru masuk akal setelah pilot menunjukkan beban yang stabil dan data memang harus tetap di gedung Anda.
Sentra membantu memilih model dan perangkat dari pilot sampai implementasi. Lihat layanan Private LLM, pengadaan perangkat IT, dan pertimbangan data di artikel ChatGPT untuk perusahaan.
Pertanyaan yang sering diajukan
Berapa GPU minimum untuk asisten AI kantor?
Bergantung model. Model kecil terkuantisasi bisa jalan di satu GPU dengan VRAM belasan GB untuk pilot kecil. Untuk banyak pengguna atau model besar butuh VRAM jauh lebih besar. Hitung dari model dan beban, bukan dari angka umum.
Apakah bisa tanpa GPU?
Bisa untuk model kecil dengan jawaban yang lebih lambat. Untuk pemakaian bersama oleh banyak orang, GPU hampir selalu diperlukan.
Berapa lama pilot sebaiknya berjalan?
Beberapa minggu dengan pertanyaan uji yang sudah disiapkan, cukup untuk menilai ketepatan dan beban sebelum membeli perangkat.
Apakah data benar-benar tidak keluar dari kantor?
Itu tujuan on-premise, tetapi pastikan juga akses jaringan, pencadangan, dan pembaruan perangkat lunak tidak membuka jalur keluar yang tidak diinginkan.
Ceritakan prosesnya. Kami bantu memetakan pendekatan yang paling proporsional.
