Menjalankan AI di Komputermu Sendiri

[mu_enrico]

Sudah beberapa waktu ini ane main-main dengan AI lokal yang diinstall di PC. Ya akhirnya ane jadi sedikit banyak tau kenapa kok GPU ber-VRAM besar sangat berharga, dan juga kenapa RAM juga langka.
Anyway, kita langsung ke topik.

1. Install Ollama (atau LMStudio)
Software ini berfungsi untuk download LLM (model AI), dan menjalankan model tsb. Berhubung ane pakainya Ollama ya begini bentuknya hanya seperti chat window:

- penampakan olama -

Download Ollama di: https://ollama.com/download

2. Install Model AI
Instalasi dapat dilakukan dengan dua cara (yang ane pakai), yang pertama pilih model dan chat random di GUI.
Nanti Ollama akan langsung install dan jalankan, atau yang kedua buka CMD (command prompt) dan ketik misalnya ollama run qwen3


- installasi mode GUI -

Nah pada pemilihan model inilah yang asyik! Kalau menggunakan GUI tentu modelnya terbatas karena tidak semua dilist.
Maka dari itu ane sarankan googling atau suruh ChatGPT ngasih prompt tinggal copy paste instruksi run tsb di command prompt.


- code copas command prompt -
Sumur: https://ollama.com/library/qwen3:8b

3. Kalau sudah terinstal maka AI lokal agan siap digunakan.
Super mudah bukan? Ya tidak sampai 30 menit ane sudah bisa bermain.
Tapi tergantung koneksi internet karena satu model itu besarnya hitungan GB. Kalau model yang ane (mampu) pakai kisaran <7GB


- list model yang terinstall di PC ane -


Gimana memilih model yang tepat?

Nah inilah batasan paling menyebalkan karena pemilihan model ditentukan terutama oleh besarnya VRAM PC agan.
Kalau hanya 8GB sama kek PC ane. Mentok bisa pakai 12B, paling stabil 7-8B. Ane sempat install 30B jalan sih, tapi terlalu lama menunggu AI berpikir dan mengetik.

Kata B di akhir model itu menyatakan Billion parameter, yang artinya semakin tinggi B semakin besar otaknya.
Kalau kita bandingkan ChatGPT misalnya, berdasarkan penilaian dia sendiri ya:
- Free di 7–10B
- GO di 13-15B
- Plus di 20–34B

Kemudian ada varian lain misalnya varian "instruct" itu lebih dikhususkan untuk kerja yang disuruh-suruh, bukan kerja mikir.
Kalau agan lebih banyak tanya ya download aja versi biasa.

Keunggulan menjalankan AI di PC sendiri itu tentu terkait privasi dan pembatasan.
Kalau agan pakai AI dari jasa lain macam Gemini, ChatGPT, Claude, dsb itu nanti AInya tidak mau mengerjakan instruksi tertentu, atau tidak mau menjawab kalau ditanya hal tertentu.
Belum lagi data chat akan aman di PC agan.

Selain itu ada context juga yang menentukan ingatan percakapan AI. Semakin besar context semakin nyambung dia dengan instruksi sebelumnya.


- settings -> context -


Apakah B itu terasa?
YA! Semakin besar B maka semakin banyak instruksi yang bisa diperintahkan, reasoningnya juga meningkat.
Kalau versi 8B yang ane pakai misalnya, ane suruh:
1. Tulis
2. Pakai Bahasa Indonesia Formal
3. Tentang Kripto
4. Panjang 500 kata
5. dst

Itu nanti semakin kebawah semakin diignore sama si AI karena botol. Alhasil udah nulis perintah capek-capek tapi hasilnya busuk dan melanggar instruksi.

Ini contoh perintah "jelaskan Bitcoin" di berbagai model AI

QWEN 2.5 Instruct 7B


QWEN 3 8B


QWEN 3 30B


Kenapa cuma QWEN? Ya inilah yang tersisa di PC ane, bbrp waktu lalu ane sudah bersih-bersih dan cocoknya memang QWEN. Bukan berarti yang lain jelek, cuma masalah selera dan kalau belum dicoba agan belum tau rasanya

Daily driver disuruh -> QWEN 2.5 Instruct 7B
Daily driver tanya-tanya -> QWEN 3 8B
Kalau pingin testing hal berat -> QWEN 3 30B (cuma sangat lemot dan tidak stabil)

Terlihat paling tidak ada perubahan bullet/icon yang menarik pembaca. Kalau untuk instruksi simpel ini sih tidak banyak bedanya. Tapi tetap lebih detil yang otaknya besar, kesalahan pun minimal. Cuma nanti makin tinggi makin interaktif dan tidak pelit memberi info. Belajar Bitcoin makin nikmat pakai AI, terutama yang B-nya besar.

Untuk saat ini berbahagialah yang sudah punya GPU minimal 16GB karena bisa jalankan AI setingkat minimal ChatGPT GO, jadi tidak usah bayar lagi

Gimana tertarik? Ane sih bermimpi bisa jalankan 30B lancar biar bisa enak punya asisten pribadi yang powerfull.
Mungkin ada master yang mau ngasih tips dan trik, dipersilahkan karena ane baru tahap "bermain-main" dengan AI.

[Chikito]

Gimana memilih model yang tepat?

Nah inilah batasan paling menyebalkan karena pemilihan model ditentukan terutama oleh besarnya VRAM PC agan.
Kalau hanya 8GB sama kek PC ane. Mentok bisa pakai 12B, paling stabil 7-8B. Ane sempat install 30B jalan sih, tapi terlalu lama menunggu AI berpikir dan mengetik.

Tempo hari pernah nyoba local (offline) gini, sudah melalui semua step di atas, tapi karena PC saya terbatas, untuk menjalankan perintah lama banget, tidak saya lanjutkan (karena awam dan salah milih library). Kalau punya PC high spek yg GPU dan Ramnya mantap, sangat cocok, karena AI ginilah yg bikin Vram mahal dan langka sekarang ini. Dulu kan hanya gamer, atau gak miner, sekarang makin parah developer gede semua main di AI ini.

Sebagai awam masalah ginian, agak bingung, anggaplah AI kayak chat GPT, gemini, grok, dll itu bisa dapat data langsung (ketika kita perintahkan) dari internet. Nah, kalau offline gini, dapat data dan informasinya dari mana?, apakah semua tersimpan di library-nya?. tentunya sangat besar sekali dong?, apa lagi misal contoh: "jelaskan bitcoin", kan data tentang bitcoin tidak ngambil langsung dari internet, lalu kalau kita tanya soal lain-lain, misal tentang codingnya segala macam, tentu butuh data yang melebihi dari blockchain btc itu sendiri di library.

Offline jelas lebih baik karena lebih privasi dan aman, tapi kemungkinan besar apa yang kita perintahkan tidak banyak diketahui oleh AI itu sendiri.

[AakZaki]

-snip-
Untuk saat ini berbahagialah yang sudah punya GPU minimal 16GB karena bisa jalankan AI setingkat minimal ChatGPT GO, jadi tidak usah bayar lagi

Gimana tertarik? Ane sih bermimpi bisa jalankan 30B lancar biar bisa enak punya asisten pribadi yang powerfull.
Mungkin ada master yang mau ngasih tips dan trik, dipersilahkan karena ane baru tahap "bermain-main" dengan AI.

Secara Teknik menarik mas, apalagi bisa memanfaatkan fitur Premium dengan Gratis. namun saya sendiri tidak ada keperluan mendesak untuk menjalankannya AI. apalagi yang melibatkan storage atau RAM yang besar, mungkin saya akan berfikir dua kali.

Berdasarkan data historis thread yang teknis semacam ini cenderung sepi, jangankan yang melibatkan storage seperti ini, thread yang dibuat untuk fitur kenyamanan seperti ini saja hanya di kuasai oleh sekitar 3-5 orang saja. Jujur saya prihatin melihat thread ini sudah dua hari namun tidak ada yang menyentuh kecuali Chikito dan saya sendiri, namun saya sendiri tidak sinis dengan Thread seperti ini justru saya apresiasi karena dengan nya informasi baru telah muncul.

Namun orang-orang disini lebih memikirkan makan Gratis mas 

[MAAManda]

Ok, saya sudah coba pasang software-nya, tapi berakhir gagal karena saat mau eksekusi prompt masih perlu mengunduh data yang tidak sedikit. Cara seperti ini hanya cocok dengan pengguna PC dengan spek tinggi, kalau untuk orang seperti saya memang sudah betul pakai yang online saja.

Code:

max retries exceeded: write C:\Users\ASUS\.ollama\models\blobs\sha256-3e4cb14174460404e7a233e531675303b2fbf7749c02f91864fe311ab6344e4f-partial: There is not enough space on the disk.

Yang mau coba-coba, jangan gegabah kalau punya spesifikasi PC yang rendah, mungkin bisa diawali pakai gemma3:270m (292MB) atau gemma3:1b (815MB) terlebih dahulu.

[mu_enrico]

Sebagai awam masalah ginian, agak bingung, anggaplah AI kayak chat GPT, gemini, grok, dll itu bisa dapat data langsung (ketika kita perintahkan) dari internet. Nah, kalau offline gini, dapat data dan informasinya dari mana?, apakah semua tersimpan di library-nya?. tentunya sangat besar sekali dong?, apa lagi misal contoh: "jelaskan bitcoin", kan data tentang bitcoin tidak ngambil langsung dari internet, lalu kalau kita tanya soal lain-lain, misal tentang codingnya segala macam, tentu butuh data yang melebihi dari blockchain btc itu sendiri di library.

Offline jelas lebih baik karena lebih privasi dan aman, tapi kemungkinan besar apa yang kita perintahkan tidak banyak diketahui oleh AI itu sendiri.

Local AI itu tau konteks "dunia luar" sampai ketika dia dilatih. Jadi bisa dicek pada tanggal release model atau tanya modelnya sendiri "kamu dilatih sampai tahun berapa?" atau "kamu tau berita sampai tahun berapa?" nanti dia akan menjawab. Jadi kalau dibilang tidak banyak tau, ya tau banyak, cuma tidak up to date. Local AI juga bisa melakukan akses internet dengan beberapa metode, namun ane belum melakukan eksperimen dengan hal ini. Penggunaan ane tidak menuntut AI untuk tau konteks luar sampai hari ini.

Berdasarkan data historis thread yang teknis semacam ini cenderung sepi, jangankan yang melibatkan storage seperti ini, thread yang dibuat untuk fitur kenyamanan seperti ini saja hanya di kuasai oleh sekitar 3-5 orang saja. Jujur saya prihatin melihat thread ini sudah dua hari namun tidak ada yang menyentuh kecuali Chikito dan saya sendiri, namun saya sendiri tidak sinis dengan Thread seperti ini justru saya apresiasi karena dengan nya informasi baru telah muncul.

Ane cuma berbagi informasi saja gan, tidak terlalu memikirkan mau dibaca atau tidak, dsb. Makanya thread ane terlihat random karena ane hanya ingin berbagi apa yang pada saat itu menarik buat ane

Latar belakangnya adalah ketika shopee membagikan voucher 3 bulan ChatGPT plus, pada saat ane pakai, ane sangat menikmati manfaat AI tsb. Dan setelah lewat 3 bulan gratisan, ane menghadapi 2 pilihan, pakai gratisan atau bayar bulanan sekitar 350rb (kalau ga salah). Makanya ane berpikir solusi yang tidak menguras dompet... Dan ketemulah local AI. Hanya saja yang ane bisa jalankan adalah yang beda tipis dengan gratisan

Yang mau coba-coba, jangan gegabah kalau punya spesifikasi PC yang rendah, mungkin bisa diawali pakai gemma3:270m (292MB) atau gemma3:1b (815MB) terlebih dahulu.

Masa 7GB-an aja ga ada gan free space? Kapasitas penyimpanan itu murah dan mudah diekspansi. Batasan sebenarnya itu di VRAM.
Hapus dulu koleksi bokep, atau pindahkan ke HDD eksternal.

[MAAManda]

Masa 7GB-an aja ga ada gan free space? Kapasitas penyimpanan itu murah dan mudah diekspansi. Batasan sebenarnya itu di VRAM.
Hapus dulu koleksi bokep, atau pindahkan ke HDD eksternal.

Sumber Gambar: PC

Diatas om bisa lihat sendiri berapa storage yang tersisa, itu juga karena sudah saya uninstall kembali Ollama-nya. Alternatifnya saya bisa pakai D: yang masih punya 344GB free storage, tapi takut semakin berat laptopnya. Laptop dipakai untuk keperluan pekerjaan ke sekolah juga, takut mengganggu KBM. Di Q3 saya punya rencana mau rakit PC sendiri, mungkin disitu waktu yang tepat untuk ngulik semua tutorial yang pernah saya lihat di SFI tapi belum sempat dieksekusi.

[mu_enrico]

Diatas om bisa lihat sendiri berapa storage yang tersisa, itu juga karena sudah saya uninstall kembali Ollama-nya. Alternatifnya saya bisa pakai D: yang masih punya 344GB free storage, tapi takut semakin berat laptopnya. Laptop dipakai untuk keperluan pekerjaan ke sekolah juga, takut mengganggu KBM. Di Q3 saya punya rencana mau rakit PC sendiri, mungkin disitu waktu yang tepat untuk ngulik semua tutorial yang pernah saya lihat di SFI tapi belum sempat dieksekusi.

Di Ollama, model bisa dipindah ke drive lain:


Tapi memang Ollama-nya ada di C.

---

Kalau mau semua di D: pakai LM Studio, dan sepertinya ane saat ini lebih senang pakai LM Studio karena bisa browsing-browsing model dengan mudah.

Installasi LM Studio, bisa di drive lain:


Lokasi kalau mau pindah model ke drive lain:


Setelah ane mencoba keduanya, memang LM Studio lebih banyak settingan GUI, lebih cantik, dan lengkap fiturnya. Namun, ane masih melihat kalau pertama penggunaan lebih cocok Ollama karena sangat ringkas. Kalau ane saat awal langsung pakai LM Studio akan sangat kebingungan.