Menjalankan AI di Komputermu Sendiri

[mu_enrico]

Sudah beberapa waktu ini ane main-main dengan AI lokal yang diinstall di PC. Ya akhirnya ane jadi sedikit banyak tau kenapa kok GPU ber-VRAM besar sangat berharga, dan juga kenapa RAM juga langka.
Anyway, kita langsung ke topik.

1. Install Ollama (atau LMStudio)
Software ini berfungsi untuk download LLM (model AI), dan menjalankan model tsb. Berhubung ane pakainya Ollama ya begini bentuknya hanya seperti chat window:

- penampakan olama -

Download Ollama di: https://ollama.com/download

2. Install Model AI
Instalasi dapat dilakukan dengan dua cara (yang ane pakai), yang pertama pilih model dan chat random di GUI.
Nanti Ollama akan langsung install dan jalankan, atau yang kedua buka CMD (command prompt) dan ketik misalnya ollama run qwen3


- installasi mode GUI -

Nah pada pemilihan model inilah yang asyik! Kalau menggunakan GUI tentu modelnya terbatas karena tidak semua dilist.
Maka dari itu ane sarankan googling atau suruh ChatGPT ngasih prompt tinggal copy paste instruksi run tsb di command prompt.


- code copas command prompt -
Sumur: https://ollama.com/library/qwen3:8b

3. Kalau sudah terinstal maka AI lokal agan siap digunakan.
Super mudah bukan? Ya tidak sampai 30 menit ane sudah bisa bermain.
Tapi tergantung koneksi internet karena satu model itu besarnya hitungan GB. Kalau model yang ane (mampu) pakai kisaran <7GB


- list model yang terinstall di PC ane -


Gimana memilih model yang tepat?

Nah inilah batasan paling menyebalkan karena pemilihan model ditentukan terutama oleh besarnya VRAM PC agan.
Kalau hanya 8GB sama kek PC ane. Mentok bisa pakai 12B, paling stabil 7-8B. Ane sempat install 30B jalan sih, tapi terlalu lama menunggu AI berpikir dan mengetik.

Kata B di akhir model itu menyatakan Billion parameter, yang artinya semakin tinggi B semakin besar otaknya.
Kalau kita bandingkan ChatGPT misalnya, berdasarkan penilaian dia sendiri ya:
- Free di 7–10B
- GO di 13-15B
- Plus di 20–34B

Kemudian ada varian lain misalnya varian "instruct" itu lebih dikhususkan untuk kerja yang disuruh-suruh, bukan kerja mikir.
Kalau agan lebih banyak tanya ya download aja versi biasa.

Keunggulan menjalankan AI di PC sendiri itu tentu terkait privasi dan pembatasan.
Kalau agan pakai AI dari jasa lain macam Gemini, ChatGPT, Claude, dsb itu nanti AInya tidak mau mengerjakan instruksi tertentu, atau tidak mau menjawab kalau ditanya hal tertentu.
Belum lagi data chat akan aman di PC agan.

Selain itu ada context juga yang menentukan ingatan percakapan AI. Semakin besar context semakin nyambung dia dengan instruksi sebelumnya.


- settings -> context -


Apakah B itu terasa?
YA! Semakin besar B maka semakin banyak instruksi yang bisa diperintahkan, reasoningnya juga meningkat.
Kalau versi 8B yang ane pakai misalnya, ane suruh:
1. Tulis
2. Pakai Bahasa Indonesia Formal
3. Tentang Kripto
4. Panjang 500 kata
5. dst

Itu nanti semakin kebawah semakin diignore sama si AI karena botol. Alhasil udah nulis perintah capek-capek tapi hasilnya busuk dan melanggar instruksi.

Ini contoh perintah "jelaskan Bitcoin" di berbagai model AI

QWEN 2.5 Instruct 7B


QWEN 3 8B


QWEN 3 30B


Kenapa cuma QWEN? Ya inilah yang tersisa di PC ane, bbrp waktu lalu ane sudah bersih-bersih dan cocoknya memang QWEN. Bukan berarti yang lain jelek, cuma masalah selera dan kalau belum dicoba agan belum tau rasanya

Daily driver disuruh -> QWEN 2.5 Instruct 7B
Daily driver tanya-tanya -> QWEN 3 8B
Kalau pingin testing hal berat -> QWEN 3 30B (cuma sangat lemot dan tidak stabil)

Terlihat paling tidak ada perubahan bullet/icon yang menarik pembaca. Kalau untuk instruksi simpel ini sih tidak banyak bedanya. Tapi tetap lebih detil yang otaknya besar, kesalahan pun minimal. Cuma nanti makin tinggi makin interaktif dan tidak pelit memberi info. Belajar Bitcoin makin nikmat pakai AI, terutama yang B-nya besar.

Untuk saat ini berbahagialah yang sudah punya GPU minimal 16GB karena bisa jalankan AI setingkat minimal ChatGPT GO, jadi tidak usah bayar lagi

Gimana tertarik? Ane sih bermimpi bisa jalankan 30B lancar biar bisa enak punya asisten pribadi yang powerfull.
Mungkin ada master yang mau ngasih tips dan trik, dipersilahkan karena ane baru tahap "bermain-main" dengan AI.

[Chikito]

Gimana memilih model yang tepat?

Nah inilah batasan paling menyebalkan karena pemilihan model ditentukan terutama oleh besarnya VRAM PC agan.
Kalau hanya 8GB sama kek PC ane. Mentok bisa pakai 12B, paling stabil 7-8B. Ane sempat install 30B jalan sih, tapi terlalu lama menunggu AI berpikir dan mengetik.

Tempo hari pernah nyoba local (offline) gini, sudah melalui semua step di atas, tapi karena PC saya terbatas, untuk menjalankan perintah lama banget, tidak saya lanjutkan (karena awam dan salah milih library). Kalau punya PC high spek yg GPU dan Ramnya mantap, sangat cocok, karena AI ginilah yg bikin Vram mahal dan langka sekarang ini. Dulu kan hanya gamer, atau gak miner, sekarang makin parah developer gede semua main di AI ini.

Sebagai awam masalah ginian, agak bingung, anggaplah AI kayak chat GPT, gemini, grok, dll itu bisa dapat data langsung (ketika kita perintahkan) dari internet. Nah, kalau offline gini, dapat data dan informasinya dari mana?, apakah semua tersimpan di library-nya?. tentunya sangat besar sekali dong?, apa lagi misal contoh: "jelaskan bitcoin", kan data tentang bitcoin tidak ngambil langsung dari internet, lalu kalau kita tanya soal lain-lain, misal tentang codingnya segala macam, tentu butuh data yang melebihi dari blockchain btc itu sendiri di library.

Offline jelas lebih baik karena lebih privasi dan aman, tapi kemungkinan besar apa yang kita perintahkan tidak banyak diketahui oleh AI itu sendiri.

[AakZaki]

-snip-
Untuk saat ini berbahagialah yang sudah punya GPU minimal 16GB karena bisa jalankan AI setingkat minimal ChatGPT GO, jadi tidak usah bayar lagi

Gimana tertarik? Ane sih bermimpi bisa jalankan 30B lancar biar bisa enak punya asisten pribadi yang powerfull.
Mungkin ada master yang mau ngasih tips dan trik, dipersilahkan karena ane baru tahap "bermain-main" dengan AI.

Secara Teknik menarik mas, apalagi bisa memanfaatkan fitur Premium dengan Gratis. namun saya sendiri tidak ada keperluan mendesak untuk menjalankannya AI. apalagi yang melibatkan storage atau RAM yang besar, mungkin saya akan berfikir dua kali.

Berdasarkan data historis thread yang teknis semacam ini cenderung sepi, jangankan yang melibatkan storage seperti ini, thread yang dibuat untuk fitur kenyamanan seperti ini saja hanya di kuasai oleh sekitar 3-5 orang saja. Jujur saya prihatin melihat thread ini sudah dua hari namun tidak ada yang menyentuh kecuali Chikito dan saya sendiri, namun saya sendiri tidak sinis dengan Thread seperti ini justru saya apresiasi karena dengan nya informasi baru telah muncul.

Namun orang-orang disini lebih memikirkan makan Gratis mas 

[MAAManda]

Ok, saya sudah coba pasang software-nya, tapi berakhir gagal karena saat mau eksekusi prompt masih perlu mengunduh data yang tidak sedikit. Cara seperti ini hanya cocok dengan pengguna PC dengan spek tinggi, kalau untuk orang seperti saya memang sudah betul pakai yang online saja.

Code:

max retries exceeded: write C:\Users\ASUS\.ollama\models\blobs\sha256-3e4cb14174460404e7a233e531675303b2fbf7749c02f91864fe311ab6344e4f-partial: There is not enough space on the disk.

Yang mau coba-coba, jangan gegabah kalau punya spesifikasi PC yang rendah, mungkin bisa diawali pakai gemma3:270m (292MB) atau gemma3:1b (815MB) terlebih dahulu.

[mu_enrico]

Sebagai awam masalah ginian, agak bingung, anggaplah AI kayak chat GPT, gemini, grok, dll itu bisa dapat data langsung (ketika kita perintahkan) dari internet. Nah, kalau offline gini, dapat data dan informasinya dari mana?, apakah semua tersimpan di library-nya?. tentunya sangat besar sekali dong?, apa lagi misal contoh: "jelaskan bitcoin", kan data tentang bitcoin tidak ngambil langsung dari internet, lalu kalau kita tanya soal lain-lain, misal tentang codingnya segala macam, tentu butuh data yang melebihi dari blockchain btc itu sendiri di library.

Offline jelas lebih baik karena lebih privasi dan aman, tapi kemungkinan besar apa yang kita perintahkan tidak banyak diketahui oleh AI itu sendiri.

Local AI itu tau konteks "dunia luar" sampai ketika dia dilatih. Jadi bisa dicek pada tanggal release model atau tanya modelnya sendiri "kamu dilatih sampai tahun berapa?" atau "kamu tau berita sampai tahun berapa?" nanti dia akan menjawab. Jadi kalau dibilang tidak banyak tau, ya tau banyak, cuma tidak up to date. Local AI juga bisa melakukan akses internet dengan beberapa metode, namun ane belum melakukan eksperimen dengan hal ini. Penggunaan ane tidak menuntut AI untuk tau konteks luar sampai hari ini.

Berdasarkan data historis thread yang teknis semacam ini cenderung sepi, jangankan yang melibatkan storage seperti ini, thread yang dibuat untuk fitur kenyamanan seperti ini saja hanya di kuasai oleh sekitar 3-5 orang saja. Jujur saya prihatin melihat thread ini sudah dua hari namun tidak ada yang menyentuh kecuali Chikito dan saya sendiri, namun saya sendiri tidak sinis dengan Thread seperti ini justru saya apresiasi karena dengan nya informasi baru telah muncul.

Ane cuma berbagi informasi saja gan, tidak terlalu memikirkan mau dibaca atau tidak, dsb. Makanya thread ane terlihat random karena ane hanya ingin berbagi apa yang pada saat itu menarik buat ane

Latar belakangnya adalah ketika shopee membagikan voucher 3 bulan ChatGPT plus, pada saat ane pakai, ane sangat menikmati manfaat AI tsb. Dan setelah lewat 3 bulan gratisan, ane menghadapi 2 pilihan, pakai gratisan atau bayar bulanan sekitar 350rb (kalau ga salah). Makanya ane berpikir solusi yang tidak menguras dompet... Dan ketemulah local AI. Hanya saja yang ane bisa jalankan adalah yang beda tipis dengan gratisan

Yang mau coba-coba, jangan gegabah kalau punya spesifikasi PC yang rendah, mungkin bisa diawali pakai gemma3:270m (292MB) atau gemma3:1b (815MB) terlebih dahulu.

Masa 7GB-an aja ga ada gan free space? Kapasitas penyimpanan itu murah dan mudah diekspansi. Batasan sebenarnya itu di VRAM.
Hapus dulu koleksi bokep, atau pindahkan ke HDD eksternal.

[MAAManda]

Masa 7GB-an aja ga ada gan free space? Kapasitas penyimpanan itu murah dan mudah diekspansi. Batasan sebenarnya itu di VRAM.
Hapus dulu koleksi bokep, atau pindahkan ke HDD eksternal.

Sumber Gambar: PC

Diatas om bisa lihat sendiri berapa storage yang tersisa, itu juga karena sudah saya uninstall kembali Ollama-nya. Alternatifnya saya bisa pakai D: yang masih punya 344GB free storage, tapi takut semakin berat laptopnya. Laptop dipakai untuk keperluan pekerjaan ke sekolah juga, takut mengganggu KBM. Di Q3 saya punya rencana mau rakit PC sendiri, mungkin disitu waktu yang tepat untuk ngulik semua tutorial yang pernah saya lihat di SFI tapi belum sempat dieksekusi.

[mu_enrico]

Diatas om bisa lihat sendiri berapa storage yang tersisa, itu juga karena sudah saya uninstall kembali Ollama-nya. Alternatifnya saya bisa pakai D: yang masih punya 344GB free storage, tapi takut semakin berat laptopnya. Laptop dipakai untuk keperluan pekerjaan ke sekolah juga, takut mengganggu KBM. Di Q3 saya punya rencana mau rakit PC sendiri, mungkin disitu waktu yang tepat untuk ngulik semua tutorial yang pernah saya lihat di SFI tapi belum sempat dieksekusi.

Di Ollama, model bisa dipindah ke drive lain:


Tapi memang Ollama-nya ada di C.

---

Kalau mau semua di D: pakai LM Studio, dan sepertinya ane saat ini lebih senang pakai LM Studio karena bisa browsing-browsing model dengan mudah.

Installasi LM Studio, bisa di drive lain:


Lokasi kalau mau pindah model ke drive lain:


Setelah ane mencoba keduanya, memang LM Studio lebih banyak settingan GUI, lebih cantik, dan lengkap fiturnya. Namun, ane masih melihat kalau pertama penggunaan lebih cocok Ollama karena sangat ringkas. Kalau ane saat awal langsung pakai LM Studio akan sangat kebingungan.

[Chikito]

Saya nemu tool lain selain Ollama untuk menjalankan AI offline, namanya Nut studio

https://nutstudio.imyfone.com/



di nut ini tidak perlu bingung pilih model yang sesuai dengan spek PC, karena kalau kita mau pilih model apa?, Nut sudah memberikan rekomendasi, kalau centang hijau, artinya compatible dengan PC, tapi kalau silang merah artinya tidak cocok dan tidak bisa diinstall kayak GPT-OSS-20b, GPT-OSS-120b, dll

cuma saya juga agak bermasalah ketika install modelnya. Dari kemaren gak bisa2, entah masalah dengan jaringan, aplikasi, atau PC-nya

Jujur saya prihatin melihat thread ini sudah dua hari namun tidak ada yang menyentuh kecuali Chikito dan saya sendiri, namun saya sendiri tidak sinis dengan Thread seperti ini justru saya apresiasi karena dengan nya informasi baru telah muncul.

mungkin mereka pikir tread ini agak hi tech, sehingga malas mampir. Juga spek PC tuk ngejalani AI ini harus tinggi, kalau di laptop biasa tentunya berat.

Sumber Gambar: PC

Diatas om bisa lihat sendiri berapa storage yang tersisa, itu juga karena sudah saya uninstall kembali Ollama-nya. Alternatifnya saya bisa pakai D: yang masih punya 344GB free storage, tapi takut semakin berat laptopnya. Laptop dipakai untuk keperluan pekerjaan ke sekolah juga, takut mengganggu KBM. Di Q3 saya punya rencana mau rakit PC sendiri, mungkin disitu waktu yang tepat untuk ngulik semua tutorial yang pernah saya lihat di SFI tapi belum sempat dieksekusi.

Kalau setahu saya, untuk running AI offline ini lebih dibutuhkan CPU, RAM dan GPU yang mumpuni gan. HD memang perlu, tapi untuk mengeksekusi perintahnya GPU penting untuk kecepatan respon, dan RAM dibutuhkan untuk memori model yang dipakai. Sedangkan CPU tentunya butuh i5 atau ryzen 5 ke atas, RAM 16 GB, Dan GPU (walau optional) setidaknya 4GB biar gak lemot chatGPT nya pas dia running teksnya.

https://dev.to/maxreed_918/how-to-run-open-source-llms-offline-in-2025-4adi#


Saya juga bereksperimen download ollama



lalu nyoba yg model 30b, error karena memori gak cukup.



untuk saat ini hanya bisa yg 12b saja



entar kapan2 upgrade PC lalu unduh yg 20-30 b biar lebih mantap.

[mu_enrico]

Ternyata selain official AI build, di LM Studio bisa unduh AI yang community build.
Ada versi Imatrix yang katanya bisa membuat AI naik tingkat.

Maksudnya begini, di model ada kombinasi huruf dan angka seperti ini Q4_K_M nah ini kualitasnya lebih tinggi dari Q3_K_M, tapi lebih berat di GPU.
Biasanya sweet spot antara kualitas AI dan penggunaan GPU -> kecepatan itu ada di Q4_K_M.
Namun dengan versi Imatrix, Q3 bisa setara dengan Q4, jadi kualitasnya setara tapi lebih irit GPU -> lebih cepat.

Kemudian ada versi uncensored atau derestricted, yang membuat tidak ada batasan aturan untuk AI. Misalnya bikin konten porno atau judi

Maka dari itu, ane sekarang pakai GPT-OSS-20B i1 (imatrix) derestricted Q3_K_M. So far puas dan bisa jalan dengan kecepatan kurleb 20 token/s.

Karena file berupa .gguf untuk model yang community build, terlalu repot untuk menjalankan di Ollama. Ane sudah coba build .gguf tersebut, ada yang berhasil dan ada yang gagal karena harus memasukkan template. Makanya pakai LM Studio aja.

[MAAManda]

Kalau setahu saya, untuk running AI offline ini lebih dibutuhkan CPU, RAM dan GPU yang mumpuni gan. HD memang perlu, tapi untuk mengeksekusi perintahnya GPU penting untuk kecepatan respon, dan RAM dibutuhkan untuk memori model yang dipakai. Sedangkan CPU tentunya butuh i5 atau ryzen 5 ke atas, RAM 16 GB, Dan GPU (walau optional) setidaknya 4GB biar gak lemot chatGPT nya pas dia running teksnya.

Sudah cocok berarti saya skip saja om, dari semua syarat kelayakan, laptop saya masih jauh dari kata layak. Karena saya juga sebenarnya kurang fasih untuk hal-hal teknis seperti ini, jadi kadang kala saya hanya meraba saja & mencoba-coba siapa tahu layak.

Sedikit informasi spesifikasi laptop saya bisa dilihat dibawah:

Processor: AMD Ryzen 3 3250U with Radeon Graphics, 2600 Mhz, 2 Core(s), 4 Logical Processor(s)
Installed Physical Memory (RAM): 8,00 GB
Total Physical Memory: 5,95 GB
Available Physical Memory: 757 MB
Total Virtual Memory: 9,70 GB
Available Virtual Memory: 2,64 GB

Bagaimana, benar kurang layak, kan?

[joniboini]

Ane sudah beberapa bulan menjalankan local LLM. Walau untuk kebutuhan belajar bahasa on the fly dari hasil OCR manga masih belum nemu model yang pass buat ane (karena kebutuhan VRAM yang gedhe). Alhasil lebih sering manfaatin free LLM cloud untuk kebutuhan ini. Ane udah nyobain download model lain dengan quantisasi yang berbeda dari situs kek huggingface dkk, tapi keknya emang ga ada yang pas buat gemma. Ane juga udah nyobain mistral dkk, tapi buat translasi word by word keknya gemma yang lebih bagus. Btw kalau agan ada kebutuhan belajar kek ane bisa download extensi kek kiss-translator yang support call ke local LLM juga, nanti tinggal edit prompt dan port yang sesuai dengan apa yang sudah kita deploy di localhost.

[mu_enrico]

laptop

Kalau laptop memang berat gan, tadinya ane kira PC
Karena masalah bukan pada storage, tapi terutama VRAM dan lalu RAM kalau spill out. Bisa sih menjalankan model dengan CPU only, tapi sangat lemot.

translasi word by word keknya gemma yang lebih bagus.

Ane juga merasakan local AI ini belum terlalu bagus dalam multilanguage, kalau tanya "kamu bisa bahasa apa saja"
Paling dia jawab rata-rata bisa ratusan, tapi yang paling pokok ya Inggris, Italia, dan bahasa Eropa lain.
Konon katanya ada AI Nusantara gitu-gitu di huggingface, cuma habis dicoba ya zonk juga

[Chikito]

Kalau setahu saya, untuk running AI offline ini lebih dibutuhkan CPU, RAM dan GPU yang mumpuni gan. HD memang perlu, tapi untuk mengeksekusi perintahnya GPU penting untuk kecepatan respon, dan RAM dibutuhkan untuk memori model yang dipakai. Sedangkan CPU tentunya butuh i5 atau ryzen 5 ke atas, RAM 16 GB, Dan GPU (walau optional) setidaknya 4GB biar gak lemot chatGPT nya pas dia running teksnya.

Sudah cocok berarti saya skip saja om, dari semua syarat kelayakan, laptop saya masih jauh dari kata layak. Karena saya juga sebenarnya kurang fasih untuk hal-hal teknis seperti ini, jadi kadang kala saya hanya meraba saja & mencoba-coba siapa tahu layak.

Sedikit informasi spesifikasi laptop saya bisa dilihat dibawah:

Processor: AMD Ryzen 3 3250U with Radeon Graphics, 2600 Mhz, 2 Core(s), 4 Logical Processor(s)
Installed Physical Memory (RAM): 8,00 GB
Total Physical Memory: 5,95 GB
Available Physical Memory: 757 MB
Total Virtual Memory: 9,70 GB
Available Virtual Memory: 2,64 GB

Bagaimana, benar kurang layak, kan?

Kalau saya lihat spek laptop sampeyan ini cukup lumayan, tapi lumayan untuk menjalankan AI online saja, bukan Offline kayak di OP.

Jika memang penasaran dengan AI-AI high level (kayak GPT-5, gemini pro 3, qween 3 max, dll) dan ingin mencoba full gratis 100%, coba sampeyan ke https://lmarena.ai



di https://lmarena.ai ini kamu bisa nyoba-nyoba battle antara AI high level yang berbayar, atau bisa jugo nyoba direct chat chatGPT 5 free 100%.
Bahkan bisa bikin video dengan prompt-prompt unik, namun ya tergantung jaringan sih, karena terkadang saya nyoba bikin videonya agak lemot dalam menggenerate video 5 detik.

[joniboini]

Ane juga merasakan local AI ini belum terlalu bagus dalam multilanguage, kalau tanya "kamu bisa bahasa apa saja"
Paling dia jawab rata-rata bisa ratusan, tapi yang paling pokok ya Inggris, Italia, dan bahasa Eropa lain.

Kalau usage ane masih lumayan sih om. Soalnya tulisan atau kalimat yang ane masukan dipecah jadi per word jadi ga harus ngarang banyak" (toh GPU juga ga bisa punya banyak context window/output karena VRAM kecil). Jadi kalau ada kalimat 10 kata bahasa Korea misalnya, per katanya masih ga terlalu jauh dari makna asli walau harus nebak maksud utuhnya sendiri (kalau konteksnya ada dasar bahasa asingnya sih ga terlalu berat). Setidaknya ane merasa terbantu dengan fitur tersebut daripada harus buka kamus satu". Di sisi lain extensi kamus dkk juga udah banyak sekarang, jadi ga perlu tergantung ke local LLM kalau cuma buat nyari tahu makna satu kata tertentu.

Buat AI yang fokus ke Indo ane belum pernah nyobain sih. Malah lebih sering nyari AI yang ditrain buat translasi manga dkk.

Btw untuk opsi free AI bisa nyoba Cerebras, setidaknya sampe sekarang belum limit call dari API jadi masih bisa dipake konek ke extension macam kiss-translator. Gemini udah dibatasi banget sekarang (kecuali agan mau buka window AI studio terus copas prompt dkk).

[kawetsriyanto]

Mungkin sedikit di luar konteks, ane agak khawatir dengan keamanannya. Apakah software Ollama atau Nut studio ini cukup aman untuk data di PC atau laptop? Karena teknologi AI ini semakin canggih, takutnya itu malah bisa jadi software untuk grabbing data kita. Ane bukannya terlalu takut dengan isu-isu terkait AI atau skeptis dengan keamannya, cuman ya perlu juga lebih hati-hati. Ya setidaknya perlu diriset dulu dari segi kemanannya sebelum dicoba dilaptop atau PC.

Sorry Om kalau agak OOT

[Chikito]

Mungkin sedikit di luar konteks, ane agak khawatir dengan keamanannya. Apakah software Ollama atau Nut studio ini cukup aman untuk data di PC atau laptop? Karena teknologi AI ini semakin canggih, takutnya itu malah bisa jadi software untuk grabbing data kita. Ane bukannya terlalu takut dengan isu-isu terkait AI atau skeptis dengan keamannya, cuman ya perlu juga lebih hati-hati. Ya setidaknya perlu diriset dulu dari segi kemanannya sebelum dicoba dilaptop atau PC.

Sorry Om kalau agak OOT

Kalau sepemahaman saya ya, karena software ini dijalankan secara offline atau locally, sehingga relatif aman digunakan, sama kayak kita running bitcoin core atau electrum wallet secara offline, data tentu tidak akan masuk ke server jika tidak terkoneksi ke internet. Tapi untuk Nut, nah karena software ini juga fork dari ollama, kalau saya cek aplikasi ini cenderung close source, kita tidak bisa melihat code mereka dan lebih ke komersil karena dikembangkan langsung pihak ketiga. Nut juga akan meminta connect ke internet jika kita prompt bikin gambar atau video. Artinya data bisa terekspose kecuali kalau benar2 offline atau locally.

[mu_enrico]

Mungkin sedikit di luar konteks, ane agak khawatir dengan keamanannya. Apakah software Ollama atau Nut studio ini cukup aman untuk data di PC atau laptop? Karena teknologi AI ini semakin canggih, takutnya itu malah bisa jadi software untuk grabbing data kita. Ane bukannya terlalu takut dengan isu-isu terkait AI atau skeptis dengan keamannya, cuman ya perlu juga lebih hati-hati. Ya setidaknya perlu diriset dulu dari segi kemanannya sebelum dicoba dilaptop atau PC.

Local AI (modelnya) tidak bisa akses internet secara default gan, untuk inilah local AI dibuat agar bisa run di sistem sendiri tanpa data bocor. Kalau mau akses internet harus diset modul-modul dan API search engine dulu. Coba tanya saja "kamu bisa akses internet?"

Nanti kalau tanya "bagaimana cara agar kamu bisa akses internet" dia akan merekomendasikan berbagai macam metode-metode teknis, dari yang sangat aman kebocoran sampai ada risiko kebocoran. Jadi kendali masih ada di user, bagaimana mau implementasi cara akses internet ini.

Kalaupun Local AI GUI-nya (LM Studio, Nut Studio, Ollama) bisa akses internet, ini pun bisa diblock pakai firewall. Tapi nanti tidak enak kalau mau auto update dan browsing-browsing model.

tl;dr Local LLM / Local AI ini memang dibuat khusus untuk lingkungan tertutup dengan concern privacy.

[kawetsriyanto]

Oke, artinya ini secara umum pake mode offline. Kalaupun ada akses ke internet itupun mode terbatas. Yang saya khawatirkan kemaren ini bisa kayak model malware yang malah bisa ngakeses data karena diinstall dilaptop. Ya semoga saja fitur keamanan seperti firewall cukup untuk meminimalisir potensi penyimpangannya.

Betul, pastinya aman atau tidaknya ada ditangan kita. Cuman karena saya memang belum paham betul mekanismenya makanya tanya2 dulu di sini. Ya karena agak tertarik untuk nyoba, tapi agak khawatir. Tapi sepertinya cukup aman kalau dari penjelasan agan-agan di atas.

BTW terima kasih untuk pencerahannya. Sepertinya bisa saya coba juga.