Menjalankan AI di Komputermu Sendiri

[Patikno]

Saya sempat denger, kalau perusahaan-perusahaan besar yang konsen terhadap privasi data, lebih memilih untuk menggunakan AI berbasis lokal (atau Local AI base). Penggunaannya secara offline sangat membantu dalam mengamankan dari pencurian data, dan bagi yang sudah berpengalaman dalam melatih AI, atau bisa melakukan Fine tuning, katanya lebih berpeluang untuk memonetisasi keahlian tersebut. Saya tertarik untuk mempelajari banyak hal terkait hal AI, tapi sepertinya membutuhkan waktu yang banyak untuk memahami tingkat lanjutnya.

Oh iya, barangkali sampean semua membutuhkan AI yang ramah, atau besifat open-source, dan tidak ingin data pribadi/bisnis sampean bocor. Maka, sampean bisa memilih opsi yang lain, yaitu Jan AI, bisa juga di gunakan di os selain Windows, yaitu di MacOS, atau di Linux.



Sumber : jan.ai

[mu_enrico]

Maka, sampean bisa memilih opsi yang lain, yaitu Jan AI, bisa juga di gunakan di os selain Windows, yaitu di MacOS, atau di Linux.

Ini sejenis dengan Ollama, LM Studio, Nut Studio.
Tapi uniknya mereka punya model sendiri, Jan Nano (4B) https://huggingface.co/Menlo/Jan-nano
IMO sama aja dengan software GUI lainnya gan, tergantung preferensi saja. Kalau yang paling banyak dipakai, berdasarkan riset ane dulu, ya tetap Ollama & LM Studio.

[TedMosby]

Salut sama agan2 di sini yang udah coba install AI secara local. Tertarik nyoba, tapi belum ada PC free.
Maunya coba2 di pc free yang bener2 bersih. Menurut agan base model mac mini m4, bisa dipake ngga?

-snip-

Keunggulan menjalankan AI di PC sendiri itu tentu terkait privasi dan pembatasan.
Kalau agan pakai AI dari jasa lain macam Gemini, ChatGPT, Claude, dsb itu nanti AInya tidak mau mengerjakan instruksi tertentu, atau tidak mau menjawab kalau ditanya hal tertentu.
Belum lagi data chat akan aman di PC agan.

-snip-

Ini saya penasaran gan. Sebagai orang yg cuma pake AI secara online saja sejauh ini, sering banget nemu batasan gak bisa generate text yang berisi info hal2 tertentu. Misal kalau di AI local saya, saya tanya gimana cara rakit bom gitu (misalnya... saya tidak ada niat kesana), dia bakal jawab gak? Atau saya suruh dia decision making, jadi gak balik ngasi pernyataan klise gtu ke kita. Mau dia AI nya?

Kalau untuk generate gambar bisa gan?
ini teman saya ada nya, wkwkwk, gambar2 18+ tidak disensor gtu bisa? wkwkwk...

Maaf ini pertanyaan konyol aja.

[mu_enrico]

Menurut agan base model mac mini m4, bisa dipake ngga?

Mac mini m4 itu sangat bisa untuk running AI, apalagi yang RAMnya gede karena unified memory. Ya sayang aja kalau cuma 16GB (base model), harusnya sekalian aja pakai ram yang lebih besar.
16GB unified, mungkin masih bisa untuk menjalankan 20B model dengan quant kecil.

Ini saya penasaran gan. Sebagai orang yg cuma pake AI secara online saja sejauh ini, sering banget nemu batasan gak bisa generate text yang berisi info hal2 tertentu. Misal kalau di AI local saya, saya tanya gimana cara rakit bom gitu (misalnya... saya tidak ada niat kesana), dia bakal jawab gak? Atau saya suruh dia decision making, jadi gak balik ngasi pernyataan klise gtu ke kita. Mau dia AI nya?

Kalau untuk generate gambar bisa gan?
ini teman saya ada nya, wkwkwk, gambar2 18+ tidak disensor gtu bisa? wkwkwk...

Batasannya banyak gan kalau di AI cloud, salah satunya selain yang porno-porno, dia juga ga mau bikin konten hard selling perjudian. Masih banyak lagi tinggal tanya aja "apa yang dilarang" nanti dia akan jawab keterbatasan dalam platform.

Kalau mau pakai yang uncensored, ada banyak variant di huggingface (HF), cuma ya metode-metode unlocknya kan macam-macam sehingga malah ada yang bikin AI jadi goblok

Idealnya agan fine tune sendiri (atau cari yang sudah dituning oleh komunitas) karena ai yang model uncensored seperti itu tetap tidak bisa menjawab pertanyaan aneh-aneh karena tidak dilatih khusus untuk edge case tsb. Yang bisa generate gambar (uncensored) ada juga tinggal cari di HF, browsing-browsing di forum aja gan. Cuma butuh komputasi besar untuk generate gambar.

[dansus021]

ane juga install ini mas 

GPU gw RTX 5060Ti tapi cuman 8gb kadang kalau lagi nge-prompt itu bisa full load di angka 100% tapi seperti mas bilang kalau ini HW kentang harusnya RTX 5090 yang gahar itu enak dipakai running node locally gini. Bahkan di angka 8GB itu cuman bisa berapa Billion parameter saja



tapi setau gw Ollama sekarang punya Cloud Service yang kalau kita lihat di dokumentasinya bisa pake CLoud server punya Ollama sendiri jadi bisa akses ke model GPT dengan 120B parameter belum tau ya batesannya berapa tapi kalau pake cloud mereka pasti juga ada batasannya cuman menurut gw pake llama ini lebih cepet aja responnya daripada pake GPT langsung.

[joniboini]

tapi setau gw Ollama sekarang punya Cloud Service yang kalau kita lihat di dokumentasinya bisa pake CLoud server punya Ollama sendiri jadi bisa akses ke model GPT dengan 120B parameter belum tau ya batesannya berapa tapi kalau pake cloud mereka pasti juga ada batasannya cuman menurut gw pake llama ini lebih cepet aja responnya daripada pake GPT langsung.

Dari pengalaman ane limitnya sedikit sekali gan buat jasa cloud kek gini. Kalau ga salah ane sempat nyobain dulu masih di bawah 10 request per day (belum lagi sama token dllnya). Kalau nyari yang free llm tapi limitnya lumayan gedhe bisa cek aja di free llm API resources yang ada di GitHub kalau ga salah. Ane pribadi make Cerebras (walau beberapa model keknya udah dimatiin buat save resources, agak disayangkan). Untungnya make gemma3:4b masih lumayan oke buat kebutuhan ane, walau perlu disadari ga bisa buat prompt yang terlalu kompleks.