[SHARE] Sumber Data Forum Bitcointalk

[kawetsriyanto]

Sumber Data Forum Bitcointalk

Mungkin di antara kita masih banyak yang belum tau mengenai dari mana saja data yang diperoleh oleh beberapa orang yang membuat informasi statistik terkait forum Bitcointalk. Jika teman-teman pernah melihat postingan LoyceV, DdmrDdmr atau tranthidung contohnya, mereka memposting tentang statistik distribusi merit atau statistik member-member yang berhasil rank up saat ini. Nah, berikut adalah daftar dari beberapa sumber data yang bisa ditemukan pada forum Bitcointalk.

____________________	______	_____________________________________________	_____________________	_________________
Penulis	Link	Deskripsi	Thread ANN	Status
____________________	______	_____________________________________________	_____________________	_________________
Forum	Link	Pusat statistik	n/a	Sebagian tidak aktif
Forum	Link	Pusat statistik Merit	n/a	Aktif
Forum	Link	Pusat statistik periklanan	n/a	Aktif
Forum	Link	Kumpulan data Merit mingguan	n/a	Aktif
Forum	Link	Kumpulan data Trust	n/a	Aktif
Forum	Link	Kumpulan data Tambahan (theymos)	Link	Perlu pengamatan
____________________	______	_____________________________________________	_____________________	_________________
LoyceV	Link	Nama-nama user (keseluruhan - file besar)	Link	Aktif
LoyceV	Link	User Autobanned*	Link	Aktif
LoyceV	Link	User Nuked**	Link	Aktif
LoyceV	Link	Nama-nama user yang diban*	Link	Aktif
LoyceV	Link	User Autobanned & Nuked	Link	Aktif
LoyceV	Link	User aktif & poster terbaik (1 jam)	Link	Aktif
LoyceV	Link	User aktif & poster terbaik (24 jam)	Link	Aktif
LoyceV	Link	User aktif & poster terbaik (7 hari)	Link	Aktif
LoyceV	Link	Topik aktif (1 jam)	Link	Aktif
LoyceV	Link	Topik aktif (24 jam)	Link	Aktif
LoyceV	Link	Topik aktif (7 hari)	Link	Aktif
LoyceV	Link	Pemantau Trust Flag	Link	Aktif
LoyceV	Link	Data mentah theymos (dibuat oleh LoyceV)	Link	Aktif
LoyceV	Link	Data theymos (termasuk nama user dan judul post)	Link	Aktif
LoyceV	Link	Merit yang diperoleh: nama user	Link	Aktif
LoyceV	Link	ID User, Merit terkirim dan Merit yang diperoleh	Link	Aktif
LoyceV	Link	Postingan yang tidak diedit / dihapus (per post/ user/ topik)	Link	Aktif
LoyceV	Link	Untuk data lebih lanjut di loyce.club	n/a	Aktif
LoyceV	Link	Data berguna LoyceV pada Bitcointalk	Link	Aktif
____________________	______	_____________________________________________	_____________________	_________________
DdmrDdmr	Link	Dasbor Merit	Link	Aktif
Vod dan tim BPIP	Link	BPIP (situs utama penyedia data forum)	yang dulu; yang sekarang	Sedang diperbaiki
hatshepsut93	Link	Untuk alat statistik Merit berdasarkan API	n/a	Baru saja diperbaiki
tranthidung	Link	Thread statistik tranthidung di bitcointalk	Link	Aktif
1miau	Link	Daftar statistik Bitcointalk *	Link	Aktif
tvplus006	Link	Jumlah total profil/ diarsipkan / tidak aktif / diban, dll.	Link	Aktif
tranthidung	Link	Perkiraan statistik bulanan untuk akun yang terdaftar	Link	Aktif
ptrk	Link	Kumpulan data Merit yang dapat dibaca untuk evaluasi pribadi	Link	Aktif
____________________	______	_____________________________________________	_____________________	_________________

*User yang diban otomatis
**User diremove permanen

*: List terkait statistik forum tersebut mengandung banyak thread.
*: Menunggu konfirmasi dari LoyceV apakah daftar ini ditujukan untuk "autobanned & nuked user" atau hanya untuk "autobanned user" saja.

1. Sumber: https://bitcointalk.org/index.php?topic=5214233.0
2. Izin translate + pembuatan thread versi Indonesia via PM.

Special thanks untuk bro @tranthidung atas informasi penting ini + izin yang diberikan.

[1714783860]

1714783860

[kawetsriyanto]

Catatan:
>Thread OP merupakan hasil proses translasi + penyesuaian bahasa dari thread aslinya (global).
>Tujuan utama adalah untuk berbagi informasi dengan member Indonesia.
>Berkomentarlah dengan bijak dan santun. Mari kita jaga budaya Indonesia. 
>Saya lupa set "self-moderate", harap jangan spam atau OOT ya. 

[taufik123]

Ini sudah masuk dalam ilmu statistika.
ane juga belum paham bagaimana cara pengumpulan data yang benar, tapi sumber data ini bisa menjadi acuan utama untuk sebuah analisa.
Loycev dan tranthidung adalah member yang selalu membuat thread dengan analisa berupa data-data valid tentang perolehan merit, data tentang member bitcointalk dan lainnya.
bahkan kemarin saat kontes 10th anniversary bitcoitalk, tranthidung memberikan data tentang perolehan merit untuk setiap anggota yang masuk dalam  100 besar perolehan merit terbanyak, analisa yang di lakukan juga sangat detail.

[roycilik]

ane juga belum paham bagaimana cara pengumpulan data yang benar, tapi sumber data ini bisa menjadi acuan utama untuk sebuah analisa.

Jika mengetahui detail prosesnya, saya yakin sampean akan mengurungkan niat untuk melakukan scrap data
untuk melakukan scrap data mereka juga menggunakan VPS, karena untuk scrap data kisaran 40k profile saja membutuhkan waktu 12 jam

Loycev dan tranthidung adalah member yang selalu membuat thread dengan analisa berupa data-data valid tentang perolehan merit, data tentang member bitcointalk dan lainnya.

Informasi yang saya dapat tranthidung itu hanya ambil data dari Loycev, yang memiliki DB itu sebenarnya si Loycev,
kalau DdmrDdmr dia sama seperti Loycev, melakukan scrap data dan menyimpan di DB, untuk melakukan scrap data si DdmrDdmr menggunakan Octoparse

[Chikito]

Mungkin di antara kita masih banyak yang belum tau mengenai dari mana saja data yang diperoleh oleh beberapa orang yang membuat informasi statistik terkait forum Bitcointalk. Jika teman-teman pernah melihat postingan LoyceV, DdmrDdmr atau tranthidung contohnya,

Ini sudah masuk dalam ilmu statistika.
ane juga belum paham bagaimana cara pengumpulan data yang benar, tapi sumber data ini bisa menjadi acuan utama untuk sebuah analisa.

Sumber data dari 1 orang yaitu theymos:

merit data

Here you go: https://bitcointalk.org/merit.txt.xz

jadi, thread populer seperti:

1. Bitcointalk Merit Dashboard
2. Announcing BPIP - The Bitcointalk Public Information Project!
3. LoyceV's Merit data analysis (full data since Jan. 24, 2018; not just 120 days)

Baru ada setelah theymos dump merit data tersebut.

contoh merit data dari theymos

Code:

1577414383	1	5114925.msg50734306	337097	1282057
1577414026	1	178336.msg53446597	1027694	479624

ada unix time, merit, post yang dimerit, UID user pemberi dan penerima. saya kira data segitu cukup lengkap, dikolaborasikan unix time dan post maka didapat kapan, di board mana user transaksi merit.

Modlog dipake buat scraping data user yang dibanned dan dinuked.

Updates
I'll update the lists daily, using data from modlog.

https://bitcointalk.org/modlog.php?all

untuk melakukan scrap data mereka juga menggunakan VPS, karena untuk scrap data kisaran 40k profile saja membutuhkan waktu 12 jam

Scraping banned dan nuked user sepertinya, soalnya data mentah dari theymos gak ada.

[taufik123]

-snip- karena untuk scrap data kisaran 40k profile saja membutuhkan waktu 12 jam

iya gak kebanyang sih om, hanya melakukan scrap data untuk 40k profile saja membutuhkan 12 jam, bagaimana jika seluruh profile yang mencapai 2jt profile yang ada di bitcointlak di scarp smua. bisa berhari-hari.
kita cuman terima jadinya aja dari LoyceV, tinggal di analisa, dikelola dan di presentasikan.

-snip- untuk melakukan scrap data si DdmrDdmr menggunakan Octoparse

Ane masih awam tentang teknik scrap data , ternyata bisa di aplikasi pada website apapun.
Octoparse kalo gak salah tool Web scrapping untuk melakukan scrap data dengan mudah dan lebih efisien.

[roycilik]

untuk melakukan scrap data mereka juga menggunakan VPS, karena untuk scrap data kisaran 40k profile saja membutuhkan waktu 12 jam

Scraping banned dan nuked user sepertinya, soalnya data mentah dari theymos gak ada.

Saya pernah PM menanyakan langasung kepada DdmrDdmr:

[turkandjaydee]

-snip-

Kalau scrap data ini tingkat akurasi nya seberapa tinggi ya gan? Apakah pasti akan 100% tertangkap semua datanya? Atau akan selalu ada kemungkinan ada data yang terlewat?

[joniboini]

Kalau scrap data ini tingkat akurasi nya seberapa tinggi ya gan? Apakah pasti akan 100% tertangkap semua datanya? Atau akan selalu ada kemungkinan ada data yang terlewat?

Banyak faktornya dari segi website ataupun tools yang dipakai. Kalau gak mendukung script atau kode tertentu bisa aja datanya ga kebaca, kalau websitenya sendiri menutupi data yang mau dicari ya kemungkinan ga kescrap.

Kalau mau lebih detail bisa didiskusikan di forum tentang tech atau reddit gan, karena topiknya udah mulai beririsan dengan sub pengetahuan lain.

[turkandjaydee]

Banyak faktornya dari segi website ataupun tools yang dipakai. Kalau gak mendukung script atau kode tertentu bisa aja datanya ga kebaca, kalau websitenya sendiri menutupi data yang mau dicari ya kemungkinan ga kescrap.

Kalau mau lebih detail bisa didiskusikan di forum tentang tech atau reddit gan, karena topiknya udah mulai beririsan dengan sub pengetahuan lain.

Wah mohon maaf, saya kurang jelas nulis postingan sebelumnya.
Saya sebelumnya juga bermaksud ingin tahu dalam artian untuk contoh kasus scraping data dari bitcointalk ini, tentang seberapa lengkap data-data tersebut.
Khususnya mungkin agan @roycilik tau seberapa lengkap / akurat hasil scraping dari DdmrDdmr yang pakai octoparse itu, siapatau ada infonya juga.

[kawetsriyanto]

Update / baru ditambahkan pada thread OP.

____________________	______	_____________________________________________	_____________________	_________________
Penulis	Link	Deskripsi	Thread ANN	Status
____________________	______	_____________________________________________	_____________________	_________________
LoyceV	Link	Postingan yang tidak diedit/dihapus (per post/ user/ topik)	Link	Aktif
____________________	______	_____________________________________________	_____________________	_________________

[Chikito]

Ada yang baru dan tergolong cepat untuk melihat aktiftas merit yang dikirim dan diterima menggunakan Merit API yang dibuat oleh @PrimeNumber7

https://bitcointalk-merit-api.herokuapp.com/

• /api/v0.1/number_received/[uid]
• /api/v0.1/received_recent/
• /api/v0.1/number_sent/[uid]
• /api/v0.1/between/[uid_from]/[uid_to]
• /api/v0.1/received/[uid]
• /api/v0.1/sent/[uid]

Klik link ini: https:// bitcointalk-merit-api.herokuapp.com/api/v0.1/number_received/[uid] (untuk melihat index merit yang diterima)[/li][/list]
contoh: https://bitcointalk-merit-api.herokuapp.com/api/v0.1/number_received/938833

Code:

[{"Total Received Merit":654,"uid":938833}]

Klik link ini: https:// bitcointalk-merit-api.herokuapp.com/api/v0.1/received_recent/[uid] (untuk melihat index merit yang diterima)
contoh: https://bitcointalk-merit-api.herokuapp.com/api/v0.1/received_recent/938833

Code:

[{"Recent_Received_Merit":482,"uid":938833}]

Klik link ini: https:// bitcointalk-merit-api.herokuapp.com/api/v0.1/received/[uid] (untuk melihat index merit yang diterima)
contoh: https://bitcointalk-merit-api.herokuapp.com/api/v0.1/received/938833

Code:

[{"Sent_to":938833,"Total_Received_Merit":654,"Transactions":[{"Day_of_Week":"Wednesday","Month":"March","Post":"5197078.msg52922347","Sent_from":1170966,"number_of_merit":1,"time":"2020-03-18 13:36:26"},

Dan seterusnya...

[MAAManda]

Melihat topik ini, saya pribadi ingin buat versi Indonya... tapi bukan merit.

Tentang keaktifan orang-orang di Board indo dalam artiannya menanggapi postingan-postingan (bukan hanya sekedar silent reader).

Ada yang bisa nge-provide bagaimana cara mendapatkan datanya kah om?

[Husna QA]

Melihat topik ini, saya pribadi ingin buat versi Indonya... tapi bukan merit.

Tentang keaktifan orang-orang di Board indo dalam artiannya menanggapi postingan-postingan (bukan hanya sekedar silent reader).

Ada yang bisa nge-provide bagaimana cara mendapatkan datanya kah om?

Dengan Scrab Data website forum Bitcointalk, semisal menggunakan Octoparse, Scrapy (Python);
Beberapa Web Scraping Tool lainnya: https://www.scrapehero.com/top-free-and-paid-web-scraping-tools-and-software/

Atau kalau mau, coba hubungi LoyceV atau DdmrDdmr untuk izin menggunakan data-nya.

[MAAManda]

Melihat topik ini, saya pribadi ingin buat versi Indonya... tapi bukan merit.

Tentang keaktifan orang-orang di Board indo dalam artiannya menanggapi postingan-postingan (bukan hanya sekedar silent reader).

Ada yang bisa nge-provide bagaimana cara mendapatkan datanya kah om?

Dengan Scrab Data website forum Bitcointalk, semisal menggunakan Octoparse, Scrapy (Python);
Beberapa Web Scraping Tool lainnya: https://www.scrapehero.com/top-free-and-paid-web-scraping-tools-and-software/

Atau kalau mau, coba hubungi LoyceV atau DdmrDdmr untuk izin menggunakan data-nya.

Udah dapat om, kayanya sih cocok datanya menurut saya... Wait and see ajalah untuk thread keaktifan member board indo.

[mu_enrico]

Daripada scraping sendiri (butuh skill dan resource), mending agan PM LoyceV saja. Dia bisa bikin cepat karena sudah punya databasenya.
Kecuali kalau agan memang tertarik di dunia per-scraping-an, okelah scrape sendiri.

PS: ini kerjaan yang gak gampang (dan gak murah) klo agan newbie.

[MAAManda]

Daripada scraping sendiri (butuh skill dan resource), mending agan PM LoyceV saja. Dia bisa bikin cepat karena sudah punya databasenya.
Kecuali kalau agan memang tertarik di dunia per-scraping-an, okelah scrape sendiri.

PS: ini kerjaan yang gak gampang (dan gak murah) klo agan newbie.

Sudah saya buka data yang kiranya ada keterkaitan dengan apa yang mau saya buat, tapi memang belum bisa juga om, apa LoyceV ga bisa ya cari data postingan Board Local :v

[Husna QA]

Sudah saya buka data yang kiranya ada keterkaitan dengan apa yang mau saya buat, tapi memang belum bisa juga om, apa LoyceV ga bisa ya cari data postingan Board Local :v

Beberapa waktu lalu saya lihat agan @skarais pernah re-post tentang data-data semisal: Aktivitas Posting Lokal Board Selama Januari 2021, Daftar Pengguna Paling aktif di Lokal Board Sepanjang Januari 2021 (https://bitcointalk.org/index.php?topic=5209309.msg56276013#msg56276013).

Di sana saya lihat data per-local board dicantumkan secara umum, kalau agan mau lebih spesifik lagi khusus ke Board Indonesia, mungkin bisa mengambil data awalnya dari sana (data sumbernya dari @DdmrDdmr).

[MAAManda]

Sudah saya buka data yang kiranya ada keterkaitan dengan apa yang mau saya buat, tapi memang belum bisa juga om, apa LoyceV ga bisa ya cari data postingan Board Local :v

Beberapa waktu lalu saya lihat agan @skarais pernah re-post tentang data-data semisal: Aktivitas Posting Lokal Board Selama Januari 2021, Daftar Pengguna Paling aktif di Lokal Board Sepanjang Januari 2021 (https://bitcointalk.org/index.php?topic=5209309.msg56276013#msg56276013).

Di sana saya lihat data per-local board dicantumkan secara umum, kalau agan mau lebih spesifik lagi khusus ke Board Indonesia, mungkin bisa mengambil data awalnya dari sana (data sumbernya dari @DdmrDdmr).

Ok om, tar aku chat dulu DdmrDdmr

[kawetsriyanto]

Daripada scraping sendiri (butuh skill dan resource), mending agan PM LoyceV saja. Dia bisa bikin cepat karena sudah punya databasenya.

Betul. Mending kontak langsung LoyceV, DdmrDdmr, atau tranthidung. Mereka jelas sudah punya database nya. Scraping perlu keahlian khusus dan butuh waktu. Kalau tujuannya hanya untuk mencari bahan thread tentang keaktifan member-member SFI, kontak yang sudah punya data jadi saja. Toh jauh lebih efektif dan hemat juga dari segi waktu.

Udah dapat om, kayanya sih cocok datanya menurut saya... Wait and see ajalah untuk thread keaktifan member board indo.

Cool. Semoga data nya sesuai dengan judul threadnya gan. Ditunggu launching threadnya.