|
Title: [SHARE] Sumber Data Forum Bitcointalk Post by: kawetsriyanto on January 13, 2020, 10:42:55 AM Sumber Data Forum Bitcointalk Mungkin di antara kita masih banyak yang belum tau mengenai dari mana saja data yang diperoleh oleh beberapa orang yang membuat informasi statistik terkait forum Bitcointalk. Jika teman-teman pernah melihat postingan LoyceV, DdmrDdmr atau tranthidung contohnya, mereka memposting tentang statistik distribusi merit atau statistik member-member yang berhasil rank up saat ini. Nah, berikut adalah daftar dari beberapa sumber data yang bisa ditemukan pada forum Bitcointalk.
*User yang diban otomatis **User diremove permanen *: List terkait statistik forum tersebut mengandung banyak thread. *: Menunggu konfirmasi dari LoyceV apakah daftar ini ditujukan untuk "autobanned & nuked user" atau hanya untuk "autobanned user" saja. 1. Sumber: https://bitcointalk.org/index.php?topic=5214233.0 2. Izin translate + pembuatan thread versi Indonesia via PM. Special thanks untuk bro @tranthidung atas informasi penting ini + izin yang diberikan. Title: Re: [Share] Sumber Data Forum Bitcointalk Post by: kawetsriyanto on January 13, 2020, 10:43:37 AM Catatan:
>Thread OP merupakan hasil proses translasi + penyesuaian bahasa dari thread aslinya (global). >Tujuan utama adalah untuk berbagi informasi dengan member Indonesia. >Berkomentarlah dengan bijak dan santun. Mari kita jaga budaya Indonesia. >Saya lupa set "self-moderate", harap jangan spam atau OOT ya. :D Title: Re: [SHARE] Sumber Data Forum Bitcointalk Post by: taufik123 on January 13, 2020, 05:22:00 PM Ini sudah masuk dalam ilmu statistika.
ane juga belum paham bagaimana cara pengumpulan data yang benar, tapi sumber data ini bisa menjadi acuan utama untuk sebuah analisa. Loycev dan tranthidung adalah member yang selalu membuat thread dengan analisa berupa data-data valid tentang perolehan merit, data tentang member bitcointalk dan lainnya. bahkan kemarin saat kontes 10th anniversary bitcoitalk, tranthidung memberikan data tentang perolehan merit untuk setiap anggota yang masuk dalam 100 besar perolehan merit terbanyak, analisa yang di lakukan juga sangat detail. Title: Re: [SHARE] Sumber Data Forum Bitcointalk Post by: roycilik on January 13, 2020, 09:59:41 PM ane juga belum paham bagaimana cara pengumpulan data yang benar, tapi sumber data ini bisa menjadi acuan utama untuk sebuah analisa. Jika mengetahui detail prosesnya, saya yakin sampean akan mengurungkan niat untuk melakukan scrap data ;Duntuk melakukan scrap data mereka juga menggunakan VPS, karena untuk scrap data kisaran 40k profile saja membutuhkan waktu 12 jam :D Loycev dan Informasi yang saya dapat tranthidung itu hanya ambil data dari Loycev, yang memiliki DB itu sebenarnya si Loycev,kalau DdmrDdmr dia sama seperti Loycev, melakukan scrap data dan menyimpan di DB, untuk melakukan scrap data si DdmrDdmr menggunakan Octoparse Title: Re: [SHARE] Sumber Data Forum Bitcointalk Post by: Chikito on January 14, 2020, 12:06:36 AM Mungkin di antara kita masih banyak yang belum tau mengenai dari mana saja data yang diperoleh oleh beberapa orang yang membuat informasi statistik terkait forum Bitcointalk. Jika teman-teman pernah melihat postingan LoyceV, DdmrDdmr atau tranthidung contohnya, Ini sudah masuk dalam ilmu statistika. ane juga belum paham bagaimana cara pengumpulan data yang benar, tapi sumber data ini bisa menjadi acuan utama untuk sebuah analisa. Sumber data dari 1 orang yaitu theymos: merit data Here you go: https://bitcointalk.org/merit.txt.xz jadi, thread populer seperti: 1. Bitcointalk Merit Dashboard (https://bitcointalk.org/index.php?topic=4428616.0) 2. Announcing BPIP - The Bitcointalk Public Information Project! (https://bitcointalk.org/index.php?topic=4746201.0) 3. LoyceV's Merit data analysis (full data since Jan. 24, 2018; not just 120 days) (https://bitcointalk.org/index.php?topic=3078328.0) Baru ada setelah theymos dump merit data tersebut. contoh merit data dari theymos Code: 1577414383 1 5114925.msg50734306 337097 1282057 ada unix time, merit, post yang dimerit, UID user pemberi dan penerima. saya kira data segitu cukup lengkap, dikolaborasikan unix time dan post maka didapat kapan, di board mana user transaksi merit. Modlog dipake buat scraping data user yang dibanned dan dinuked. Updates I'll update the lists daily, using data from modlog (https://bitcointalk.org/modlog.php). https://bitcointalk.org/modlog.php?all untuk melakukan scrap data mereka juga menggunakan VPS, karena untuk scrap data kisaran 40k profile saja membutuhkan waktu 12 jam :D Scraping banned dan nuked user sepertinya, soalnya data mentah dari theymos gak ada. Title: Re: [SHARE] Sumber Data Forum Bitcointalk Post by: taufik123 on January 14, 2020, 05:41:23 AM -snip- karena untuk scrap data kisaran 40k profile saja membutuhkan waktu 12 jam :D iya gak kebanyang sih om, hanya melakukan scrap data untuk 40k profile saja membutuhkan 12 jam, bagaimana jika seluruh profile yang mencapai 2jt profile yang ada di bitcointlak di scarp smua. bisa berhari-hari. kita cuman terima jadinya aja dari LoyceV, tinggal di analisa, dikelola dan di presentasikan. -snip- untuk melakukan scrap data si DdmrDdmr menggunakan Octoparse Ane masih awam tentang teknik scrap data , ternyata bisa di aplikasi pada website apapun.Octoparse kalo gak salah tool Web scrapping untuk melakukan scrap data dengan mudah dan lebih efisien. Title: Re: [SHARE] Sumber Data Forum Bitcointalk Post by: roycilik on January 14, 2020, 10:53:26 PM untuk melakukan scrap data mereka juga menggunakan VPS, karena untuk scrap data kisaran 40k profile saja membutuhkan waktu 12 jam :D Scraping banned dan nuked user sepertinya, soalnya data mentah dari theymos gak ada. https://i.ibb.co/h2fLj71/DD.png (https://ibb.co/TPLYSvq) Title: Re: [SHARE] Sumber Data Forum Bitcointalk Post by: turkandjaydee on January 15, 2020, 01:24:22 AM -snip- Kalau scrap data ini tingkat akurasi nya seberapa tinggi ya gan? Apakah pasti akan 100% tertangkap semua datanya? Atau akan selalu ada kemungkinan ada data yang terlewat? Title: Re: [SHARE] Sumber Data Forum Bitcointalk Post by: joniboini on January 15, 2020, 04:59:04 AM Kalau scrap data ini tingkat akurasi nya seberapa tinggi ya gan? Apakah pasti akan 100% tertangkap semua datanya? Atau akan selalu ada kemungkinan ada data yang terlewat? Banyak faktornya dari segi website ataupun tools yang dipakai. Kalau gak mendukung script atau kode tertentu bisa aja datanya ga kebaca, kalau websitenya sendiri menutupi data yang mau dicari ya kemungkinan ga kescrap. Kalau mau lebih detail bisa didiskusikan di forum tentang tech atau reddit gan, karena topiknya udah mulai beririsan dengan sub pengetahuan lain. Title: Re: [SHARE] Sumber Data Forum Bitcointalk Post by: turkandjaydee on January 15, 2020, 08:14:58 AM Banyak faktornya dari segi website ataupun tools yang dipakai. Kalau gak mendukung script atau kode tertentu bisa aja datanya ga kebaca, kalau websitenya sendiri menutupi data yang mau dicari ya kemungkinan ga kescrap. Wah mohon maaf, saya kurang jelas nulis postingan sebelumnya. Kalau mau lebih detail bisa didiskusikan di forum tentang tech atau reddit gan, karena topiknya udah mulai beririsan dengan sub pengetahuan lain. Saya sebelumnya juga bermaksud ingin tahu dalam artian untuk contoh kasus scraping data dari bitcointalk ini, tentang seberapa lengkap data-data tersebut. Khususnya mungkin agan @roycilik tau seberapa lengkap / akurat hasil scraping dari DdmrDdmr yang pakai octoparse itu, siapatau ada infonya juga. Title: Re: [SHARE] Sumber Data Forum Bitcointalk Post by: kawetsriyanto on March 18, 2020, 02:30:05 AM Update / baru ditambahkan pada thread OP.
Title: Re: [SHARE] Sumber Data Forum Bitcointalk Post by: Chikito on March 25, 2020, 12:00:51 AM Ada yang baru dan tergolong cepat untuk melihat aktiftas merit yang dikirim dan diterima menggunakan Merit API (https://bitcointalk.org/index.php?topic=5232108.0) yang dibuat oleh @PrimeNumber7 (https://bitcointalk.org/index.php?action=profile;u=2561166)
https://bitcointalk-merit-api.herokuapp.com/
Klik link ini: https:// bitcointalk-merit-api.herokuapp.com/api/v0.1/number_received/[uid] (untuk melihat index merit yang diterima)[/li][/list] contoh: https://bitcointalk-merit-api.herokuapp.com/api/v0.1/number_received/938833 Code: [{"Total Received Merit":654,"uid":938833}]Klik link ini: https:// bitcointalk-merit-api.herokuapp.com/api/v0.1/received_recent/[uid] (untuk melihat index merit yang diterima) contoh: https://bitcointalk-merit-api.herokuapp.com/api/v0.1/received_recent/938833 Code: [{"Recent_Received_Merit":482,"uid":938833}]Klik link ini: https:// bitcointalk-merit-api.herokuapp.com/api/v0.1/received/[uid] (untuk melihat index merit yang diterima) contoh: https://bitcointalk-merit-api.herokuapp.com/api/v0.1/received/938833 Code: [{"Sent_to":938833,"Total_Received_Merit":654,"Transactions":[{"Day_of_Week":"Wednesday","Month":"March","Post":"5197078.msg52922347","Sent_from":1170966,"number_of_merit":1,"time":"2020-03-18 13:36:26"},Dan seterusnya... Title: Re: [SHARE] Sumber Data Forum Bitcointalk Post by: MAAManda on February 17, 2021, 01:01:16 PM Melihat topik ini, saya pribadi ingin buat versi Indonya... tapi bukan merit.
Tentang keaktifan orang-orang di Board indo dalam artiannya menanggapi postingan-postingan (bukan hanya sekedar silent reader). Ada yang bisa nge-provide bagaimana cara mendapatkan datanya kah om? Title: Re: [SHARE] Sumber Data Forum Bitcointalk Post by: Husna QA on February 18, 2021, 05:42:39 AM Melihat topik ini, saya pribadi ingin buat versi Indonya... tapi bukan merit. Dengan Scrab Data website forum Bitcointalk, semisal menggunakan Octoparse (https://www.octoparse.com/), Scrapy (Python);Tentang keaktifan orang-orang di Board indo dalam artiannya menanggapi postingan-postingan (bukan hanya sekedar silent reader). Ada yang bisa nge-provide bagaimana cara mendapatkan datanya kah om? Beberapa Web Scraping Tool lainnya: https://www.scrapehero.com/top-free-and-paid-web-scraping-tools-and-software/ Atau kalau mau, coba hubungi LoyceV atau DdmrDdmr untuk izin menggunakan data-nya. Title: Re: [SHARE] Sumber Data Forum Bitcointalk Post by: MAAManda on February 18, 2021, 07:53:31 AM Melihat topik ini, saya pribadi ingin buat versi Indonya... tapi bukan merit. Dengan Scrab Data website forum Bitcointalk, semisal menggunakan Octoparse (https://www.octoparse.com/), Scrapy (Python);Tentang keaktifan orang-orang di Board indo dalam artiannya menanggapi postingan-postingan (bukan hanya sekedar silent reader). Ada yang bisa nge-provide bagaimana cara mendapatkan datanya kah om? Beberapa Web Scraping Tool lainnya: https://www.scrapehero.com/top-free-and-paid-web-scraping-tools-and-software/ Atau kalau mau, coba hubungi LoyceV atau DdmrDdmr untuk izin menggunakan data-nya. Title: Re: [SHARE] Sumber Data Forum Bitcointalk Post by: mu_enrico on February 18, 2021, 12:24:37 PM Daripada scraping sendiri (butuh skill dan resource), mending agan PM LoyceV saja. Dia bisa bikin cepat karena sudah punya databasenya.
Kecuali kalau agan memang tertarik di dunia per-scraping-an, okelah scrape sendiri. PS: ini kerjaan yang gak gampang (dan gak murah) klo agan newbie. Title: Re: [SHARE] Sumber Data Forum Bitcointalk Post by: MAAManda on February 18, 2021, 01:19:45 PM Daripada scraping sendiri (butuh skill dan resource), mending agan PM LoyceV saja. Dia bisa bikin cepat karena sudah punya databasenya. Kecuali kalau agan memang tertarik di dunia per-scraping-an, okelah scrape sendiri. PS: ini kerjaan yang gak gampang (dan gak murah) klo agan newbie. Sudah saya buka data yang kiranya ada keterkaitan dengan apa yang mau saya buat, tapi memang belum bisa juga om, apa LoyceV ga bisa ya cari data postingan Board Local :v Title: Re: [SHARE] Sumber Data Forum Bitcointalk Post by: Husna QA on February 18, 2021, 02:55:06 PM Sudah saya buka data yang kiranya ada keterkaitan dengan apa yang mau saya buat, tapi memang belum bisa juga om, apa LoyceV ga bisa ya cari data postingan Board Local :v Beberapa waktu lalu saya lihat agan @skarais pernah re-post tentang data-data semisal: Aktivitas Posting Lokal Board Selama Januari 2021, Daftar Pengguna Paling aktif di Lokal Board Sepanjang Januari 2021 (https://bitcointalk.org/index.php?topic=5209309.msg56276013#msg56276013).Di sana saya lihat data per-local board dicantumkan secara umum, kalau agan mau lebih spesifik lagi khusus ke Board Indonesia, mungkin bisa mengambil data awalnya dari sana (data sumbernya dari @DdmrDdmr). Title: Re: [SHARE] Sumber Data Forum Bitcointalk Post by: MAAManda on February 18, 2021, 03:25:53 PM Sudah saya buka data yang kiranya ada keterkaitan dengan apa yang mau saya buat, tapi memang belum bisa juga om, apa LoyceV ga bisa ya cari data postingan Board Local :v Beberapa waktu lalu saya lihat agan @skarais pernah re-post tentang data-data semisal: Aktivitas Posting Lokal Board Selama Januari 2021, Daftar Pengguna Paling aktif di Lokal Board Sepanjang Januari 2021 (https://bitcointalk.org/index.php?topic=5209309.msg56276013#msg56276013).Di sana saya lihat data per-local board dicantumkan secara umum, kalau agan mau lebih spesifik lagi khusus ke Board Indonesia, mungkin bisa mengambil data awalnya dari sana (data sumbernya dari @DdmrDdmr). Title: Re: [SHARE] Sumber Data Forum Bitcointalk Post by: kawetsriyanto on February 18, 2021, 11:15:38 PM Daripada scraping sendiri (butuh skill dan resource), mending agan PM LoyceV saja. Dia bisa bikin cepat karena sudah punya databasenya. Betul. Mending kontak langsung LoyceV, DdmrDdmr, atau tranthidung. Mereka jelas sudah punya database nya. Scraping perlu keahlian khusus dan butuh waktu. Kalau tujuannya hanya untuk mencari bahan thread tentang keaktifan member-member SFI, kontak yang sudah punya data jadi saja. Toh jauh lebih efektif dan hemat juga dari segi waktu.Udah dapat om, kayanya sih cocok datanya menurut saya... Wait and see ajalah untuk thread keaktifan member board indo. Cool. Semoga data nya sesuai dengan judul threadnya gan. Ditunggu launching threadnya. ;) |
