Вытащить адреса из блокчейна Биткоин

[Rubg]

Здравствуйте.

Посоветуйте программу для извлечения адресов из блокчейна биткоин.

Или кто возьмется такое написать под винду или линукс ?

Задача:

Из локального блокчейна Bitcoin надо извлечь все адреса по критериям.
вытащить адреса с балансом больше 1 бтц  (примерно 605 000 адресов)
вытащить адреса с балансом меньше 1 бтц (примерно 18 млн адресов)
вытащить адреса с нулевым балансом.
сортировка извлеченных адресов по критериям.
после извлечения - записать адреса в 3 разных тхт файлика.
1.txt - записываем адреса с балансом больше 1 бтц
2.txt - записываем адреса с балансом меньше 1 бтц
3.txt - записываем адреса с нулевым балансом.


я понимаю, что третий пункт - будет очень много адресов.
но сделать надо.
Отпишу вам сам или пишите в ЛС цену, сроки и свои контакты

[kzv]

Могу сделать простой сайт с минимальным интерфейсом, на котором вы сможете хоть из под винды, хоть из под линукса все нужное доставать.
Ориентировочно две недели (после полной синхронизации биткоина), цена 500$ плюс вы сами арендуете сервер с 150 Гб диском и даете мне к этому серверу доступ (или предоплатой даете мне деньги на месячную, или сколько там будет биткоин синхронизироваться, аренду сервака).

[amaclin1]

1.txt - записываем адреса с балансом больше 1 бтц
2.txt - записываем адреса с балансом меньше 1 бтц
3.txt - записываем адреса с нулевым балансом.

Я делал такую программу. Правда, она делала только пункт 3.
Надо поискать сорцы, я ничего как правило такого рода не стираю.

Там была только проблема, что у меня компилятор 32-разрядный
(мне все как-то лень собрать Qt под x64) и программу приходилось
запускать "в 4 потока". Так как такая конструкция в принципе выполняла
поставленную задачу, то я успокоился и забил на усовершенствования

UPDATE: я немного неправильно прочитал условие задачи
в 4 потока запускать приходится программу, которая выведет все адреса с ненулевым балансом
то есть пункт 2.

если речь идет про "вообще все адреса" - то это значительно более простая задача (и тоже у меня есть) -
сперва тупо в один проход дампим в файл (лучше в несколько) все адреса, потом делаем
штатный вызов

Code:

sort -u addresses_000.dat --output=e:\addresses.main.sorted\addresses_000.sorted

(это я прям из своего батничка строчку скопипастил)

[Lansky]

Я хотел бы уточнить условие задачи, а именно, что вы подразумеваете под локальным блокчейном? У вас на машине Regtest? Или ваш bitcoind подключен к обычной сети, а вы хотите знать информацию по адресам вашего кошелька?

[Rubg]

У меня скачан весь блокчейн обычным bitcoin coreи, из него надо извлекать.

Под онлайн - я подразумеваю лайтовые клиенты которые не качают 140+ гб цепи, может в них там какие-то моменты есть

[poptop]

По идее, необязательно качать весь блокчейн, чтобы его потом перебирать. У того же blockchain.info есть API по которому можно обойти все блоки, например.

[amaclin1]

По идее, необязательно качать весь блокчейн, чтобы его потом перебирать.
У того же blockchain.info есть API по которому можно обойти все блоки, например.

Это пиздец насколько дольше выйдет.
Одно дело обращаться к файлу на SSD, совсем другое дело за каждой транзакцией
лезть на сервер, расположенный на другой стороне глобуса.

[poptop]

Это пиздец насколько дольше выйдет.
Одно дело обращаться к файлу на SSD, совсем другое дело за каждой транзакцией
лезть на сервер, расположенный на другой стороне глобуса.

Да, это для разового перебора. На hdd, например, я только недавно синхронизировал знакомому кошелек и вышло больше месяца. На ssd и блокчейн скачать не трудно. Полдня от силы и то в зависимости от поколения ssd.

У меня, кстати, к тебе вопрос был. Если можешь, ответь, пожалуйста. Каким образом ты работаешь с блокчейном и самой сетью (когда спамил или играешься со своими волшебными транзакциями): есть какой-то API у кор кошелька или ты писал отдельный софт для работы с сетью? И как это хотя бы в общих чертах выглядит, если не сложно.

Не совсем понимаю, как к самой сети подключиться: отсылать в нее транзакции и ловить чужие.

[amaclin1]

У меня, кстати, к тебе вопрос был. Если можешь, ответь, пожалуйста. Каким образом
ты работаешь с блокчейном и самой сетью (когда спамил или играешься со своими волшебными
транзакциями): есть какой-то API у кор кошелька или ты писал отдельный софт для работы
с сетью? И как это хотя бы в общих чертах выглядит, если не сложно.

А так и есть - два способа.
Первый способ - берём blk-файлы на локальном диске и начинаем их читать и парсить.
Там формат очень простой, небольшие проблемы только в том, что блоки могут лежать
не по порядку и перемежаться орфан-блоками.

Второй способ - это коннектимся к 10-100-1000 других нод точно также как коннектится
обычная нода. И работать точно так же, как работает обычная нода - ловить транзакции,
которые гуляют по сети пока не включены в блок.

Не совсем понимаю, как к самой сети подключиться: отсылать в нее транзакции и ловить чужие.

Взять список ip-адресов отсюда https://bitnodes.21.co/nodes/ и вперёд

Ну третий способ - это "вручную" смотреть нужные транзакции на блокэксплорерах
https://blockchain.info/
https://tradeblock.com/bitcoin/
https://www.smartbit.com.au/
https://bitaps.com/
и другие. Каждый по-своему хорош

[poptop]

Взять список ip-адресов отсюда https://bitnodes.21.co/nodes/ и вперёд

Правильно ли я понимаю, что я могу подключиться к любой ноде в сети и смотреть весь блокчейн через нее?
И есть какие-то примеры кода или список технологий, как такое подключение осуществить и какие команды использовать, чтоб работать с чужой нодой удаленно?

[amaclin1]

Правильно ли я понимаю, что я могу подключиться к любой ноде в сети и смотреть весь блокчейн через нее?

Любая нода работает по протоколу, позволяющему скачивать с нее блоки
и некоторые транзакции. Я не особо вдавался как работают "легкие" клиенты,
того что я знаю мне хватает: мне достаточно иметь три действия - скачать транзакцию,
скачать блок, отправить транзакцию.

И есть какие-то примеры кода или список технологий, как такое подключение
осуществить и какие команды использовать, чтоб работать с чужой нодой удаленно?

Что такое "сокетное соединение" вы знаете? Что такое IP и порт в TCP/IP вам понятно?
Странные вы вопросы задаете. Это как спрашивать: "а как числа умножать"?
Ну как? Открываем https://en.bitcoin.it/wiki/Protocol_documentation ставим WireShark и телемаркет.

[poptop]

мне достаточно иметь три действия - скачать транзакцию,
скачать блок, отправить транзакцию.

Скачиваешь транзакции и блоки ты обычным коровским кошельком, верно? А отправляешь как? Ты писал про выходы p2pk как-то. Получается, что формируешь транзакцию и запускаешь ее в сеть ты уже не через коровский кошелек, а со своего софта?

Что такое "сокетное соединение" вы знаете? Что такое IP и порт в TCP/IP вам понятно?
Странные вы вопросы задаете. Это как спрашивать: "а как числа умножать"?
Ну как? Открываем https://en.bitcoin.it/wiki/Protocol_documentation ставим WireShark и телемаркет.

Все именно так и есть, спрашиваю как числа умножать. Теперь знаю о чем читать, чтобы дальше разбираться, спасибо!

[amaclin1]

Скачиваешь транзакции и блоки ты обычным коровским кошельком, верно?

Да, если речь идет про синхронизацию базы на домашнем компьютере.
Обычным коровским.
Хотя пару дней назад поставил еще BitcoinABC. Пока место есть, потом может снесу.

А отправляешь как?

Да по-разному. Иногда sendrawtransaction делаю в консоли кошелька,
иногда иду на https://blockchain.info/pushtx
Чаще всего использую свою тулзу https://cloud.mail.ru/public/2rUa/zgcW6vf8g
Эта хрень сразу пытается на 100500 нод отправить.

Ты писал про выходы p2pk как-то. Получается, что формируешь транзакцию и
запускаешь ее в сеть ты уже не через коровский кошелек, а со своего софта?

А какая связь между выходами и способом отправки? В огороде бузина, а в Киеве дядька.

[poptop]

Да, если речь идет про синхронизацию базы на домашнем компьютере.

А про что-то еще может идти речь? Какие-то варианты?

Чаще всего использую свою тулзу https://cloud.mail.ru/public/2rUa/zgcW6vf8g
Эта хрень сразу пытается на 100500 нод отправить.

На c++ верно?

А какая связь между выходами и способом отправки? В огороде бузина, а в Киеве дядька.

Думал, что у коровского кошелька такого функционала нет, но понял (с твоих же слов выше), что можно отправить через консоль.

[amaclin1]

Да, если речь идет про синхронизацию базы на домашнем компьютере.

А про что-то еще может идти речь? Какие-то варианты?

Ну а зачем мне 24 часа в сутки держать включенным домашний компьютер?
Я на нем пишу программы, запускаю тесты, смотрю порнушку и гамаю в тетрис.
А то что мне нужно - крутится на VPS в другом городе. Раньше и в другой стране,
но у наших дешевле, поэтому я "покупаю российское"

На c++ верно?

Епать вы догадливый. Если видите файл с расширением .cpp - смело предполагайте
что это программа на C++. Все тёлки будут в ахуе от вашей эрудиции.

[poptop]

Да, если речь идет про синхронизацию базы на домашнем компьютере.

А то что мне нужно - крутится на VPS в другом городе

А на VPS каким-то другим образом скачиваются блоки или все тот же коровский кошелек в основе?

[amaclin1]

А на VPS каким-то другим образом скачиваются блоки или все тот же коровский кошелек в основе?

Так. Я понимаю, что сегодня суббота. Работать нельзя - религия запрещает. Но думать-то можно!
Зачем мне там точно так же использовать коровский кошелек?

И вообще. Мы уже далеко отошли от темы топик-стартера.
Это нехорошо такие диалоги вести в чужом топике.
Создайте отдельную тему и определитесь что вы хотите узнать конкретно.

[poptop]

Так. Я понимаю, что сегодня суббота. Работать нельзя - религия запрещает. Но думать-то можно!
Зачем мне там точно так же использовать коровский кошелек?

И вообще. Мы уже далеко отошли от темы топик-стартера.
Это нехорошо такие диалоги вести в чужом топике.
Создайте отдельную тему и определитесь что вы хотите узнать конкретно.

Ок, спасибо за ответы!

[Dimakw]

А кто сможет написать скрипт на обработку адресов по заданным критериям ? 
База всех адресов с положительным балансом в формате tsv, балансы отображены в сатошах, есть время посл входящей и посл исходящей транзакции.
Нужно балансы отобразить в биткоинах, сортировать адреса по кол-ву битков на балансе (меньше 1,больше1,больше10-100 и тд, отдельно бездействующие адреса и тп.

[spring.blockchain]

А кто сможет написать скрипт на обработку адресов по заданным критериям ? 
База всех адресов с положительным балансом в формате tsv, балансы отображены в сатошах, есть время посл входящей и посл исходящей транзакции.
Нужно балансы отобразить в биткоинах, сортировать адреса по кол-ву битков на балансе (меньше 1,больше1,больше10-100 и тд, отдельно бездействующие адреса и тп.

Здарова
я могу написать и есть у меня и уже отпаршеный левелДБ по самым разным критериям , итого на январь все адреса с имевшими место быть транзакциями 19.8 gb txt (1,3,bc)