Tenar_Pofiguel (OP)
Newbie
Offline
Activity: 42
Merit: 0
|
|
July 06, 2013, 05:38:40 PM |
|
Я правильно понимаю, что если положить кошелёк на raid1, то он будет работать во столько раз быстрее, сколько дисков в RAID1-массиве (т.е. если в зеркале 4 одинаковых диска, то цепочка будет синхронизироваться в четыре раза быстрее)?
|
|
|
|
rPman
Legendary
Offline
Activity: 1120
Merit: 1069
|
|
July 06, 2013, 05:45:08 PM |
|
Да быстрее, но зависимость далеко не линейная. p.s. размещение базы blockchain на ram-диске ускоряет синхронизацию до считанных часов
|
|
|
|
Tenar_Pofiguel (OP)
Newbie
Offline
Activity: 42
Merit: 0
|
|
July 06, 2013, 05:48:10 PM |
|
до считанных часов
Потрясяюще! Интересно: 1) зачем ему столько времени? (интересна конкретная раскладка) 2) сколько нужно памяти под tmpfs-диск (т.е. например, если хочется на узле иметь несколько валют, то какого размера память заказывать у хостера на виртуальной машине).
|
|
|
|
Vicus
|
|
July 06, 2013, 05:50:34 PM |
|
1) зачем ему столько времени? (интересна конкретная раскладка)
В процессе скачивания все цепочка блоков полностью проверяется на валидность. Т.е. заново выситываются и сверяются хеши блоков.
|
|
|
|
rPman
Legendary
Offline
Activity: 1120
Merit: 1069
|
|
July 06, 2013, 05:51:40 PM |
|
месц 2) сколько нужно памяти под tmpfs-диск (т.е. например, если хочется на узле иметь несколько валют, то какого размера память заказывать у хостера на виртуальной машине).
На win7x64 машине месяц назад мне почти впритык хватило раздела в 10GB
|
|
|
|
Tenar_Pofiguel (OP)
Newbie
Offline
Activity: 42
Merit: 0
|
|
July 06, 2013, 05:51:48 PM |
|
заново выситываются и сверяются хеши блоков.
Сколько процентов времени уходит на хеширование, а сколько процентов времени на поиск блоков в базе данных?
|
|
|
|
Tenar_Pofiguel (OP)
Newbie
Offline
Activity: 42
Merit: 0
|
|
July 06, 2013, 05:52:45 PM |
|
мне почти впритык хватило раздела в 10GB
У меня на машине всего 16 GB RAM. Правильно ли я понимаю, что две валюты на ней таким способом не запустить, и обменник не получится?
|
|
|
|
Vicus
|
|
July 06, 2013, 05:54:52 PM |
|
заново выситываются и сверяются хеши блоков.
Сколько процентов времени уходит на хеширование, а сколько процентов времени на поиск блоков в базе данных? Понятия не имею На хеширование в зависимости от мощности проца, поиск по базе в зависимости от дисковой подсистемы. В случае с РАМ-диском там скорей всего все тупо уприрается в мощность проца.
|
|
|
|
Tenar_Pofiguel (OP)
Newbie
Offline
Activity: 42
Merit: 0
|
|
July 06, 2013, 05:56:00 PM |
|
тупо уприрается в мощность проца.
Правильно ли я понимаю, что там можно большую часть работы по проверке цепочки (а не по майнингу) провести через видеокарту?
|
|
|
|
rPman
Legendary
Offline
Activity: 1120
Merit: 1069
|
|
July 06, 2013, 06:08:21 PM |
|
тупо уприрается в мощность проца.
Правильно ли я понимаю, что там можно большую часть работы по проверке цепочки (а не по майнингу) провести через видеокарту? сомнительно. Основная нагрузка скорее идет не на вычисление sha256 (мой процессор максимум считает на скорости ~20MH/s т.е. миллионы в секунду, а весь blockchain содержит всего несколько сотен тысяч блоков) а определение связности между транзакциями (проверка, что все монеты потрачены правильно), т.е. для каждого блока приходится делать сотни и тысячи запросов к текущей базе на каждую транзакцию.
|
|
|
|
Tenar_Pofiguel (OP)
Newbie
Offline
Activity: 42
Merit: 0
|
|
July 06, 2013, 06:29:18 PM |
|
для каждого блока приходится делать сотни и тысячи запросов к текущей базе на каждую транзакцию Это же отлично! Это означает, что можно параллелить работу на сотни и тысячи ядер, не так ли? Если есть N машин с многоядерными процессорами, это поможет? Но всё равно непонятно, как получается много часов.
|
|
|
|
rPman
Legendary
Offline
Activity: 1120
Merit: 1069
|
|
July 06, 2013, 06:35:30 PM |
|
для каждого блока приходится делать сотни и тысячи запросов к текущей базе на каждую транзакцию Это же отлично! Это означает, что можно параллелить работу на сотни и тысячи ядер, не так ли? Если есть N машин с многоядерными процессорами, это поможет? Но всё равно непонятно, как получается много часов. на сколько я понимаю 0.8+ версии так и делают, используют сразу несколько процессоров для проверки загружаемой цепочки, и даже для ускорения работы отказались от oracle berkely db и сменили ее на LevelDB p.s. что то мне говорит, что необходимости в кластерной реализации кошелька возникнет еще не скоро, но на сколько я знаю для linux есть библиотеки, позволяющие эмулировать многоядерную машину в кластере для тех приложений, которые это еще не поддерживают, конечно же итоговая производительность упрется в скорость сети, но вы можете попробовать...
|
|
|
|
Tenar_Pofiguel (OP)
Newbie
Offline
Activity: 42
Merit: 0
|
|
July 06, 2013, 06:39:22 PM |
|
отказались от oracle berkely db и сменили ее на LevelDB
Странные люди. Ведь в этой новой базе данных нет индексов. "This is not a SQL database. It does not have a relational data model, it does not support SQL queries, and it has no support for indexes" зачем тогда вообще нужен движок БД? Не проще ли просто запрограммировать кастомную структуру данных? Ну и это не отвечает на вопрос - как запустить систему на допустим трёх машинах параллельно для ускорения (типа distcc)
|
|
|
|
rPman
Legendary
Offline
Activity: 1120
Merit: 1069
|
|
July 06, 2013, 06:46:51 PM |
|
отказались от oracle berkely db и сменили ее на LevelDB
Странные люди. Ведь в этой новой базе данных нет индексов. "This is not a SQL database. It does not have a relational data model, it does not support SQL queries, and it has no support for indexes" зачем тогда вообще нужен движок БД? Не проще ли просто запрограммировать кастомную структуру данных? почитайте про document oriented и key-value database, они представляют из себя один больший индекс по primary key (если брать аналогию из реляционных sql db) они предоставляют больше возможностей для ускорения чем более сложные - реляционные. Ну и это не отвечает на вопрос - как запустить систему на допустим трёх машинах параллельно для ускорения (типа distcc) потому что никому не надо было, я предложил вам способы решения... первый же результат в google: http://serverfault.com/questions/152985/emulate-a-smp-server-with-a-linux-cluster
|
|
|
|
Xtc
Legendary
Offline
Activity: 1972
Merit: 1028
;u
|
|
July 06, 2013, 06:49:18 PM |
|
Ну и это не отвечает на вопрос - как запустить систему на допустим трёх машинах параллельно для ускорения (типа distcc) Для ускорения чего? Текущей скорости недостаточно, когда база уже загружена? Обычным пользователям скорости скачивания/добавления новых блоков хватает, проблема только в первоначальной загрузке всей базы.
|
|
|
|
Chugumoto
|
|
July 08, 2013, 05:29:55 AM |
|
Я правильно понимаю, что если положить кошелёк на raid1, то он будет работать во столько раз быстрее, сколько дисков в RAID1-массиве (т.е. если в зеркале 4 одинаковых диска, то цепочка будет синхронизироваться в четыре раза быстрее)?
эм... а вы не путаете 1 с 0? RAID1 может ускорить скорость чтения, и то не на всех контроллерах. ибо как бэ идеологически создавался для увеличения надёжности хранения а не скорости
|
|
|
|
yo-blin
Legendary
Offline
Activity: 2296
Merit: 1057
|
|
July 08, 2013, 06:46:06 AM |
|
Я правильно понимаю, что если положить кошелёк на raid1, то он будет работать во столько раз быстрее, сколько дисков в RAID1-массиве (т.е. если в зеркале 4 одинаковых диска, то цепочка будет синхронизироваться в четыре раза быстрее)?
эм... а вы не путаете 1 с 0? RAID1 может ускорить скорость чтения, и то не на всех контроллерах. ибо как бэ идеологически создавался для увеличения надёжности хранения а не скорости точно путает! Raid1 - делает зеркалирование дисков Raid0 - склейку в одно логическое пространство с параллельным вводом-выводом кошелек работает быстро, а вот синхронизируется первый раз долго, но это решаемо предварительным скачивание бд
|
Sign for rent, СОБИРАЮ МЕRIT! NVC: 4 YoBLincaRdAEG4v8tbZ4T26ZnKbT9SBsu
|
|
|
Tenar_Pofiguel (OP)
Newbie
Offline
Activity: 42
Merit: 0
|
|
July 08, 2013, 06:55:39 AM |
|
это решаемо предварительным скачивание бд Ничего я не путаю, просто решаю свою задачу, все требования которой вам не известны. Вот скачали вы БД предварительно. Потом программа должна её проверить. Это значит, что надо много читать и много искать. Чтение будет работать с одинаковой скоростью на RAID-0 и RAID-1 (в моём случае с mdadm, а не аппаратным контроллером). И только ваши догмы и предрассудки (о том, что только RAID-0, если нужна скорость) мешают вам воспринимать других людей не менее умными чем вы сами.
|
|
|
|
yo-blin
Legendary
Offline
Activity: 2296
Merit: 1057
|
|
July 08, 2013, 07:04:14 AM |
|
это решаемо предварительным скачивание бд Ничего я не путаю, просто решаю свою задачу, все требования которой вам не известны. Вот скачали вы БД предварительно. Потом программа должна её проверить. Это значит, что надо много читать и много искать. Чтение будет работать с одинаковой скоростью на RAID-0 и RAID-1 (в моём случае с mdadm, а не аппаратным контроллером). И только ваши догмы и предрассудки (о том, что только RAID-0, если нужна скорость) мешают вам воспринимать других людей не менее умными чем вы сами. кто вам сказал что я умный проверка идет в разы быстрее скачивания есть синтетические тесты скорости диска погоняйте их и убедитесь сами какой вам оптимальнее
|
Sign for rent, СОБИРАЮ МЕRIT! NVC: 4 YoBLincaRdAEG4v8tbZ4T26ZnKbT9SBsu
|
|
|
fsb4000
Legendary
Offline
Activity: 1400
Merit: 1000
|
|
July 08, 2013, 07:08:45 AM |
|
зачем вообще это всё? синхронизация идёт меньше одного дня. После синхронизации одновременно даже 6 кошельков разных криптовалют не нагружают даже ноутбучный винчестер с 5400 оборотов/минуту ( в windows длина очереди диска от 0 до 0.08)
|
|
|
|
|