Выбор сервера под ноду

[sNUM]

Здравствуйте, есть несколько вопросов, заранее благодарен за помощь. Насколько безопасно использовать infura вместо своей ноды, допустим для своего централизованного обменника? Если же лучше использовать свою ноду, то логичнее по идее ставить её на сервер, нежели на какой-то пк, т.к всегда есть шанс оказаться без света/интернета на какое-то время, или это не критично? И тогда какой сервер лучше выбирать под ноду? Понятно, что нужен хард с не менее чем 3тб памяти, а то и все 5, скорее вопрос о RAM и процессоре сервера, это если говорить о фул ноде, или же можно использовать ноду в лайт синхронизации? Но вопрос конфига остается открытым.

[laiyskylone]

Здравствуйте, есть несколько вопросов, заранее благодарен за помощь. Насколько безопасно использовать infura вместо своей ноды, допустим для своего централизованного обменника? Если же лучше использовать свою ноду, то логичнее по идее ставить её на сервер, нежели на какой-то пк, т.к всегда есть шанс оказаться без света/интернета на какое-то время, или это не критично? И тогда какой сервер лучше выбирать под ноду? Понятно, что нужен хард с не менее чем 3тб памяти, а то и все 5, скорее вопрос о RAM и процессоре сервера, это если говорить о фул ноде, или же можно использовать ноду в лайт синхронизации? Но вопрос конфига остается открытым.

Можете посмотреть на hetzner там на аукционах есть довольно хорошие сервера за приемлемые деньги 30-50$ можно найти.
Насчет 3-5тб памяти я не знаю зачем вам столько я конечно не проверял но маловероятно что нода битка столько весит там и до 1TB наверное не дойдет еще долго а уж 3-5 и подавно.
8-16 рамы вам хватит если но за ту цену, что я указала там все серваки почти с 16-32 идут так что нормально, возьмите лучше с SSD быстрым и будет ноормально.
Сами используем с хетзнера на i7 32RAM + 1tb SSD NVME в рейде и все норм

[sNUM]

Полная нода уже весит больше 1тб, или я ошибаюсь?

[kzv]

1тб вроде по слухам эфирная нода весит. Биткоин что-то в районе 300 гб.
Я у немца взял с двумя иде хардами по 1.5 тб и объединил их в рейд. По скорости получилось не хуже чем хороший ссд. При этом в сто раз надежней, а по цене раза в полтора дешевле.

[A-Bolt]

Полная нода уже весит больше 1тб, или я ошибаюсь?

В режиме fast sync 200ГБ должно хватить.

[sNUM]

А быстрой синхронизации хватит, если говорить о бирже? Ну т.е у нее тот же функционал? И насколько сложнее её настраивать?

[A-Bolt]

А быстрой синхронизации хватит, если говорить о бирже? Ну т.е у нее тот же функционал?

Хватит.

И насколько сложнее её настраивать?

--syncmode fast - это режим синхронизации geth по-умолчанию. Его не надо специально настраивать.

[naska21]

Я у немца взял с двумя иде хардами по 1.5 тб и объединил их в рейд. По скорости получилось не хуже чем хороший ссд. При этом в сто раз надежней, а по цене раза в полтора дешевле.

Налицо имеем алогизм, чтобы получить прирост в скорости для двух "иде"  надо их в RAID0 объединить, а чтобы сделать понадежнее то в RAID1. И еще походу, два "иде"  диска в  RAID0 не обгонят хороший SSD, для этого их надо с дюжину поставить.

[kzv]

Я объединил два полуторатерабайтных иде диска в RAID10 и получил скорость лучше, чем на премиум тарифе амазоновского SSD

Code:

dd if=/dev/zero of=/tmp/output bs=8k count=10k; rm -f /tmp/output conv=fdatasync

bytes (84 MB, 80 MiB) copied, 0.0493326 s, 1.7 GB/s

Для примера, та же команда на хосте DigitalOcean (там тоже SSD причем по идее должны быть в рейде)

bytes (84 MB, 80 MiB) copied, 0.390871 s, 215 MB/s

[naska21]

Я объединил два полуторатерабайтных иде диска в RAID10 и получил скорость лучше, чем на премиум тарифе амазоновского SSD

Code:

dd if=/dev/zero of=/tmp/output bs=8k count=10k; rm -f /tmp/output conv=fdatasync

bytes (84 MB, 80 MiB) copied, 0.0493326 s, 1.7 GB/s

Для примера, та же команда на хосте DigitalOcean (там тоже SSD причем по идее должны быть в рейде)

bytes (84 MB, 80 MiB) copied, 0.390871 s, 215 MB/s

Походу фокусник? Как в  RAID10 два диска поставить если для такой конфигурации их минимум четыре надо

RAID 10, also known as RAID 1+0, is a RAID configuration that combines disk mirroring and disk striping to protect data. It requires a minimum of four disks and stripes data across mirrored pairs.

[kzv]

Не помню, как я это сделал вот что могу увидеть сейчас

Code:

 cat /proc/mdstat

Personalities : [raid10] [raid1] [linear] [multipath] [raid0] [raid6] [raid5] [raid4]
md3 : active raid10 sdb4[1] sda4[0]
      1847478272 blocks super 1.2 2 near-copies [2/2] [UU]
      bitmap: 8/14 pages [32KB], 65536KB chunk

md2 : active raid10 sdb3[1] sda3[0]
      1073610752 blocks super 1.2 2 near-copies [2/2] [UU]
      bitmap: 4/8 pages [16KB], 65536KB chunk

md1 : active raid1 sdb2[1] sda2[0]
      523712 blocks super 1.2 [2/2] [UU]

md0 : active raid1 sdb1[1] sda1[0]
      8380416 blocks super 1.2 [2/2] [UU]

[naska21]

Не помню, как я это сделал вот что могу увидеть сейчас

Code:

 cat /proc/mdstat

Personalities : [raid10] [raid1] [linear] [multipath] [raid0] [raid6] [raid5] [raid4]
md3 : active raid10 sdb4[1] sda4[0]
      1847478272 blocks super 1.2 2 near-copies [2/2] [UU]
      bitmap: 8/14 pages [32KB], 65536KB chunk

md2 : active raid10 sdb3[1] sda3[0]
      1073610752 blocks super 1.2 2 near-copies [2/2] [UU]
      bitmap: 4/8 pages [16KB], 65536KB chunk

md1 : active raid1 sdb2[1] sda2[0]
      523712 blocks super 1.2 [2/2] [UU]

md0 : active raid1 sdb1[1] sda1[0]
      8380416 blocks super 1.2 [2/2] [UU]

Ну и намешали. У вас два диска, каждый из низ разбит на четыре раздела. По два из раздела из каждого диска работают в рейд 10 и по два в рейд 1. Головок то на каждом диске несколько, но все они двигаются синхронно, в разнобой не могут.   Жесть, это что за рейд драйвер позволяет такой микс сделать? Даже если такое и возможно, то скорость должна быть всего в 2 раза больше чем для обычного ИДИ. О надежности такого микса говорить не хочу, ее просто нет.

[kzv]

Это програмный рейд который делает установщик немцев. Я в этом учстия не принимал, только конфигу сказал raid10 дальше он сам все сделал.
Бенчмарк двумя постами выше. Попробуйте найти ssd который работает быстрее? Не найдете! А у меня иде!

[naska21]

Это програмный рейд который делает установщик немцев. Я в этом учстия не принимал, только конфигу сказал raid10 дальше он сам все сделал.
Бенчмарк двумя постами выше. Попробуйте найти ssd который работает быстрее? Не найдете! А у меня иде!

 По большому счету  не верю.

Зеркалирование на четыре  раздела sda1 sdb1  sda2 и sdb2 всего двух дисков  может происходить только в два последовательных этапа а не в один как это происходит при нормальном RAID1 на четыре отдельных диска. Соответственно и скорость в два раза меньше чем для обычного ИДЕ. Для нормального зеркалирования скорость равна ИДЕ.  RAID 0 увеличивает скорость за счет расщепления. На сколько кусков расщепились  данные во столько раз и увеличилась скорость. RAID 10 это комбинация  зеркалирования и расщепления .

[kzv]

Это програмный рейд который делает установщик немцев. Я в этом учстия не принимал, только конфигу сказал raid10 дальше он сам все сделал.
Бенчмарк двумя постами выше. Попробуйте найти ssd который работает быстрее? Не найдете! А у меня иде!

 По большому счету  не верю.

Зеркалирование на четыре  раздела sda1 sdb1  sda2 и sdb2 всего двух дисков  может происходить только в два последовательных этапа а не в один как это происходит при нормальном RAID1 на четыре отдельных диска. Соответственно и скорость в два раза меньше чем для обычного ИДЕ. Для нормального зеркалирования скорость равна ИДЕ.  RAID 0 увеличивает скорость за счет расщепления. На сколько кусков расщепились  данные во столько раз и увеличилась скорость. RAID 10 это комбинация  зеркалирования и расщепления .

Если теория противоречит практике - тем хуже для теории ))
Купите себе такой же сервак и проверьте. Цена вопроса 30 баксов.

[naska21]

Это програмный рейд который делает установщик немцев. Я в этом учстия не принимал, только конфигу сказал raid10 дальше он сам все сделал.
Бенчмарк двумя постами выше. Попробуйте найти ssd который работает быстрее? Не найдете! А у меня иде!

 По большому счету  не верю.

Зеркалирование на четыре  раздела sda1 sdb1  sda2 и sdb2 всего двух дисков  может происходить только в два последовательных этапа а не в один как это происходит при нормальном RAID1 на четыре отдельных диска. Соответственно и скорость в два раза меньше чем для обычного ИДЕ. Для нормального зеркалирования скорость равна ИДЕ.  RAID 0 увеличивает скорость за счет расщепления. На сколько кусков расщепились  данные во столько раз и увеличилась скорость. RAID 10 это комбинация  зеркалирования и расщепления .

Если теория противоречит практике - тем хуже для теории ))
Купите себе такой же сервак и проверьте. Цена вопроса 30 баксов.

Спрашиваеся зачем мне что-то покупать, если у меня дома на десктопе четыре ИДЕ на RAID 10 бегают и сам драйвер вшит в микрокод интелловского чипа а это априори намного надежнее и быстрее чем любая софтиновая реализация.  Моя практика совпадает с теорией, та что вам показывают нет.

[kzv]

Спрашиваеся зачем мне что-то покупать, если у меня дома на десктопе четыре ИДЕ на RAID 10 бегают и сам драйвер вшит в микрокод интелловского чипа а это априори намного надежнее и быстрее чем любая софтиновая реализация.  Моя практика совпадает с теорией, та что вам показывают нет.

Какие коварные немцы: пропатчили ядро своего линукса, чтобы никто не мог узнать реальную скорость их дисков ((

[A-Bolt]

Я объединил два полуторатерабайтных иде диска в RAID10 и получил скорость лучше, чем на премиум тарифе амазоновского SSD

Code:

dd if=/dev/zero of=/tmp/output bs=8k count=10k; rm -f /tmp/output conv=fdatasync

bytes (84 MB, 80 MiB) copied, 0.0493326 s, 1.7 GB/s

Кажись, эти 84MB были где-то закешированы, оттого и получились таки фантастические результаты.

Но в любом случае - это всё писькомерство и к реальным задачам имеет слабое отношение. Эфир чувствителен не столько к линейной скорости чтения-записи, сколько к количеству операций ввода-вывода в секунду (iops). По этому параметру HDD сливают SDD, в результате чего эфирная нода на HDD обречена на вечную синхронизацию, при том что Биток легко синхронизируется на HDD.

[kzv]

Я объединил два полуторатерабайтных иде диска в RAID10 и получил скорость лучше, чем на премиум тарифе амазоновского SSD

Code:

dd if=/dev/zero of=/tmp/output bs=8k count=10k; rm -f /tmp/output conv=fdatasync

bytes (84 MB, 80 MiB) copied, 0.0493326 s, 1.7 GB/s

Кажись, эти 84MB были где-то закешированы, оттого и получились таки фантастические результаты.

Но в любом случае - это всё писькомерство и к реальным задачам имеет слабое отношение. Эфир чувствителен не столько к линейной скорости чтения-записи, сколько к количеству операций ввода-вывода в секунду (iops). По этому параметру HDD сливают SDD, в результате чего эфирная нода на HDD обречена на вечную синхронизацию, при том что Биток легко синхронизируется на HDD.

Пользуясь случаем спрошу у вас: где нынче берут кошерные эфирные ноды? Посмотрим за какое время синхронизируется у меня.

[Balthazar]

Кажись, эти 84MB были где-то закешированы, оттого и получились таки фантастические результаты.

Фантастические, но бессмысленные. Для синхронизации последовательные чтение и запись не имеют вообще никакого значения. Главное, чтобы на случайное чтение/запись 4к был нормальный результат, а что там на последовательном, ой, да пусть хоть в USB упирается.

Пользуясь случаем спрошу у вас: где нынче берут кошерные эфирные ноды? Посмотрим за какое время синхронизируется у меня.

https://github.com/paritytech/parity-ethereum/releases

Кошерных никаких особых не надо, само находит без проблем. Синхронизируется за 6-10 часов на среднем десктопе с SSD и нормальной сетью.

По этому параметру HDD сливают SDD, в результате чего эфирная нода на HDD обречена на вечную синхронизацию, при том что Биток легко синхронизируется на HDD.

Просто биток построен на UTXO, и все состояния влезают в 4гб оперативки, которые являются нормой для среднего ПК уже очень давно. На эфире ситуация другая, если хочется на битке сэмулировать поведение эфира, то нужно поднять ноду на 128мб RAM, скажем. Тогда точно так же будет зажевывать систему обращениями к диску. Ну и аналогично, если эфирной ноде скормить 10-20 гигабайт RAM и разрешить клиенту разрастание кэша до таких объемов, то и на HDD синхронизируется более-менее адекватно.

А быстрой синхронизации хватит, если говорить о бирже? Ну т.е у нее тот же функционал? И насколько сложнее её настраивать?

Точно такая же функциональность, никаких особых настроек не требуется.

И да, если вместо geth использовать parity, то будет шустрее и потребует еще меньше места. В зависимости от настроек формата БД, от 30 до 90гб.
Я на своем пуле в порядке эксперимента вообще в 25гб укладывался. Ни о каких терабайтах и речи нет, это же не риппл.