Помогите советом и поделитесь пожалуйста

[arsenya]

Есть средства в размере 5.5-6 млн. рублей

Задача: Сконфигурировать железо для майнинга, либо подобрать FPGA решения, для достижения максимального соотношения MH\$
Условия: Помещение ~50м2, 4 кондиционера, электричество бесплатное, опыт работы с железом есть, поднять все это дело могу под любой ОСью

П.с. Писать что майнить сейчас не имеет смысла, а нужно покупать бтс - не нужно.

Буду благодарен всем решениям!!!

[alpet]

Мне представляется, что под такой объём денег надо собирать фермы по 3-6 видеокарт Radeon 7970, покупаемых у оптовиков. С подходом таким, что через год майнинга это добро продается как б/у за меньшие чем сейчас деньги (цена будет маленькой из-за засилья предложения имхо).
Топ принципиально важен, т.к. тепла на каждый мегахэш он выдаст меньше прилично, да и от розетки соответственно сожрет. А четыре кондиционера могут давать охлад на 10кВт или на 100кВт, все очень зависит от моделей. Инверторные при эксплуатации на мощные источники тепла при недостатке воздуха (как аккумулятора холода) должны себя лучше показать.  Опять-же нужно уточнить детали, какая электрическая мощность подведена и уровень её стабильности. Каждая ферма на 6 видеокарт это грубо 2 кВт потребления энергии и выделения тепла, при стоимости порядка 150 тысяч рублей, в принципе даже возможна без райзеров. Получается затариваясь на все ваши деньги, надо иметь запас минимум 80кВт*ч по подводу энергии и отводу тепла. Если этого нет, остается рисковать и покупать "бабочки".
К слову 40 ферм по 6 карт, если у вас хватит терпения их собрать, настроить и администрировать, в разгоне будут выдавать 160Гх, или порядка $500 по нынешним курсам в день. Одно но, похоже гонка вооружений майнеров сейчас выходит из рамок бизнеса, в направление какого-то непрактичного спортивного соревнования. Ваша закупка наверняка серьёзно отразиться на сложности, и другие майнеры "компенсируют" потери апгрейдами, в итоге мы к концу года докатимся к выхлопу в $5/день с одной дорогой фермы. Сейчас у вас полная окупаемость, без энергии и поломок оборудования (которые могут быть массированными, запросто), срок полной окупаемости предполагается около 329 дней. Однако из-за роста сложности будет скорее в 1.5-2 раза больше. Можно попытаться сильно сэкономить на комплектующих, выбирая скажем мат. платы low-end и тогда ваш риск потерь от поврежденного железа резко повысится.

Если не секрет, озвучьте желаемые цифры годовой доходности по вашей инвестиции, и максимального риска. Можно даже в ЛС.

[arsenya]

Изложу свои мысли =)

Изначально хотел взять 6 Rig box бабочек, все в цифрах красиво, прям глаз радуется, но очень рискованно, и сомнительно.

Помещение - часть производственного помещения, соответственно на нагрузку 80кВт\ч оно особо даже не отреагирует.


Планирую все это делать следующим образом:
1. Собираю фермы на обычных GPU
2. Жду более-менее адекватные решения на FPGA.
3. В течении 4-6 месяцев распродаю фермы и перехожу на FPGA

Риски... риски есть всегда, доходность.. все что связано с BTC - сложно загадывать и прогнозировать.
В идеале, окупаемость в районе 2х лет.

[alpet]

Помещение - часть производственного помещения, соответственно на нагрузку 80кВт\ч оно особо даже не отреагирует.

Интересно, как только будет незамеченной растрата энергии 60МВт / месяц, это прям коммунизм Кондиционеры-то выдержат? Если нет, может стоит купить несколько штук Gree которые отнимаемым у воздуха теплом, нагревают воду. И торговать горячей водой на предприятии, скажем общественный душ открыть )

Планирую все это делать следующим образом:
1. Собираю фермы на обычных GPU
2. Жду более-менее адекватные решения на FPGA.
3. В течении 4-6 месяцев распродаю фермы и перехожу на FPGA
4. Риски... риски есть всегда, доходность.. все что связано с BTC - сложно загадывать и прогнозировать.
В идеале, окупаемость в районе 2х лет.

1. Работа вам предстоит нелегкая, попытайтесь нанять помощников.
2. Их все ждут, я боюсь что когда их завоз в РФ станет очень рентабельным, сложность автоматически вырастет во всем мире... этак раз в 20. Поэтому ожидание такое, как-бы и шанс и апокалипсис в одном флаконе.
3. Ох и счастливы будут геймеры этой осенью
4. Если вам интересен высокий риск, стукните в ЛС. Есть альтернатива с пожалуй большей предсказуемостью.

[rPman]

Не стоит городить решения на FPGA, все равно для таких сумм не найти приличных вендоров, готовых поставить уже оттестированное решение в приемлемые сроки (потому как эти вендоры только только появляются и не готовы обработать 5 миллионов рублей, остальным придется пройти весь путь от разработки до поиска поставщика и доставки)

Тем более если электричество бесплатное!

Никаких жестких дисков (кроме отдельно стоящего NAS), операционки - linux, загрузка только по сети, полный автомат со сбором минимальной статистики и удаленным управлением/перезагрузкой (можно воспользоваться кучей примеров готовых сборок или лучше собрать свое, благо работы для специалиста - сутки/двое). Не стоит заморачиваться даже с KVM, слишком типовые узлы, подключение монитора/клавиатуры критично только на время инсталляции или диагностики при неполадках (всегда будет известно что сломалось и можно тупо вручную подключить). На обслуживание хватит одного человека, изредка приезжать и заменять погоревшее оборудование.

Не заморачивайтесь с дорогим серверным железом (шибко оно дорогое, уже начиная с корпусов и стоек треть средств улетучится), тут вполне подходит обычное десктопное. При таких объемах не стоит собирать решения на стандартных корпусах - лучше спроектировать и заказать/сделать что то свое (стойки для крепления видеокарт на рейзерах), так как охлаждение - ключевой момент, грамотно спроектированное сэкономит много денег и времени на обслуживании в будущем. Не гонитесь за более чем 4 карты на материнку, не изобретайте сложные системы электропитания, проектируйте из расчета стандартных киловатников на одну материнскую плату - это от силы 4-6 ядер (2-3 двухчиповые или 5-6 одночиповые решения).

7ххх видеокарты пока еще дороги, 5ххх серия уже не достать, так что остаются только 6ххх, рекомендую двухчиповые решения HD6990, цена вариант с 3xPCI-e - 5к материнка и стоковое охлаждение + 3к.р. процессор (phenom II 4x) + 1т.р. оперативная память (4Gb или 8Gb 2х кит) + 3*24к видеокарта + 8к на блок питания от 1.4Кват - ~90т.р на готовый модуль на 3*700Mh=2.1Gh.. На сеть уйдет еще 100т.р.-200т.р. (тут я не специалист, но дорогое оборудование тупо не требуется, хватит простых неуправляемых свитчей, пары NAS и роутера, пусть даже из обычных компов), интернета хватит самого дешевого, можно приобрести два канала от разных провайдеров, для резерва. Примерная стойка-корпус с охлаждением для 10-20 материнских плат обойдется порядка 10т.р. (я говорю про 'самоделки', иначе цена на порядок прыгает).

p.s. В общем примерно 60 модулей, каждый кушает по полтора киловатта (1.4квт * 2.5р/квт * 24 часа * 30 суток = 2.5т.р. в месяц электричества на модуль) и прогнозируемо выдает в месяц 3т.р.-6т.р. профита. При таких объемах оборудования уже возникнут проблемы с электроснабжением, в общем это дело придут проверять и на 'лицензирование' тоже придется потратиться

При проектировании корпуса придерживаться принципа - 'легко заменить', так как при таких объемах оборудования выходить из строя оно будет постоянно. Материнки объединять в стойки, охлаждение и питание централизованное на стойку (даже если для починки придется вырубить стойку - не страшно), если сумеете построить удачное водяное охлаждение - поделитесь с сообществом. Если сумеете куда то пристроить в дело получаемое тепло - так вообще радость, за такое думаю даже найдутся те кто приплатить готов (при таких объемах - это очень приличные суммы).

Я в прошлом году 'проектировал' примерный вариант корпуса для вариантов соединения без рейзеров (каждая пара материнок охлаждалась своим кулером, материнки с блоками питания расположены в корпусе в виде плоской трубы, видеокарты вставлены на свои места в pci-e). Лично я почти всегда и везде рекомендую AMD (экономия только на железе - до 30%), но возможны ситуации что нужные количества просто не будут доступны.

[arsenya]

Спасибо за ваши емкие посты, очень приятно читать.

По поводу водяного охлаждения... Очень трудоемко и затратно будет сделать качественное водяное охлаждение всей этой системы. Конечно оно в разы эффективнее, и можно будет разгонять карты немного сильнее, но нужно хорошо все обсчитать. Изначально сразу отмел эту идею за "нерентабельностью", но теперь буду думать снова =)

По поводу стоек - так и собирался "колхозить" стойки из уголков, на райзеры подвешивать все видяхи, грузиться из сети, на крайний случай с флешки.

Может все-таки слетать к "бабочкам" и воочию удостовериться в работоспособности этого оборудования? или к тем же самым ZTEX.
м.б. их FPGA решения не миф =))))

п.с. У кого есть предложения, отписываемся - не стесняйтесь!

[alpet]

arsenya
Водяное охлаждение имхо требует намного больше усилий, по части обслуживания и контроля всяческих протечек. Не говоря уже о том, что продажа б/у охлаждения будет тяжким испытанием. Если мощность на охлаждения у кондиционеров бытовая 3-4 кВт, вам наверняка 10-20% от суммы придется потратить на дополнительные кондиционеры, и все-же это выйдет дешевле большой партии водянок. Если есть куда девать горячую воду за деньги, погуглите мультизональную систему Gree HOME-GMV, это резко повысит рентабельность покупки кондиционера.

Монтаж стоек лучше делать по принципу горячего и холодного коридора, причем при возможности ротации воздуха это позволит выиграть в энергоэффективности. Если двигаться таким подходом, то помещение (или его часть) перегораживается пополам узким стелажом, на котором видеокарты монтируются так, чтобы забирать холодный воздух из охлаждаемой половины и выдувать его в горячую. Поскольку выхлоп из видеокарт чаще всего имеет температуру от 35 до 55 градусов, вовсе не выгодно его заворачивать обратно на кондиционер, проще отпускать на улицу вытяжкой. Соответственно в холодную половину должен набираться воздух с той-же улицы, в зависимости от времени суток он будет 15-35 градусов даже летом. В качестве расходов добавляется несколько улиток-вентиляторов и матрица воздушных фильтров, для очистки от пыли. Можно использовать наклеенные на раму салонные воздушные фильтры (для автомобилей), они довольно дешевые и имеют форму гармошки смятой в параллелепипед.

К "бабочкам" обратитесь по возможности, избавление от хлопот со сборкой множества ферм вам субъективно может в пол миллиона вылиться, что вероятно даже больше ожидаемых таможенных сборов.

[arsenya]

с "бабочками" общался этой ночью, собсна вот что удалось выяснить

Before I process your order, I need to clarify that you are aware of the lead time in building these Rig-Boxes for you.  From payment to delivery is 12-15 weeks.  The manufacture of the processors takes most of this time at the foundry (TSMC in Taiwan).  Most often, they deliver much faster, but we must assume their full quoted time of 12 weeks.  Once we receive our processors, our assembly and testing takes up to 3 weeks. 

Please acknowledge you would like to proceed and I'll process your order.

Kind regards,
Sonny K
BF labs Inc.

PS.  Here attached is a Cad rendering of the new Mini-Rig configuration we are about to announce.  If you would like these instead, the price is the same and you would receive 10 of these boxes at 25 gh/s each instead of 5 50 gh/s units.


п.с. Все запутаннее и запутаннее =)

[alpet]

Три месяца ждать тоскливо пожалуй.

[arsenya]

За 3 месяца может многое поменяться.

Если бы просто ждать 3 месяца, далее оплата и поставка товара..... а тут от оплаты до поставки.... боюсь волос даже седых не останется =)

Даже не 3 месяца, а 12-15 недель

[arsenya]

Люди добрые, у кого есть мысли по первому посту - просьба высказываться не стесняться!

[FAN]

проверь ЛС

[neo_rage]

Butterfly, у них есть 50GH/s железка.
http://butterflylabs.com/

[LZ]

Бабочки тут уже вспоминали. Мутные они.

[neo_rage]

Мутные, но заманчивые. А дальше пусть каждый решает для себя сам.

Лично мне кажется, что очень заманчиво, но в отличие от FPGA - если что фиг продашь...