Bitcoin Forum

Господа, есть пустой гараж с голыми кирпичными стенами.
Там сейчас стоит 44 видеокарты (~250 ватт каждая, считай всего ~10-11 киловатт), но планирую поставить 80 карт.

ПРОЕКЦИЯ СВЕРХУ
https://i.imgur.com/AuoFEO2.jpg
ПРОЕКЦИЯ ПРЯМО
https://i.imgur.com/pIQUJJA.png

На выдув вверху просверлена труба и в конце трубы (около улицы) стоит осевой вентилятор диаметром 300 мм.  
http://www.lissant.ru/images/387_VO300.pdf
Вот такой, где-то 1900 кубометров в час.

На вдув стоит канальный вентилятор, правда диаметром 160 мм (труба такая).
http://www.shuft.ru/catalog/1/200/3000/4002/50020/
Расход где-то 600-750 кубометров. Также открыта дверца в погреб, откуда типа посасывает воздух, чтобы замещать выдавленный вытяжным.
И в самой входной двери в комнату (тонкая железная дверь) просверлено более сотни дырок, чтобы из холодного гаражного коридора тоже сосало холодный воздух.

Плюс висит кондиционер, всегда работающий на максимуме, с заявленной охладительной мощностью 6 киловатт.

Короче, сейчас даже при 11 запущенных ригах начинается пипец, температура до 34 поднимается в гараже, сухо, дышать невозможно. Переживаю за вероятность возникновения пожара и все такое. Как только выключаю одну ригу, с 10 становится заметно лучше.
Что я делаю не так? Как мне поставить 20 риг?
Подскажите, ведь я знаю что здесь очень много реально шарящих инженеров. Если получится, отблагодарю денюжкой.

Ну так считать надо какие нужно делать дырки, какие вентиляторы, какие объемы... сами же видите, вам не хватает... 11кват видеокарты и всего 6кват кондиционер.. .однозначно нехватка!

p.s. размещать видеокарты в открытую на стойках - это неэффективно с точки зрения циркуляции воздуха, в вашей схеме вы моежте охлаждать только центральные стойки, а дальняя у стенке будет жариться в собственном соку.

Я бы рекомендовал полностью изменить схему - поместите каждый стелаж стойки (стол.. или что там у вас) в отдельный корпус (по 3-5 материнок) в виде длинной широкой трубы например 40x20x200см (60x30x200см), в торцах ставите по канальному вентилятору по несколько кубометров/мин, отдельно трубами вводите/выводите (полностью на улицу напрямую) воздух.. и радуетесь на экономии на кондиционере.
p.s. кстати трубы можно разместить самодельные (из того же материалла что и корпуса, какой-нибудь полупрочный дешевый изоляционный материал, он обычно негорюч и удобен в обработке) по стене, а корпуса к трубам подключаться банальным приставлением дырка-к-дырке

Правильно он пишет, кондер не нужен, я использовал металлические квадратные трубы от промышленной вентиляции, 0,8 на 0,8 м в них совал стойки по одной в каждую и вентилятор мощный на выдув на каждую сразу на улицу (вроде бы такие вентиляторы на птицеферме есть) шумит ужасно, если есть соседи рядом то не выдержат. Зато пожаробезопасно, гори синим пламенем - везде вокруг железо. И сторож нужен, хоть и решетки на выходах труб.

rPman, накинь примерно в Пеинте за пару секунд пожалуйста, как это выглядит. А то я боюсь что не совсем тебя понимаю.

Наима: сторож это совсем не вариант  :-\ Жилой элитный дом, гаражи вместо первого этажа, куча народу на улице ходит мимо и смотрит.

Вот как выглядят сами стойки:
https://i.imgur.com/IChGBhQ.jpg
https://i.imgur.com/sQmSxdy.jpg
https://i.imgur.com/LA40Ju2.jpg

чтобы ассимилировать тепло от 80 ГПУ, потребуется около 8500м3/ч летом в вашем гаражике. 16см в диаметре и 30см, это ни о чем. если ставите кондиционер, то лучше не используйте вентиляцию. но если кроме ГПУ там еще и автомобили стоят, то вентиляцию придется оставить, а то мало ли что. еще, стоянки выгорают очень быстро. пожаротушение предусмотрено?

https://docs.google.com/drawings/d/1AAITgINtHGs0Bgv_CbpKkNGDDv_Cq_3gzwGwz-1K8P4/edit?usp=sharing

Само собой, мощность вентилятора на выходе должна быть сравнима с суммой мощностей вентиляторов в корпусах. И диаметр 'трубы на выход' должен быть достаточным, чтобы пропустить нужный объем воздуха... по уму грамотнее было бы посчитать все с учетом теплопроводности воздуха, какие объемы нужно прогнать чтобы отвести столько тепла.. ну или наобум.

p.s. 'трубу на выход' до вентиляции в стене можно вести ОТДЕЛЬНУЮ для каждого компьютера, либо группы, чтобы не мешали соседям...

Так же труба-на-выход это банальная коробка на стене (одна из сторон - сама стена), реберная конструкция на алюминевых уголках или из дерева, а стенки могут быть даже из дешевого изоляционного материала (не прочный, пальцем проткнуть можно)

та не, расчет на 29С в помещении и 21С на улице. т.е. dt=7С. вентиляторы на картах в расчет не берем, это уже СО самой карты и расходы там другие. в трубу лучше не засовывать, там уже аэродинамический расчет потребуется. нужно избытки тепла собирать в верхеней зоне помещения, подавть с лицы в нижнюю зону.

если мощность будет ниже, то он тогда вообще не нужен! Задача, чтобы воздух от соседних компьютеров не давил друг на друга (так как размер вентиляции в помещении на выход очень может оказаться очень маленьким)

Основной объем работы выполняют дешевые канальные вентиляторы (600-1200р шт) в корпусах

какая мощность? суммарный расход воздуха систем СО ГПУ не надо применять при подборе расходов воздуха на ассимиляцию теплоизбытков в помещении. это как теплое с мягким. если вы про кондиционер толкуете, то я бы взял 1,5 раза больше суммарную мощность кондиционеров, 2шт.

я ничего не говорил про вентили на GPU, я про выходной на вентиляции из гаража!

Я бы рад не использовать кондиционер, и я бы еще больше рад его вообще не ставить, ибо дорого) но иначе никак.
Дырку на выдув в данном месте расширить нельзя. Так как слева - стена соседнего гаража, справа - горизонтальная несущая балка из бетона, ее тоже трогать нельзя.

Машин в гараже нет, пустой гараж.

Кондеционер вам не нужен, если вы завернете все потоки воздуха в трубы и если его будет достаточно чтобы совершить теплообмен на 11кват (или какие у вас планы)... и это однозначно дешевле стоимости этого кондеционера!

В конце концов дырка-на-выход может быть любой, это просто вопрос эффективности, поэтому и нужен дополнительный вентилятор на выдув.
p.s. а сифонить можно и через игольное ушко, компрессором соотв мощности :)

Режьте ворота, ставьте решетки/жалюзи, как вариант можно выводить теплый воздух через крышу/пол

Дело в том что с таким теплоизбытками ваш гараж больше похож на горячий цех столовой на 500чел или на котельную тепловой мощность 1,5МВт, а это уже больше походит на производственное помещение. а вы его впихнули в элитный жилой дом. какие бы решения вы не приняли (вентиляция или кондиционирование), шум от установок превратит жилой дом в дурдом. лучше обратите внимание на топик, где предлагают землю за биткоины, поставьте там ангар и делайте что хотите. самый лучший вариант в вашей локации сделать водяное охлаждение и организовать отвод тепла для оранжереи или теплицы. нельзя же так разбазаривать тепловую энергию. вы в какой широте живете?

Чтобы качнуть прогнозируемые объемы воздуха наружу нужен очень громкий железный вентилятор на предполагаемое отве-тие в 300мм, если громкость недопустима, то ставить что есть и качать-качать-качать, ну и риги паковать в коробки с дополнительным выхлопом - тоже разумно
но как запаковать 20 коробок в таком тесном помещении - не реально...
у меня с объема = 8-9 кубов/1 ферма(5 карт7970) (помещение подвала, один вытяжной на 150мм + открытая ляда, 2 фермы),  еще как-то обходятся без коробкования и упаковки под вентиляцию, но с гаража объемом 2.2*5*4 20 ферм - нереально в любом случае...

Живу в Сибири.

Согласен с вами, сэр)

Но только что меня посетила следующая идея:
что если купить 1-комнатную квартиру в только что построенном доме, где еще никто не живет и все только-только начинают делать ремонт?
И до зимы сделать там что угодно. Посудите сами:
Гореть там нечему, вокруг только бетонные стены.
Электросеть всего дома можно нагружать нормально, поскольку никто не живет, а ремонт делается максимум в 10%-15% квартир.
Может даже пока нет электросчетчиков как-то воровать электричество?
Квартиру можно дешево отделать и продать, и это окажется как минимум не убыточным.

Серьезно подошли к вопросу майнинга =). Советую обратить внимание на посты DeathandTaxes, он нашел как разумно использовать лишнее тепло. Gigavps делает открытые стенды для ферм из металла, дерево использовать не советую - всё таки может загореться. Удачи =)

Не вытянет там электросеть, нужно дом и трехфазное, нагрузку делить между фазами поровну. Квартира - не вариант

вроде до 15 кВт подключают дома?
скоро это станет мне очень актуально

или неактуально :-\

Почему не вытянет? Ты уверен? 20 кВт не подключить?
Пока застройка идёт, никто не пользуется же сетью. Да и ремонт делается в 10-15% квартир.

насчёт докупки видях пока не знаю, но в городе надоело что на кухне нельзя включить больше 2-х приборов т. к. всю мощность сжирают видяхи (у меня стиралка, посудомойка, чайник, микроволоновка, плита, было подведено 1 фаза 60 ампер (в реале брал больше, т. к. все автоматы в сумме были на 70 ампер))

Кто-нибудь имел дело с Радиальными вентиляторами?  ???
Я правильно понимаю, что им пофиг на приточный поток?

Приведу пример: вот у меня сейчас на выдув стоит обычный осевой вентилятор, 1900 кубометров в час. НО на приток стоит канальный вентилятор всего на 650 кубометров.
Несмотря на наличие других мест пассивной приточки (дырки в двери входной например), у меня стойкое ощущение, что выходной вентилятор работает явно не на свои 1900 кубов в час.
Потому что приточка намного слабее.
А вот если я поставлю радиальный вентилятор на выдув, например среднего давления, он вне зависимости от приточки будет всегда выдувать свои заявленные кубометры?

Конечно же будет зависимость от приточки, атмосферное давление достаточно большая сила (порядка 1 кгс на квадратный сантиметр поверхности), так что если из замкнутого помещения выдувать воздух, то поток просто уменьшит в помещении давление (а даже 2% атмосферы даст серьезное сопротивление по сечению выдувного отверстия) и без нормального притока скорость на вдув практически сравняется со скоростью на выдув, также и наоборот, если на вдув дать много - то давление внутри повысится и скорость выброса будет выше чем должен давать малый вентилятор.

П.С. Вообще повышенное давление воздуха внутри помещения с точки зрения теплопереноса от видеокарт это плюс.

при чем тут атмосферное давление? смотрите воздушный баланс по помещению.

повышенное давление воздуха внутри помещения, от дисбаланса. и кроме как определенного количества Паскалей на дверь, которую будет с трудом открывать оператор  (или она будет плохо закрыватся), у него физического свойства нет.

Это же очевидно дисбаланс мощностей входа и выхода сначала компенсируется изменением давления в помещении, после чего количество входящего в помещение воздуха = количеству исходящего.
Удельная плотность (и теплоемкость) воздуха зависит от давления, причем различие теплоемкости при изменении давления всего на +-2% сравнимо с разницей теплоемкости сухого и влажного воздуха.

недавно вы писали, что повышенное давление улучшает теплосъем.
в данном случае изменением этих величин (удельная плотность, теплоемкость) можно пренебречь, влияние слишком мало. если вы собираетесь увеличивать давление на 2% то будьте готовы к тому что открыть дверь в гараж вам без помощи бульдозера не удастся

дисбаланс или есть, или его нет. мощность измеряется в Вт, а расход воздуха в м3/ч.

Судя по тому что рентабельность в этом проекте, совершенно второстепенная штука, наверное имеет смысл поставить кондиционер мощный с нагревом воды ($15000 с монтажом вроде как). По крайней мере до наступления осени будет бесплатная горячая вода, а до декабря сравнительно дешевая. По моему опыту при этом эффективно получается, если охлаждать кондиционером заборный воздух с улицы и горячий воздух от карт отводить наружу. По такой технологии нынче строятся многие датацентры - с холодными и горячими коридорами.

Да, дверь хороший пример наличия разницы давлений. Для примера в свою бытность аспирантом при включенной тяге в лаборатории - открывать дверь было достаточно тяжело, а там не такие большие объемы выдуваемого воздуха. Конечно, на 2% увеличить давление вентиляторами вряд ли получится, да это и не требуется, этот пример был приведен для вас для осознания влияния давления. А на 0,5% запросто, и при теплосъёме 25-градусным воздухом с 80-градусной карты пренебречь разницей при работе на вдув и на выдув явно не получится - разница будет в несколько градусов.

Воздух в помещении не производится и не поглощается, так что его количество на входе и на выходе одинаково.

Но мы ушли от темы:
Учитывая, что сечение отверстия на вдув в 4 раза меньше чем на выдув, скорость потока при равном объеме должна быть в 4 раза выше (большое сопротивление снижает эффективность), рассмотрим геометрию помещения: другие точки входа это в основном ворота, исходя из схемы расположены очень близко к точке выхода воздуха и поток от них, очевидно, направлен к точке выдува, таким образом прохождение этого воздуха идет мимо видеокарт, а по видеокартам идет в основном воздух из гофры.
Исходя из нарисованной схемы, логично было бы использовать 30 см вентилятор на вдув, а 16 см на выдув, при этом конец выдувной гофры (зеленой линии) расположить между центральными стелажами.

kimmeriets, Wizet, спасибо за анализ.

А что если поставить на трубу 16 сантиметровую приточную канальный вентилятор намного мощнее?
Допустим, канальный вентилятор на 35 см.
Тот, что стоит сейчас: http://www.lissant.ru/images/734_VK160.pdf
Тот, что можно поставить http://www.lissant.ru/images/729_VK355.pdf

То есть придется делать переход между 16 см трубой на 35 сантиметровую гофру, которую подключу к этому канальному вентилятору.
Как лучше сделать этот переход и из чего?
Тогда в нашей системе вдув и выдув будут одинаковые кубометры в час иметь.

Вариант хороший, 16 см вентилятор при этом уберете? К слову, 16 см труба на входе какой длины суммарно? В ней может сопротивление потоку быть большим, это чуть снизит эффективность.

Куда будете новые карты ставить? на те же стелажи?
Для трех стелажей на данном этапе можно просто сдвинуть их к верхней границе рисунка, к воротам, должно помочь - воздух теплый будет основным потоком уносить, кондей будет лучше охлаждать остальное помещение.
Минусы: входить будет неудобно, шум от ферм, который слышат в коридоре, увеличится.

Я просто оставлю здесь это (http://bitcoin.sipa.be/)

тебе надо сделать из стелажей шифонеры и из каждого в отдельности трубу и вентилятор на выдув. как типа найма советовал. главное чтобы горячий воздух не смешивался с воздухом в помещении.

в data центрах ставят вот такие штуки с выхлопной трубой на верху

http://www.netrackindia.com/pdf/2.%20High%20Density%20Closed%20Rack%20Solutions_saveas.pdf

кстати там белье сушить удобно... Хоть какое-то полезное применение

У нас типа такого на 3 серверах стоит, но выдув идет в центральный короб в котором своя турбинка на выброс, идет он над плиточным потолком через весь офис.

Одним из направлений нашей компании является обслуживание систем бесперебойного питания в таких шкафах - вы не представляете как быстро AGM аккумуляторы внутри ИБП запекаются при отключении вентилятора в таком шкафу (емкость батарей резко падает с повышением температуры - упсы верещат о замене - клиенты бьют тревогу), а видеокарты в закрытом пространстве запекутся еще лучше... тут без дублирующей системы тяги никак