День добрый!
Стал "счастливым" обладателем это матери и 1070 х13 + P106-100 х6 = 19 шт.
Как и записано в мануале, комбинации без майнинговых карт не работают, а вот так - да.
Опыты под Ubuntu 17.10, просто включил и заработало на стандартных частотах, но если явно вырубить автостарт X.
Возник вопрос разгона и скорости вентилятора.
Все авторы топиков про разгон склоняются, что без запущенных xorg на каждой видяхе это никак.
Нет проблем с power limit - нормально всё из-под sudo работает:
nvidia-smi -i <GPU_NUM> -pm 1
nvidia-smi -i <GPU_NUM> -pl 120
А не могу задать частоты и вентилятор, делаю так:
#!/bin/bash
export DISPLAY=:0
xhost +
for i in 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18
do
/usr/bin/nvidia-settings -a "[gpu:$i]/GPUPowerMizerMode=1" -a "[gpu:$i]/GPUGraphicsClockOffset[3]=100" -a "[gpu:$i]/GPUMemoryTransferRateOffset[3]=1200"
/usr/bin/nvidia-settings -a "[gpu:$i]/GPUFanControlState=1" -a "[fan:$i]/GPUTargetFanSpeed=90"
done
просто тупит консоль минут 5, потом пишет стандартную вещь про невозможность найти control display и что надо мне срочно почитать 'nvidia-settings --help' как будто нет xorg вообще.
При этом 16 карт работают, быстро, чётко, с разгоном, с вентиляторами - всё как надо.16 шт. - это предел, дальше тупит и время от времени в запущенных процессах утилита nvidia-smi пишет рандомно (через 3-5 минут тупизны консоли) про xorg на всех видяхан, на 4 первых, что нет вообще xorg ни на одной.
Налицо аномалия, нашел что
load average в момент загрузки и/или запуска nvidia-smi растёт сумасшедшими темпами - 150-250-350-550 , при этом есть около тысячи активных процессов kworker, а далее наступает выдача ошибок и "просветление", падение load average до нормальных ниже единицы. И можно уже майнить-считать на базовых частотах/вентиляторах.
Поставил для теста не Celeron как принято на ригу, а топовый I7 - не помогло, load average просто растёт быстрее
Посему вопросы:
- Что такое с xorg, что 16 карт это терпимо, а 19 уже смерть от тормозов?
- Что нужно докрутить в иксах, если это возможно?
- Есть ли смысл перейти на Debian/CentOS/ALT?
- Есть ли в природе альтернатива xorg, про которую знает NVIDIA и пишет совместимый драйвер?
