12 GPU из под Ubuntu

[Bairom]

Дорого всем времени суток!

Суть: Из установленных 12 видеокарт Ubuntu определяет только 7, но вентиляторы крутятся на всех.
Вопрос: В чем может быть проблема?

ОС: Ubuntu 16.04.03
ядро: 4.10.0-35
Материнская плата: Asus z270p (4 карты подключены через стандартные разъемы в материнской плате, 8 карт подключены через 2 расширителя по 4 шт. в каждом)
Видеокарта: AMD rx 470
Драйвер: не установлен

[mark4ever]

не шарю в убунтах, но на ум приходит в первую очередь - перебор видюх на местах. Всё ли работает физически? Попереставлять видюхи, подобавлять постепенно. Так сказать отбросить "железный" фактор

[Bairom]

не шарю в убунтах, но на ум приходит в первую очередь - перебор видюх на местах. Всё ли работает физически? Попереставлять видюхи, подобавлять постепенно. Так сказать отбросить "железный" фактор

Все железо рабочие! Работали две фермы по 8 и 4 видеокарты на Windows. Да и все вентиляторы крутятся... Скорее всего дело в ОС. 

[makssab]

Возможно проблема в расширителях, вентиляторы и будут крутиться так как вы подаёте питание на видеокарты. Попробуйте сначала с один расширителем, потом с другим.

[Bairom]

Возможно проблема в расширителях, вентиляторы и будут крутиться так как вы подаёте питание на видеокарты. Попробуйте сначала с один расширителем, потом с другим.

Да как я не пробовал уже...((
Такое ощущение, что в ОС что то не дописано или что то не установлено для определения карт. 3 из 7 определяемых видеокарт подключены через расширитель.   

[markiz73]

попробуй другую ось,  ethOS например

[Bairom]

попробуй другую ось,  ethOS например

Не хочу привязывать себя к ethOS, да и зачем работать на кого то, если можно это исключить. Кстати на ethOS идут 12 видеокарт, а на windows с это материнской платой идут 8. Это говорит о том что как минимум 8 карт должны работать на ubuntu.

[Listik]

Дорого всем времени суток!

Суть: Из установленных 12 видеокарт Ubuntu определяет только 7, но вентиляторы крутятся на всех.
Вопрос: В чем может быть проблема?

ОС: Ubuntu 16.04.03
ядро: 4.10.0-35
Материнская плата: Asus z270p (4 карты подключены через стандартные разъемы в материнской плате, 8 карт подключены через 2 расширителя по 4 шт. в каждом)
Видеокарта: AMD rx 470
Драйвер: не установлен

Пробовали оставить только карты на расширителях? При таком раскладе должно видится 8 на таком количестве даже винда норм работает.

[Bairom]

Дорого всем времени суток!

Суть: Из установленных 12 видеокарт Ubuntu определяет только 7, но вентиляторы крутятся на всех.
Вопрос: В чем может быть проблема?

ОС: Ubuntu 16.04.03
ядро: 4.10.0-35
Материнская плата: Asus z270p (4 карты подключены через стандартные разъемы в материнской плате, 8 карт подключены через 2 расширителя по 4 шт. в каждом)
Видеокарта: AMD rx 470
Драйвер: не установлен

Пробовали оставить только карты на расширителях? При таком раскладе должно видится 8 на таком количестве даже винда норм работает.

Да, под windous работают 8 карт без проблем на этом же железе! Только на расширителях не пробовал. Кстати сейчас попробую, но 7 шт., одна должна быть в материнской плате.

[Bairom]

В общем я не понимаю что происходит абсолютно

- 4 карты через 1 расширитель работают, но не все. Те что не работают работаю на материнской плате.
- одинаковое количество карт на 2-х расширителях не работают, но работает разное. к примеру 2 и 1 или 3 и 1.
- больше 7 карт не работают в любых комбинациях, даже если 4 работают через расширитель.

-иногда не загружается grub
-иногда загружается grub, выбираю ubuntu, начинает мигать нижнее подчеркивание, но дальше ничего не проходит.
-иногда загружается ubuntu но карты определяются не все
-иногда после выбора ubuntu появляются сообщения, причем разные но дальше ничего не происходит... одно из них заканчивается "refused to change power state, currently in d3"


Вообще изначально была проблема:  При подключении расширителя PCI-e, вместо загрузки ubuntu по экрану бегут строчки быстро и бесконечно "pcie bus error severity=corrected type=physical layer"

но она была решена:
заменой строки в grub
GRUB_CMDLINE_LINUX_DEFAULT="quiet splash pci=nomsi"

расширители заработали



 

[Voron7]

Насколько я знаю в этих материнских платах нужно делать манипуляции с биусом. Там нужно какое то расширение выставить. 

[Bairom]

Насколько я знаю в этих материнских платах нужно делать манипуляции с биусом. Там нужно какое то расширение выставить. 

Bios обновил до последнего, 4g включил.
Так же побывал вариации с gen1,2,3 не помогло...

может есть что еще?

[makssab]

Насколько я знаю в этих материнских платах нужно делать манипуляции с биусом. Там нужно какое то расширение выставить. 

Bios обновил до последнего, 4g включил.
Так же побывал вариации с gen1,2,3 не помогло...

может есть что еще?

В ютубе натыкался на видео, где в слот м2 втыкали переходник и он не работал, там оказалось что контакты не совсем совпадают. Возможно часть контактов у вас не совпадает вот и не видит видеокарты.

[Bairom]

Насколько я знаю в этих материнских платах нужно делать манипуляции с биусом. Там нужно какое то расширение выставить. 

Bios обновил до последнего, 4g включил.
Так же побывал вариации с gen1,2,3 не помогло...

может есть что еще?

В ютубе натыкался на видео, где в слот м2 втыкали переходник и он не работал, там оказалось что контакты не совсем совпадают. Возможно часть контактов у вас не совпадает вот и не видит видеокарты.

Да контакты не очень плотно посажены, но думаю не в этом проблема, т.к. на windows идут 8 карт. Неужели Linux хуже windows... этого же не может быть...

[Listik]

А с зелеными не пробовали поэкспериментировать? Увидит 12 шт или нет интересно.

[Bairom]

Зеленых нет совсем...

[Bairom]

Установил ubuntu setver 16.04.03 и обновил ядро до 4.13.3
Получилось следующие:

1. при подключении видеокарт в материнскую плату пропадает интернет, отключаю карты снова появляется (скрин на скрепке)
При загрузки, в тот момент когда появляются сообщения с зелеными крестиками, пролетает одно с красным, но так быстро что прочитать не удается.
Изначально установка была на интегрированной видеокарте, при подключение внешней, хотя бы одной, пропадал интернет, переустановил с одной внешней картой. Теперь при подключении следующих карт появляется эта проблема.
   
2. при подключении расширителя PCIe (с картами или без) система не загружается, по экрану быстро и бесконечно бегут строки "pcie bus error severity=corrected type=physical layer".

фото и скрины
https://yadi.sk/d/7bfKHFJW3NCU3q

rig001@ubuntu:~$ lspci
00:00.0 Host bridge: Intel Corporation Sky Lake Host Bridge/DRAM Registers (rev07)
00:01.0 PCI bridge: Intel Corporation Sky Lake PCIe Controller (x16) (rev07)
00:14.0 USB controller: Intel Corporation Device a2af
00:16.0 Communication controller: Intel Corporation Device a2ba
00:17.0 SATA controller: Intel Corporation Device a282
00:1b.0 PCI bridge: Intel Corporation Device a2e7 (rev f0)
00:1c.0 PCI bridge: Intel Corporation Device a290 (rev f0)
00:1c.7 PCI bridge: Intel Corporation Device a297 (rev f0)
00:1d.0 PCI bridge: Intel Corporation Device a298 (rev f0)
00:1f.0 ISA bridge: Intel Corporation Device a2c5
00:1f.2 Memory controller: Intel Corporation Device a2a1
00:1f.3 Audio device: Intel Corporation Device a2f0
00:1f.4 SMBus: Intel Corporation Device a2a3
01:00.0 VGA compatible controller: Advanced Micro Devices, Inc. [AMD/ATI] Device67df (rev cf)
01:00.1 Audio device: Advanced Micro Devices, Inc. [AMD/ATI] Device aaf0
04:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8111/8168/8411 PCI Express Gigabit Ethernet Controller (rev 15)
rig001@ubuntu:~$

[buffer27]

Практически на всех линуксах, если есть проблемма с железом, то 90% виновато ядро системы. обычно хватает обновиться до последнего "стабильного" ядра. или есть ваше оборудование совсем свежее (только появилось на рынке, то нужно ставить самое последние ядро, но оно бывает не стабильно). и для майнига стандартный видео драйвер Xorg, врят ли подойдёт, придется ставить проприетарные двайвера (ps/ серверные ос, бывают бажаные, хоть это и сервер, да как так, а вот так бажут и всё, на обычных пк с ними много гемороя).

[d3nc3nd]

драйвера на карты устанавливал ?

[Bairom]

побывал и с дровами и без результат не меняется...

если что то вот так я устанавливал драйвер:

Установка rocm AMD для блокчейн  https://bitcointalk.org/index.php?topic=1433925.msg21305411#msg21305411

--
параметры системы --> Программы и обновления --> Программное обеспечение Ubuntu --> Загрузить с: Основной сервер
параметры системы --> Программы и обновления --> Другое ПО --> Партнеры Canonical
параметры системы --> Программы и обновления --> Другое ПО --> Партнеры Canonical (исходный код)

--
wget -qO - http://repo.radeon.com/rocm/apt/debian/rocm.gpg.key | sudo apt-key add -
sudo sh -c 'echo deb [arch=amd64] http://repo.radeon.com/rocm/apt/debian/ xenial main > /etc/apt/sources.list.d/rocm.list'
sudo apt-get update
sudo apt-get install rocm

--
sudo nano  /etc/default/grub

Изменяем параметр
GRUB_CMDLINE_LINUX="amdgpu.vm_fragment_size=9"

--
sudo update-grub
sudo reboot

--
После перезагрузки выбрать новое ядро

_______________________________________
Установка драйвера AMD

--
Качаем нужный драйвер http://support.amd.com/ru-ru/download


для AMD RX 470
sudo wget https://www2.ati.com/drivers/linux/ubuntu/amdgpu-pro-17.30-465504.tar.xz


--
sudo apt update
sudo apt dist-upgrade
sudo reboot

--
Проверка установки драйвера
dpkg -l amdgpu-pro

--
Примечания: заменить «NNNNNN» в следующей командной строке с фактическим номером сборки загруженного файла

сd Загрузки
tar -Jxvf amdgpu-pro-17.30-NNNNNN.tar.xz
сd amdgpu-pro-17.30-NNNNNN
./amdgpu-pro-install -y
sudo reboot