CUDA Linux Client

[eurekafag]

Целый вечер протрахался, но собрал его. Попутно понадобилось изучить конпеляцию CUDA-кода и установить два SDK, чтобы без лишних костылей оно собралось. Судя по логам, работает. Скорость 5230 килохэшей на GF 8600GTS, на процессоре E6750 в два потока — всего 2300. Жаль, что автор кода не предусмотрел параллельную работу CPU и GPU майнеров, хотя я сомневаюсь, что при этом можно было бы вообще работать на компьютере. Сейчас с параметром -responsive процесс иксов жрёт около 20% CPU, сам bitcoind — 95%. Работать не очень комфортно, окна несколько залипают при переключении. Пробовал запускать с -aggressive, так иксы вообще встали намертво, пришлось с другой машины останавливать bitcoind. Без -responsive переключение между окнами может занимать более минуты, тоже не вариант.

Зависимости:

%[homecomp]:[~/svn-soft/bitcoin/trunk]> ldd bitcoind
   linux-gate.so.1 =>  (0xffffe000)
   libgthread-2.0.so.0 => /usr/lib/libgthread-2.0.so.0 (0xb777f000)
   libdl.so.2 => /lib/libdl.so.2 (0xb777a000)
   libz.so.1 => /lib/libz.so.1 (0xb7766000)
   libcudart.so.3 => /usr/local/lib/libcudart.so.3 (0xb7712000)
   libstdc++.so.6 => /usr/lib/libstdc++.so.6 (0xb7621000)
   libm.so.6 => /lib/libm.so.6 (0xb75f7000)
   libgcc_s.so.1 => /lib/libgcc_s.so.1 (0xb75d9000)
   libc.so.6 => /lib/libc.so.6 (0xb746e000)
   libpthread.so.0 => /lib/libpthread.so.0 (0xb7453000)
   librt.so.1 => /lib/librt.so.1 (0xb7449000)
   libglib-2.0.so.0 => /usr/lib/libglib-2.0.so.0 (0xb7362000)
   /lib/ld-linux.so.2 (0xb77ab000)
   libpcre.so.0 => /lib/libpcre.so.0 (0xb7333000)

Автор кода оказался какашкой, и не выложил модифицированный под этот клиент makefile, так что пришлось разбираться самому. Если кому-то интересна тема, могу выложить бинарник и/или makefile для сборки. Также понадобится скачать CUDA Toolkit и GPU Computing SDK. Учитывая, какую оплеуху lzsaver дал жмоту puddinpop'у, думаю, было бы кошерно довести удар до конца и выпустить сборку под линукс раньше всех ^_^

PS: для сравнения собрал вариант от nelisky, он даёт порядка 5000к, т.е. немного меньше. Но зато, вроде как, мэйнтейнится и залипаний окон вообще не заметно.

[LZ]

Рад, что получилось сделать это. Да, выкладывай мэйкфайл и бинарник. Потестим на разном железе.

[eurekafag]

Лучше и проще для патча от nelisky. Вот makefile.unix:

Code:

# Copyright (c) 2009-2010 Satoshi Nakamoto
# Distributed under the MIT/X11 software license, see the accompanying
# file license.txt or http://www.opensource.org/licenses/mit-license.php.


INCLUDEPATHS= \
 -I"/usr/local/include/wx-2.9" \
 -I"/usr/local/lib/wx/include/gtk2-unicode-debug-static-2.9" \
 -I"$(HOME)/build/boost_1_44_0" \
 -L"$(HOME)/build/boost_1_44_0/stage/lib"

# for wxWidgets 2.9.1, add -l Xxf86vm
WXLIBS= \
 -Wl,-Bstatic \
   -l wx_gtk2ud-2.9 \
 -Wl,-Bdynamic \
   -l gtk-x11-2.0 \
   -l SM

# for boost 1.37, add -mt to the boost libraries
LIBS= -dead_strip \
 -Wl,-Bstatic \
   -l boost_system \
   -l boost_filesystem \
   -l boost_program_options \
   -l boost_thread \
   -l db_cxx \
   -l crypto \
 -Wl,-Bdynamic \
   -l gthread-2.0 \
   -l z \
   -l dl \

DEFS=-D__WXGTK__ -DNOPCH -DFOURWAYSSE2
DEBUGFLAGS=-g -D__WXDEBUG__
CFLAGS=-O2 -msse3 -mmmx -Wno-invalid-offsetof -Wformat $(DEFS) $(INCLUDEPATHS)
HEADERS=headers.h strlcpy.h serialize.h uint256.h util.h key.h bignum.h base58.h \
    script.h db.h net.h irc.h main.h rpc.h uibase.h ui.h noui.h init.h

CUDAROOT = "$(HOME)/NVIDIA_GPU_Computing_SDK"

CUDALIBPATHS= \
 -L$(CUDAROOT)/C/lib \
 -L$(CUDAROOT)/C/common/lib/linux \
 -L$(CUDAROOT)/shared/lib \
 -L/usr/local/cuda/lib

CUDALIBS= -lcudart -lcutil_i386 -lshrutil_i386

CUDAFLAGS=-fPIC -Xlinker -rpath /usr/local/cuda/lib $(CUDALIBPATHS) $(CUDALIBS)

OBJS= \
    obj/sha256_kernel.cuo \
    obj/util.o \
    obj/script.o \
    obj/db.o \
    obj/net.o \
    obj/irc.o \
    obj/main.o \
    obj/rpc.o \
    obj/init.o \
    cryptopp/obj/sha.o \
    obj/sha256.o \
    cryptopp/obj/cpu.o


all: bitcoin

obj/nogui/sha256.o: sha256.cpp
	g++ -c $(CFLAGS) -O3 -o $@ $<

obj/%.o: %.cpp $(HEADERS)
	g++ -c $(CFLAGS) -DGUI -o $@ $<

cryptopp/obj/%.o: cryptopp/%.cpp
	g++ -c $(CFLAGS) -O3 -o $@ $<

bitcoin: $(OBJS) obj/ui.o obj/uibase.o obj/sha256.o
	g++ $(CFLAGS) -o $@ $^ $(WXLIBS) $(LIBS)


obj/nogui/%.o: %.cpp $(HEADERS)
	g++ -c $(CFLAGS) -o $@ $<

obj/nogui/%.cuo: %.cu
	    /usr/local/cuda/bin/nvcc  -gencode=arch=compute_10,code=\"sm_10,compute_10\"  -gencode=arch=compute_20,code=\"sm_20,compute_20\" --compiler-options -fno-strict-aliasing  -I. -I/usr/local/cuda/include -I$(CUDAROOT)/C/common/inc -I$(CUDAROOT)/shared/inc -DUNIX -O3   -o $@ -c $<

bitcoind: $(OBJS:obj/%=obj/nogui/%)
	g++ $(CFLAGS) -o $@ $^ $(LIBS) $(CUDALIBPATHS) $(CUDALIBS)


clean:
	-rm -f obj/*.o
	-rm -f obj/nogui/*.o
	-rm -f cryptopp/obj/*.o
	-rm -f headers.h.gch

Пути с $(HOME) надо подкорректировать для себя. У меня в OpenSuSE 11.3 какая-то кривая сборка boost-devel, нет *.a файлов для линковки, так что собрал свой буст и положил по указанному пути. Ещё надо скачать CUDA Toolkit, Developer Drivers и GPU Computing SDK code samples. Хоть и написано, что samples, но без него никуда — там cutil_inline.h и пачка библиотек. Если пути указаны верно, должно собраться, хотя на других дистрибутивах могут отсутствовать библиотеки. Я добавил для себя libdl и libz. Разумеется, если раньше вы не компилили клиент вообще, то ещё надо слить wxWidgets и у оракла слить db (Berkeley DB).

Бинарник.

[LZ]

Только под FreeBSD пытался. Весело было, подключен к другому десктопу, а на нем SSH сессия на сервер.

[bitcoinex]

По поводу залипания окон: отключите 3D в иксах, поставьте vesa или типа того

я с незапамятных времён не пользуюсь аппаратным ускорением %)

[eurekafag]

Разве CUDA не завязано на иксы? Мне так казалось, что если не включить иксовый модуль nvidia, оно не будет работать. И да, ускорение мне нужно, так как поигрываю-с под вайном в TF2 и некоторые другие игры. Да и не стоит оно того, чтобы получить +100-200 килохэшей, лучше уж комфортная работа и пристойное ускорение. Как я понял из беглого просмотра исходников, повышенная нагрузка вызвана большими объёмами загрузок на видеокарту, то есть, она считает в параллель сразу большой блок данных и выдаёт обратно сразу пачку хэшей. Из-за этого на остальные операции остаётся мало времени, и нагрузку можно снизить, уменьшив количество этих блоков. Правда, непонятно, почему это нагружает юзерлендовые иксы.

С такими-то мощностями, сравнимыми с двумя моими процами, очень хочется переноса обсчёта графики в Inkscape/GIMP на видеокарту... эх, мечты-мечты...

[bitcoinex]

Разве CUDA не завязано на иксы? Мне так казалось, что если не включить иксовый модуль nvidia, оно не будет работать. И да, ускорение мне нужно, так как поигрываю-с под вайном в TF2 и некоторые другие игры.

Может быть, я никогда не юзал, только догадки излагаю. Я играю в спектрумовские игры на эмуляторе

[eurekafag]

Солидно. Я, правда, эмуляторами не балуюсь, но в году эдак 98-99-м плотно на спектруме работал и играл, так как альтернативы всё равно не было. Линукс даёт сейчас ту же близость к машине, что и спектрум раньше, хотя, само собой, возможности выросли на порядок с тех пор. Если говорить об играх, нынешний мейнстрим не представляет из себя ничего интересного, вот только TF2 действительно удалась и не перестаёт радовать. А остальное — красивый шлак.

[eurekafag]

Ну-с, вот собрал небольшой пак из демона и графического клиента. Всё-таки удалось уговорить wxWidgets и биткоин подружиться, причём, статически. Размеры вышли чуть больше, чем у Сато, не знаю, почему так. Вроде, пострипал, и дебаг не включен. В общем, кому охота, налетайте. Единственная тонкость: после использования этого клиента стандартный биткоин перестаёт понимать базу (выдаёт пару ошибок о необходимости её починить и вылетает). Возможно, потому что я собрал с более новой Berkley DB. Так что в любом случае сделайте бэкап.

[nelisky]

Ну-с, вот собрал небольшой пак из демона и графического клиента. Всё-таки удалось уговорить wxWidgets и биткоин подружиться, причём, статически. Размеры вышли чуть больше, чем у Сато, не знаю, почему так. Вроде, пострипал, и дебаг не включен. В общем, кому охота, налетайте. Единственная тонкость: после использования этого клиента стандартный биткоин перестаёт понимать базу (выдаёт пару ошибок о необходимости её починить и вылетает). Возможно, потому что я собрал с более новой Berkley DB. Так что в любом случае сделайте бэкап.

Sorry for the english request on the russian lists, but if people are using my patch I would really appreciate all feedback you could give, and patches to make it work in other OSs. Please post comments that might be of use to the community in general in the original english thread if at all possible.

Thanks!

[mizerydearia]

Лучше и проще для патча от nelisky. Вот makefile.unix:

Code:

# Copyright (c) 2009-2010 Satoshi Nakamoto
# Distributed under the MIT/X11 software license, see the accompanying
# file license.txt or http://www.opensource.org/licenses/mit-license.php.


INCLUDEPATHS= \
 -I"/usr/local/include/wx-2.9" \
 -I"/usr/local/lib/wx/include/gtk2-unicode-debug-static-2.9" \
 -I"$(HOME)/build/boost_1_44_0" \
 -L"$(HOME)/build/boost_1_44_0/stage/lib"

# for wxWidgets 2.9.1, add -l Xxf86vm
WXLIBS= \
 -Wl,-Bstatic \
   -l wx_gtk2ud-2.9 \
 -Wl,-Bdynamic \
   -l gtk-x11-2.0 \
   -l SM

# for boost 1.37, add -mt to the boost libraries
LIBS= -dead_strip \
 -Wl,-Bstatic \
   -l boost_system \
   -l boost_filesystem \
   -l boost_program_options \
   -l boost_thread \
   -l db_cxx \
   -l crypto \
 -Wl,-Bdynamic \
   -l gthread-2.0 \
   -l z \
   -l dl \

DEFS=-D__WXGTK__ -DNOPCH -DFOURWAYSSE2
DEBUGFLAGS=-g -D__WXDEBUG__
CFLAGS=-O2 -msse3 -mmmx -Wno-invalid-offsetof -Wformat $(DEFS) $(INCLUDEPATHS)
HEADERS=headers.h strlcpy.h serialize.h uint256.h util.h key.h bignum.h base58.h \
    script.h db.h net.h irc.h main.h rpc.h uibase.h ui.h noui.h init.h

CUDAROOT = "$(HOME)/NVIDIA_GPU_Computing_SDK"

CUDALIBPATHS= \
 -L$(CUDAROOT)/C/lib \
 -L$(CUDAROOT)/C/common/lib/linux \
 -L$(CUDAROOT)/shared/lib \
 -L/usr/local/cuda/lib

CUDALIBS= -lcudart -lcutil_i386 -lshrutil_i386

CUDAFLAGS=-fPIC -Xlinker -rpath /usr/local/cuda/lib $(CUDALIBPATHS) $(CUDALIBS)

OBJS= \
    obj/sha256_kernel.cuo \
    obj/util.o \
    obj/script.o \
    obj/db.o \
    obj/net.o \
    obj/irc.o \
    obj/main.o \
    obj/rpc.o \
    obj/init.o \
    cryptopp/obj/sha.o \
    obj/sha256.o \
    cryptopp/obj/cpu.o


all: bitcoin

obj/nogui/sha256.o: sha256.cpp
	g++ -c $(CFLAGS) -O3 -o $@ $<

obj/%.o: %.cpp $(HEADERS)
	g++ -c $(CFLAGS) -DGUI -o $@ $<

cryptopp/obj/%.o: cryptopp/%.cpp
	g++ -c $(CFLAGS) -O3 -o $@ $<

bitcoin: $(OBJS) obj/ui.o obj/uibase.o obj/sha256.o
	g++ $(CFLAGS) -o $@ $^ $(WXLIBS) $(LIBS)


obj/nogui/%.o: %.cpp $(HEADERS)
	g++ -c $(CFLAGS) -o $@ $<

obj/nogui/%.cuo: %.cu
	    /usr/local/cuda/bin/nvcc  -gencode=arch=compute_10,code=\"sm_10,compute_10\"  -gencode=arch=compute_20,code=\"sm_20,compute_20\" --compiler-options -fno-strict-aliasing  -I. -I/usr/local/cuda/include -I$(CUDAROOT)/C/common/inc -I$(CUDAROOT)/shared/inc -DUNIX -O3   -o $@ -c $<

bitcoind: $(OBJS:obj/%=obj/nogui/%)
	g++ $(CFLAGS) -o $@ $^ $(LIBS) $(CUDALIBPATHS) $(CUDALIBS)


clean:
	-rm -f obj/*.o
	-rm -f obj/nogui/*.o
	-rm -f cryptopp/obj/*.o
	-rm -f headers.h.gch

Пути с $(HOME) надо подкорректировать для себя. У меня в OpenSuSE 11.3 какая-то кривая сборка boost-devel, нет *.a файлов для линковки, так что собрал свой буст и положил по указанному пути. Ещё надо скачать CUDA Toolkit, Developer Drivers и GPU Computing SDK code samples. Хоть и написано, что samples, но без него никуда — там cutil_inline.h и пачка библиотек. Если пути указаны верно, должно собраться, хотя на других дистрибутивах могут отсутствовать библиотеки. Я добавил для себя libdl и libz. Разумеется, если раньше вы не компилили клиент вообще, то ещё надо слить wxWidgets и у оракла слить db (Berkeley DB).

Бинарник.

I added this patch to http://www.bitcoin.org/wiki/doku.php?id=list_of_patches but I am not sure how to name it appropriately.  Will someone edit the wiki and provide the correct name?

That's not a patch, just a makefile which I run on OpenSuSE. I have no idea why Sato put so few libraries and why it builds at all on his comp. I see the obvious lack of -l dl and -l z at the very least.

Mmkay, I removed it then.

[eurekafag]

That's not a patch, just a makefile which I run on OpenSuSE. I have no idea why Sato put so few libraries and why it builds at all on his comp. I see the obvious lack of -l dl and -l z at the very least.

[erbauer]

Ну-с, вот собрал небольшой пак из демона и графического клиента. Всё-таки удалось уговорить wxWidgets и биткоин подружиться, причём, статически. Размеры вышли чуть больше, чем у Сато, не знаю, почему так. Вроде, пострипал, и дебаг не включен. В общем, кому охота, налетайте. Единственная тонкость: после использования этого клиента стандартный биткоин перестаёт понимать базу (выдаёт пару ошибок о необходимости её починить и вылетает). Возможно, потому что я собрал с более новой Berkley DB. Так что в любом случае сделайте бэкап.

Выдает вот это:

./bitcoin: error while loading shared libraries: libjpeg.so.8: cannot open shared object file: No such file or directory

Система Ubuntu 10.04.

libjpeg установлен:
v   libjpeg-dbg                     -                                           
v   libjpeg-dev                     -                                           
i A libjpeg-progs                   - Programs for manipulating JPEG files     
i   libjpeg62                       - библиотека времени выполнения для работы с
p   libjpeg62-dbg                   - Development files for the IJG JPEG library
i A libjpeg62-dev                   - Development files for the IJG JPEG library

Может надо симлинк куда-то сделать?

Подскажите пожалуйста.

[eurekafag]

Небось, только не факт, что либа подойдёт. Посмотри ls -la /usr/lib/libjpeg*

Шестая установлена, это видно, а какой версии просто libjpeg-dev — не знаю. У меня, например, в хромиуме есть проблема как раз с этой библиотекой, при выборе на любом картинкозаливочном сайте файла .jpg (из локальных, разумеется, в диалоге выбора файла), хромиум падает, потому как собран с 6-й или 7-й версией, и исправлять это никто не собирается. Для суси есть нормальная рабочая сборка, но обновляется она довольно редко. Выбора нет, использую её.

[Ygre]

А без CUDA можно обойтись? Мне не приходилось еще собирать пакеты, и есть только более-менее понятные описания сборки .deb, а за CUDA только-что узнал и еще не понял: будет-ли оно работать на моем железе.

[eurekafag]

Да, можно прекрасно обходиться без CUDA, используя официальный клиент. Правда, с текущей сложностью это просто смешно (для генерации, разумеется). Выгоднее на улице монетки подбирать.

[em3rgentOrdr]

Have any of you Russian comrades had any success compiling this for Ubuntu?  I have CUDA properly installed (can compile the NVIDIA tests), but I still get this error when trying to compile the CUDA-enabled bitcoin on my Ubuntu 10.04:

. / Bitcoin: error while loading shared libraries: libjpeg.so.8: cannot open shared object file: No such file or directory

even though I already have libjpeg installed (I'm pretty sure).

Anyway, if any of you have had luck with this, I would appreciate some help, or if possible, just post a compiled binary.

Спасибо.

[bitcoinex]

Выдает вот это:

./bitcoin: error while loading shared libraries: libjpeg.so.8: cannot open shared object file: No such file or directory

Система Ubuntu 10.04.

libjpeg установлен:
v   libjpeg-dbg                     -                                          
v   libjpeg-dev                     -                                          
i A libjpeg-progs                   - Programs for manipulating JPEG files      
i   libjpeg62                       - библиотека времени выполнения для работы с
p   libjpeg62-dbg                   - Development files for the IJG JPEG library
i A libjpeg62-dev                   - Development files for the IJG JPEG library

Может надо симлинк куда-то сделать?

Подскажите пожалуйста.

Have any of you Russian comrades had any success compiling this for Ubuntu?  I have CUDA properly installed (can compile the NVIDIA tests), but I still get this error when trying to compile the CUDA-enabled bitcoin on my Ubuntu 10.04:

. / Bitcoin: error while loading shared libraries: libjpeg.so.8: cannot open shared object file: No such file or directory

even though I already have libjpeg installed (I'm pretty sure).

Anyway, if any of you have had luck with this, I would appreciate some help, or if possible, just post a compiled binary.

Спасибо.

Так вот же предложили сделать сначала:

Небось, только не факт, что либа подойдёт. Посмотри ls -la /usr/lib/libjpeg*

Шестая установлена, это видно, а какой версии просто libjpeg-dev — не знаю. У меня, например, в хромиуме есть проблема как раз с этой библиотекой, при выборе на любом картинкозаливочном сайте файла .jpg (из локальных, разумеется, в диалоге выбора файла), хромиум падает, потому как собран с 6-й или 7-й версией, и исправлять это никто не собирается. Для суси есть нормальная рабочая сборка, но обновляется она довольно редко. Выбора нет, использую её.

Вот, например, на моём дебиане показывается:

Code:

$ LANG=C ls -la /usr/lib/libjpeg*
-rw-r--r-- 1 root root 164916 Jun 30 21:38 /usr/lib/libjpeg.a
-rw-r--r-- 1 root root    918 Jun 30 21:38 /usr/lib/libjpeg.la
lrwxrwxrwx 1 root root     17 Sep 23 20:41 /usr/lib/libjpeg.so -> libjpeg.so.62.0.0
lrwxrwxrwx 1 root root     17 Sep 23 20:41 /usr/lib/libjpeg.so.62 -> libjpeg.so.62.0.0
-rw-r--r-- 1 root root 127964 Jun 30 21:38 /usr/lib/libjpeg.so.62.0.0

Я сам не использую генераторы, просто для примера. Ваш вывод этой команды какой?

в любом случае, попробуйте что-то вроде:

sudo aptitude install libjpeg8

[eurekafag]

Убунта застряла с libjpeg6 по непонятным причинам, когда весь мир давно на 8-ке. Из-за них хромиум собирают с зависимостью от libjpeg6, и в моей сусе официальные сборки из билдбота падают при выборе картинки (например, чтобы куда-нибудь её закачать) в стандартном диалоге. Все падают. Стабильно. Все об этом знают и не чешутся, потому что в убунте не падают, а убунта — это единственный линукс. Впрочем, в сусе есть свои официальные непадающие сборки с libjpeg8, причём, более-менее современные. Ну может на пару недель отстают, некритично.

Это я к тому, что моя сборка не пойдёт на убунте, равно как и убунтовская не пойдёт у меня. Sad but true, конпеляйте самостоятельно.

[LZ]

Под старыми федорами достаточно установить libjpeg-turbo-devel,
и может потребоваться сделать с libjpeg.so на libjpeg.so.8 симлинк.

Code:

yum install libjpeg-turbo-devel
ln -s /usr/lib/libjpeg.so /usr/lib/libjpeg.so.8
ln -s /usr/lib64/libjpeg.so /usr/lib64/libjpeg.so.8