Tuning full node

[gbianchi]

Da un po' di tempo ho dei grossi problemi a far girare il mio full node con bitcoin-qt versione 0.11.0

1) l'occupazione di memoria tende a crescere molto, arriva facilmente a 7-8 giga di ram.
Il che non sarebbe neppure gravissimo, se non fosse che quando va in questo stato, non ne torna piu' indietro,
e inizia a rispondere lentissimamente a tutti i programmi che lo usano via RPC (ad esempio p2pool), anzi a volte vanno
proprio in timeout.


2) spesso mi viene fuori questo warning:
Warning: (from bitcoind) EXCEPTION: NSt8ios_base7failureE non-canonical ReadCompactSize() bitcoin in ProcessMessages()
e anche questo non preannuncia nulla di buono in quanto se appare di nuovo il bitcoin-qt diventa instabile

entrambe le cose succedono da circa una decina di giorni, suppongo quindi siano legate.
Considerate che ho il full node da ormai 2 anni, e prima ovviamente non mi era mai successo niente di simile, ne' con le
versioni precedenti di bitcoin-qt, ne' con la 0.11.0 che ho su da quando e' uscita.

Qualcuno ha suggerimenti per fare un po' di debug/tuning risolvere questo problema ?

PS: per ora l'unico sistema orribile che ho trovato e' chiudere il bitcoin-qt e riavviarlo quando va in questo stato (e quando me ne accorgo),
ma spero di trovare qualcosa di meglio

[1715394458]

1715394458

[1715394458]

1715394458

[1715394458]

1715394458

[TheBomber999]

Da un po' di tempo ho dei grossi problemi a far girare il mio full node con bitcoin-qt versione 0.11.0

1) l'occupazione di memoria tende a crescere molto, arriva facilmente a 7-8 giga di ram.
Il che non sarebbe neppure gravissimo, se non fosse che quando va in questo stato, non ne torna piu' indietro,
e inizia a rispondere lentissimamente a tutti i programmi che lo usano via RPC (ad esempio p2pool), anzi a volte vanno
proprio in timeout.


2) spesso mi viene fuori questo warning:
Warning: (from bitcoind) EXCEPTION: NSt8ios_base7failureE non-canonical ReadCompactSize() bitcoin in ProcessMessages()
e anche questo non preannuncia nulla di buono in quanto se appare di nuovo il bitcoin-qt diventa instabile

entrambe le cose succedono da circa una decina di giorni, suppongo quindi siano legate.
Considerate che ho il full node da ormai 2 anni, e prima ovviamente non mi era mai successo niente di simile, ne' con le
versioni precedenti di bitcoin-qt, ne' con la 0.11.0 che ho su da quando e' uscita.

Qualcuno ha suggerimenti per fare un po' di debug/tuning risolvere questo problema ?

PS: per ora l'unico sistema orribile che ho trovato e' chiudere il bitcoin-qt e riavviarlo quando va in questo stato (e quando me ne accorgo),
ma spero di trovare qualcosa di meglio

Non so se è un problema di FULL NODE o più in generale di Bitcoin Core. Anche a me la CPU è schizzata a livelli paurosi e mi da quel messaggio (EXCEPTION: NSt8ios_base7failureE \nnon-canonical ReadCompactSize() \nbitcoin in ProcessMessages()) come "error"

[gbianchi]

intanto che qualcuno trova una soluzione migliore, mi sono fatto questo scripettazzo
che riavvia bitcoin-qt se appare il famigerato errore,  tutto da linea di comando,
Funziona solo in linux, non ci provate neppure in windows.

#!/bin/bash
# script orrendo per riavvirare bitcoin-qt in caso di errore NST8ios
# Glo 13/10/2015

start_bitcoin()
        {
        echo "avvio bitcoin-qt"
        export DISPLAY=:0

        /usr/bin/bitcoin-qt  > bitcoin.log 2>&1 &
        }

stop_bitcoin()
        {
        # provo a terminarlo finche' non c'e' piu' tra i processi
        while true
        do
                bitcoin-cli stop

                if ! ps -ax | grep -v grep | grep -q "bitcoin-qt"
                then
                        break
                fi

                echo "bitcoin gira ancora "
                sleep 1
        done
        }

cnt_bitcoin()
        {
        while true
        do

                if bitcoin-cli getinfo | grep -q "NSt8ios_base7failureE"
                then
                        echo "restart NSt8ios_base7failureE"
                        date

                        stop_bitcoin

                        start_bitcoin

                else
                        sleep 10
                fi
        done
        }

# se per caso c'era un bitcoin-qt attivo
stop_bitcoin
# avvia una sessione bitcoin qt
start_bitcoin
# controlla se bitcoin-qt entra in errore, e se si lo fa ripartire
cnt_bitcoin

[TheBomber999]

intanto che qualcuno trova una soluzione migliore, mi sono fatto questo scripettazzo
che riavvia bitcoin-qt se appare il famigerato errore,  tutto da linea di comando,
Funziona solo in linux, non ci provate neppure in windows.

#!/bin/bash
# script orrendo per riavvirare bitcoin-qt in caso di errore NST8ios
# Glo 13/10/2015

start_bitcoin()
        {
        echo "avvio bitcoin-qt"
        export DISPLAY=:0

        /usr/bin/bitcoin-qt  > bitcoin.log 2>&1 &
        }

stop_bitcoin()
        {
        # provo a terminarlo finche' non c'e' piu' tra i processi
        while true
        do
                bitcoin-cli stop

                if ! ps -ax | grep -v grep | grep -q "bitcoin-qt"
                then
                        break
                fi

                echo "bitcoin gira ancora "
                sleep 1
        done
        }

cnt_bitcoin()
        {
        while true
        do

                if bitcoin-cli getinfo | grep -q "NSt8ios_base7failureE"
                then
                        echo "restart NSt8ios_base7failureE"
                        date

                        stop_bitcoin

                        start_bitcoin

                else
                        sleep 10
                fi
        done
        }

# se per caso c'era un bitcoin-qt attivo
stop_bitcoin
# avvia una sessione bitcoin qt
start_bitcoin
# controlla se bitcoin-qt entra in errore, e se si lo fa ripartire
cnt_bitcoin

Utilissimo lo script, ma mi son accorto che appena finita di scaricare la chain a me il problema della cpu si è risolto. Se dovesse ricapitarmi utilizzerò il tuo sistema. Ho uno scritp simile che avvia bitcoin all'avvio del server, ma non avevo pensato a controllare l'errore restituito dal getinfo per riavviarlo in caso di necessità

[gbianchi]

a me da quando l'ho fatto mi ha riavviato il client 4 volte.... sembra che l'errore "NSt8ios_base7failureE" appaia abbastanza spesso,
ossia piu' volte al giorno.

Non ho capito ancora bene a cosa e' riferito, pero' di sicuro quando appare il bitcoin-qt
non funziona piu' bene, ed e' molto meglio riavviarlo.

[TheBomber999]

a me da quando l'ho fatto mi ha riavviato il client 4 volte.... sembra che l'errore "NSt8ios_base7failureE" appaia abbastanza spesso,
ossia piu' volte al giorno.

Non ho capito ancora bene a cosa e' riferito, pero' di sicuro quando appare il bitcoin-qt
non funziona piu' bene, ed e' molto meglio riavviarlo.

L'errore ce l'ho costantemente ma, almeno nel mio caso, non è collegalo al consumo di CPU che si è normalizzatao ormai.

[gbianchi]

a me da quando l'ho fatto mi ha riavviato il client 4 volte.... sembra che l'errore "NSt8ios_base7failureE" appaia abbastanza spesso,
ossia piu' volte al giorno.

Non ho capito ancora bene a cosa e' riferito, pero' di sicuro quando appare il bitcoin-qt
non funziona piu' bene, ed e' molto meglio riavviarlo.

L'errore ce l'ho costantemente ma, almeno nel mio caso, non è collegalo al consumo di CPU che si è normalizzatao ormai.

io sulla CPU non ho mai avuto grossi problemi (al massimo mi va al 50%), invece in ram mi schizza spesso a 7 GB
mentre fino a due mesi fa non superava mai i 2GB.

Comunque io su quel server ho anche un nodo p2pool, che dialoga costantemente con il bitcoin-qt, e appena appare l'errore,
poi anche il nodo p2pool va in errore e non si ripiglia finche' non riavvio il bitcoin-qt.

[TheBomber999]

Per me invece anche la ram a valori regolari, niente di allarmante, consuma circa 5% dei 32 GB a disposizione

[gbianchi]

Per me invece anche la ram a valori regolari, niente di allarmante, consuma circa 5% dei 32 GB a disposizione

boh che dire... io ho un ubuntu 14.04 LTS a 64 bit

Inoltre prima usavo una versione di bitcoin-qt compilata da me, ma per
togliermi ogni dubbio, ho messo su la 0.11.0 ufficiale con apt-get.

Insomma, non credo di avere nulla di particolare.

Forse ho il fatto che sono un full node da quasi 2 anni, e magari qualcuno mi ha preso
di mira sparandomi addosso transazioni "forgiate" proprio per mettermi in crisi il nodo...
sai che internet non e' un ambiente per gente troppo tenera, e bitcoin men che meno  

[gbianchi]

ecco cosa stava succedendo:

http://www.coindesk.com/bitcoin-node-numbers-fall-after-spam-transaction-attack/

mi chiedo come mai me ne accorgo solo io... qui un full node non lo ha nessuno ?

[acquafredda]

ecco cosa stava succedendo:

http://www.coindesk.com/bitcoin-node-numbers-fall-after-spam-transaction-attack/

mi chiedo come mai me ne accorgo solo io... qui un full node non lo ha nessuno ?

"Eventually, the transaction backlog fills-up the RAM memory of the nodes. This causes the node computers to slow down dramatically or even freeze-up. If a node slows down too much, the bitcoin network considers it to be ineffective and 'offline'. My guess is that most of the offline nodes just stop functioning well enough to respond."

Con il mio portatile è chiedere troppo avere un full node. Comunque sì in pratica il problema non eri tu ma derivava dall'attacco che hai subito.
Ti puoi anche rimettere la versione di bitcoin che ti sei compilato tu
 

[TheBomber999]

ecco cosa stava succedendo:

http://www.coindesk.com/bitcoin-node-numbers-fall-after-spam-transaction-attack/

mi chiedo come mai me ne accorgo solo io... qui un full node non lo ha nessuno ?

Io ne ho 3 Fullm Node 

Cmq, prova a fare l'update con 0.11.1

[gbianchi]

Io ne ho 3 Fullm Node  

Cmq, prova a fare l'update con 0.11.1

fatto upgrade.

Probabilmente l'approccio (per quanto rozzo) di far ripartire in automatico il bitcoin-qt
se inizia a dare errori strani o ad occupare troppe risorse alla fine e' il piu' efficace....
da quando ho lo scripettino, mi ha riavviato il bitcoin-qt 10 volte, p2pool e' felice,
i programmi delle statistiche girano bene... insomma d'ora in poi lo lascio "sotto controllo",
anzi perfeziono lo script per catturare piu' situazioni dubbie.

Anche perche' ho come l'impressione che le orde di spammatori, forgiatori di transazioni strane,
cercatori di bug aumenteranno sempre di piu'.

EDIT
e' ancora presto, ma ad occhio questa versione (0.11.1) ha davvero risolto qualche
problema nel consumo delle risorse.

[gbianchi]

eheh seono ottimisti sul sito bitcoin.org:

Bitcoin Core initial synchronization will take time and download a lot of data. You should make sure that you have enough bandwidth and storage for the full block chain size (over 20GB). If you have a good Internet connection, you can help strengthen the network by keeping your PC running with Bitcoin Core and port 8333 open. Read the full node guide for details.

questo e' il du della mia cartella bitcoin:

52740   ./blocks/index
52798040        ./blocks
16      ./database
1147076 ./chainstate
53947084        .

[gbianchi]

dopo l'upgrade alla 0.11.1, la situazione e' molto migliorata, non so se per
coincidenza o per le fix della release.

Comunque l'occupazione si e' stabilizzata intorno ai 2/3 GB (normale)
e non si sono piu' presentati errori.

[alexrossi]

eheh seono ottimisti sul sito bitcoin.org:

Bitcoin Core initial synchronization will take time and download a lot of data. You should make sure that you have enough bandwidth and storage for the full block chain size (over 20GB). If you have a good Internet connection, you can help strengthen the network by keeping your PC running with Bitcoin Core and port 8333 open. Read the full node guide for details.

questo e' il du della mia cartella bitcoin:

52740   ./blocks/index
52798040        ./blocks
16      ./database
1147076 ./chainstate
53947084        .

Oggi posto il mio du con blockchain indexata 

[wariner]

ecco cosa stava succedendo:

http://www.coindesk.com/bitcoin-node-numbers-fall-after-spam-transaction-attack/

mi chiedo come mai me ne accorgo solo io... qui un full node non lo ha nessuno ?

Altrochè se me ne sono accorto...ma ho avuto bisogno qualche giorno per capire fosse quello il problema...ho 2 full node per i miei 2 nodi p2pool, in pratica tutte quelle Spam Transaction mi riempivano la ram e facevano crashare bitcoind. Alla fine ho controllato diversi nodi p2pool notando che tutti avevano lo stesso problema....così ho fatto un paio di modifiche al file bitcoin.conf per accettare meno transazioni free ed ho risolto il problema.

[alexrossi]

Con blockchain indexata:

x@PC:/Archiviazione$ du -h Bitcoin/
4,3G   Bitcoin/blocks/index
59G   Bitcoin/blocks
1,2G   Bitcoin/chainstate
4,0K   Bitcoin/old
60G   Bitcoin/

[gbianchi]

ecco cosa stava succedendo:

http://www.coindesk.com/bitcoin-node-numbers-fall-after-spam-transaction-attack/

mi chiedo come mai me ne accorgo solo io... qui un full node non lo ha nessuno ?

Altrochè se me ne sono accorto...ma ho avuto bisogno qualche giorno per capire fosse quello il problema...ho 2 full node per i miei 2 nodi p2pool, in pratica tutte quelle Spam Transaction mi riempivano la ram e facevano crashare bitcoind. Alla fine ho controllato diversi nodi p2pool notando che tutti avevano lo stesso problema....così ho fatto un paio di modifiche al file bitcoin.conf per accettare meno transazioni free ed ho risolto il problema.

che parametri ci hai messo ? io ci lascio lo script a controllare tutto, ma
anche fare un po' di tuning ai parametri del bitcoin.conf non guasta !

[wariner]

minrelaytxfee=0.00005 ---> di default è 0.00001 che è la fee minima
limitfreerelay=10 ---> di default è 15, in pratica limita tutte le transazioni free e quelle al di sotto della soglia impostata su minrelaytxfee a questo limite
disablewallet=1

Se poi così non ti basta puoi sempre aumentare minrelaytxfee o diminuire limitfreerelay ma non esagerare altrimenti ne risentirebbe troppo chi vuole fare una transazione a bassa/zero fee.

info:

-limitfreerelay=<n>    Rate-limit free transactions to <n>*1000 bytes per minute (default: 15)
 -minrelaytxfee=<amt>   Fees smaller than this (in satoshi) are considered zero fee (relaying and mining) (default: 0.00001)
 -disablewallet         Do not load the wallet and disable wallet RPC calls 

Con queste impostazioni bitcoin-qt mi sta intorno ai 2gb di ram...ho comunque messo "monit" a controllarlo ed in caso sfondi la soglia dei 2.5gb o non risponde più alla porta 8333 lo riavvia.