Fehler in p2pool aber wie lösen?

[SpAcEDeViL]

Hy,

ich habe mir mal mein eigenen p2pool erstellt. Betriebsystem ist centOS. War schon etwas knifflig p2pool am laufen zu bekommen.
Aber irgendwie werden bei mir die Shares nicht gezählt. Ich hoffe ja das sie wenigstens ins Netzwerk gehen.

Code:

2013-10-25 22:40:36.266435 P2Pool: 17310 shares in chain (8866 verified/17314 total) Peers: 6 (0 incoming)
2013-10-25 22:40:36.266739  Local: 1395MH/s in last 10.0 minutes Local dead on arrival: ~1.5% (0-5%) Expected time to share: 5.5 days
2013-10-25 22:40:36.266872  Shares: 0 (0 orphan, 0 dead) Stale rate: ??? Efficiency: ??? Current payout: 0.0000 BTC
2013-10-25 22:40:36.267438  Pool: 27516GH/s Stale rate: 16.1% Expected time to block: 11.6 hours

Was läuft hier falsch?

Und wie kann ich den Fehler beheben?

Code:

2013-10-25 23:14:38.767354 New work for worker! Difficulty: 0.999985 Share difficulty: 148533.577062 Total block value: 25.048938 BTC including 189 transactions
2013-10-25 23:14:40.574594 > in handle_share_hashes:
2013-10-25 23:14:40.574763 > Traceback (most recent call last):
2013-10-25 23:14:40.574829 > Failure: twisted.internet.defer.TimeoutError: in GenericDeferrer
2013-10-25 23:14:40.576598 Lost peer 46.127.137.233:9333 - Connection was aborted locally, using.
2013-10-25 23:14:40.576820 > in download_shares:
2013-10-25 23:14:40.576888 > Traceback (most recent call last):
2013-10-25 23:14:40.576952 > Failure: twisted.internet.error.ConnectionAborted: Connection was aborted locally, using.
2013-10-25 23:14:40.577275 Requesting parent share 36b4bdfb from 37.200.67.186:9333
2013-10-25 23:14:40.766768 Processing 16 shares from 37.200.67.186:9333...
2013-10-25 23:14:41.380464 > Error while processing Event callbacks:
2013-10-25 23:14:41.380622 > Traceback (most recent call last):
2013-10-25 23:14:41.380684 >   File "/opt/bitcoin/p2pool-master/p2pool/node.py", line 135, in download_shares
2013-10-25 23:14:41.380743 >     self.handle_shares([(share, []) for share in shares], peer)
2013-10-25 23:14:41.380802 >   File "/opt/bitcoin/p2pool-master/p2pool/node.py", line 48, in handle_shares
2013-10-25 23:14:41.380859 >     self.node.set_best_share()
2013-10-25 23:14:41.380915 >   File "/opt/bitcoin/p2pool-master/p2pool/node.py", line 297, in set_best_share
2013-10-25 23:14:41.380973 >     self.best_share_var.set(best)
2013-10-25 23:14:41.381251 >   File "/opt/bitcoin/p2pool-master/p2pool/util/variable.py", line 74, in set
2013-10-25 23:14:41.381311 >     self.changed.happened(value)
2013-10-25 23:14:41.381367 > --- <exception caught here> ---
2013-10-25 23:14:41.381423 >   File "/opt/bitcoin/p2pool-master/p2pool/util/variable.py", line 42, in happened
2013-10-25 23:14:41.381517 >     func(*event)
2013-10-25 23:14:41.381574 >   File "/opt/bitcoin/p2pool-master/p2pool/node.py", line 96, in broadcast_share
2013-10-25 23:14:41.381632 >     peer.sendShares([share for share in shares if share.peer_addr != peer.addr], self.node.tracker, self.node.known_txs_var.value, include_txs_with=[share_hash])
2013-10-25 23:14:41.381692 >   File "/opt/bitcoin/p2pool-master/p2pool/p2p.py", line 291, in sendShares
2013-10-25 23:14:41.381749 >     assert tx_hash in known_txs, 'tried to broadcast share without knowing all its new transactions'
2013-10-25 23:14:41.381806 > exceptions.AssertionError: tried to broadcast share without knowing all its new transactions
2013-10-25 23:14:42.451184 New work for worker! Difficulty: 0.999985 Share difficulty: 141878.358327 Total block value: 25.048938 BTC including 189 transactions
2013-10-25 23:14:42.452693 ... done processing 16 shares. New: 16 Have: 17485/~17280

Ich habs mit python2.6 und python2.7 versucht.

[nomnomnom]

Hallo,

Code:

2013-10-25 22:40:36.266435 P2Pool: 17310 shares in chain (8866 verified/17314 total) Peers: 6 (0 incoming)
2013-10-25 22:40:36.266739  Local: 1395MH/s in last 10.0 minutes Local dead on arrival: ~1.5% (0-5%) Expected time to share: 5.5 days
2013-10-25 22:40:36.266872  Shares: 0 (0 orphan, 0 dead) Stale rate: ??? Efficiency: ??? Current payout: 0.0000 BTC
2013-10-25 22:40:36.267438  Pool: 27516GH/s Stale rate: 16.1% Expected time to block: 11.6 hours

Was läuft hier falsch?

Ich denke das sieht alles normal aus, allerdings ist er noch die p2pool blockchain am überprüfen (8866 verified von 17314),
glaube das muss erstmal beides auf dem gleichen Stand sein.

Dann steht ja da mit mit deiner Hashrate dauert es im Durchschnitt 5,5 Tage bis ein Share gefunden wurde... (Expected time to share)

Und wie kann ich den Fehler beheben?

Code:

[...]
2013-10-25 23:14:40.574763 > Traceback (most recent call last):
2013-10-25 23:14:40.574829 > Failure: twisted.internet.defer.TimeoutError: in GenericDeferrer
2013-10-25 23:14:40.576598 Lost peer 46.127.137.233:9333 - Connection was aborted locally, using.
2013-10-25 23:14:40.576820 > in download_shares:
2013-10-25 23:14:40.576888 > Traceback (most recent call last):
2013-10-25 23:14:40.576952 > Failure: twisted.internet.error.ConnectionAborted: Connection was aborted locally, using.
[...]

So ähnliche Fehler seh ich auch manchmal in den Logs, da gab es evtl. ein Verbindungsproblem, wenn das
nicht die ganze Zeit passiert ist das wohl kein Problem.
Sonst vielleicht p2pool nochmal neu laden von https://github.com/forrestv/p2pool

[SpAcEDeViL]

Danke fürs Feedback.

Also sind die Shares nicht die Shares der Miner?
Was man ja eigentlich erstmal vermuten würde.   

Der läuft ja erst mal im Test Betrieb. Hab jetzt mal 14GH drauf gejagt.

Jedoch stört mich die Share Diff Steuerung. Kann man die irgendwo einstellen? Oder so einstellen, das sie sich pro Miner reguliert?
Da z.b. der 12GB Miner sehr oft nun kurz leer läuft. Da er mit Diff 2 läuft.

[nomnomnom]

Ja genau das sind nur die p2pool shares, wenn man auf das Webinterface geht
( http://ipaddresse:9332/ ) steht da auch wie die p2pool share difficulty gerade ist.

Kann auch eingestellt werden, lokale difficulty und p2pool difficulty, hab ich aber noch nie versucht:

Username should be in this format.
[username]/[target diff]+[local diff]

username = "name" of worker.
target diff = p2pool difficulty.  must be higher than current min p2pool difficult.  if used by larger miners helps reduce variance (by lower min p2pool diff) of smaller miners.
local diff = difficulty of shares as seen by the miner.  if not used p2pool uses a dynamic difficulty to keep shares / sec low.


Examples:
user             = creates worker with username user and uses dynamic min difficulty for both p2pool shares and local shares.
user/1000     = creates worker with username user and tells it to use difficulty 1000 shares for p2pool
user/200       = the 200 is ignored.  As of the time of writing min difficulty is 650 thus 650 will still be used.
user/1000+1  = creates worker w/ username "user".  p2pool diff shares = 1000, local diff = 1

Einfach an den Miner Benutzername anhängen, scheinbar kann man auch nur die lokale difficulty einstellen, indem man nur
z.B. +256 dranhängt, hab ich eben auf nem Screenshot gesehen (https://bitcointalk.org/index.php?topic=18313.msg3406771#msg3406771)

[SpAcEDeViL]

Hy,

habs gerade mal ausprobiert.

Bringt leider garnichts. Selbst den 12 GB versucht er mit Diff 1 abzuspeisen.
Dabei schwankt er immer zwischen 1 und 3.  Aber nicht bei einem Miner sondern bei allen gleichzeitig.
Was natürlich blöde ist, wenn da ein Miner bei bist, der z.b. nur mit na Grafikkarte daher kommt. Dieser drückt dann alle auf Diff 1 runter.

[SpAcEDeViL]

really good explanation

share diff is determined such that:
1) a p2pool share is found every 30 seconds
2) no single miner is expected to generate >5% of the shares (difficulty is adjusted up to keep the total number of shares lower, just for them)

One more thing, the share chain isn't always 8640 long. It's 3x the expected work needed to find a block, or 8640, whichever is less. So right now it's ~45 hours, so a little under two days. (I believe that's what the code says, please correct me if I'm wrong)


All the math aside, what matters is that the expected payout using p2pool is greater than that of any other pool -- even for small miners. The variance, however, is bigger.

Thats confuse me. I have mine for 2 Days (Friday and Saturday) with 14 GH on mine p2pool node smileandgo.de:9332
The Node makes no pool shares. My miner have make over 32k accepted shares to the node.
And i become no payouts to my address or to the node address

Also irgendwie scheint da was nicht richtig zu ... Also entweder habe ich hier ein Denkfehler....Oder mein Node läuft nicht so, wie er sollte.

Ich habe nun 2 Tage mit 14 GB gemined. Freitag und Samstag, Dabei habe erstmal festgestellt, das die Diff die der Node an die Miner gibt, immer global auf alle miner angewendet wird. Was schon mal dumm ist, wenn man ein Miner dabei hat der langsam z.b. 333 MHs und einen der mit 14 GHs daher kommt.

Der 14GHs läuft ständig leer.

Nun soll man ja irgendwie seine Miner Diff einstellen können. Ich habe dies auch mal versucht jedoch keine Auswirkung gemerkt.
Ich benutze den CGMiner.

Aber zurück, ich habe den node nun ein paar  Tage am laufen gehabt, dieser hat aber 0 Shares ans p2pool Netzwerk geleitet. Heißt das, das alle miner shares nun für den Arsch sind?

Ich hab jetzt mal wieder aufgehört, da ich nicht weiß, ob ich die shares verschenke.
Aber das ist mal nen Auszug aus dem Log:

Code:

2013-10-27 12:14:25.030061 P2Pool: 17384 shares in chain (13473 verified/17388 total) Peers: 8 (2 incoming)
2013-10-27 12:14:25.030229  Local: 0H/s in last 10.0 minutes Local dead on arrival: ??? Expected time to share: ???
2013-10-27 12:14:25.030306  Shares: 0 (0 orphan, 0 dead) Stale rate: ??? Efficiency: ??? Current payout: 0.0000 BTC
2013-10-27 12:14:25.030376  Pool: 28847GH/s Stale rate: 9.8% Expected time to block: 16.2 hours

Dazu kommen noch einige Fehlermeldungen die mich etwas beunruhigen:

Code:

2013-10-27 12:27:31.827740 > Error in DeferredResource handler:
2013-10-27 12:27:31.831137 > Traceback (most recent call last):
2013-10-27 12:27:31.831254 >   File "/p2pool/util/deferred_resource.py", line 24, in render
2013-10-27 12:27:31.831342 >     defer.maybeDeferred(resource.Resource.render, self, request).addCallbacks(finish, finish_error)
2013-10-27 12:27:31.831431 >   File "/usr/lib64/python2.6/site-packages/twisted/internet/defer.py", line 134, in maybeDeferred
2013-10-27 12:27:31.831518 >     result = f(*args, **kw)
2013-10-27 12:27:31.831598 >   File "/usr/lib64/python2.6/site-packages/twisted/web/resource.py", line 216, in render
2013-10-27 12:27:31.831663 >     return m(request)
2013-10-27 12:27:31.831726 >   File "/usr/lib64/python2.6/site-packages/twisted/internet/defer.py", line 1187, in unwindGenerator
2013-10-27 12:27:31.831790 >     return _inlineCallbacks(None, gen, Deferred())
2013-10-27 12:27:31.831851 > --- <exception caught here> ---
2013-10-27 12:27:31.831913 >   File "/usr/lib64/python2.6/site-packages/twisted/internet/defer.py", line 1045, in _inlineCallbacks
2013-10-27 12:27:31.831976 >     result = g.send(result)
2013-10-27 12:27:31.832093 >   File "/p2pool/web.py", line 189, in render_GET
2013-10-27 12:27:31.832154 >     res = yield self.func(*self.args)
2013-10-27 12:27:31.832214 >   File "/p2pool/web.py", line 444, in <lambda>
2013-10-27 12:27:31.832277 >     new_root.putChild('graph_data', WebInterface(lambda source, view: hd.datastreams[source].dataviews[view].get_data(time.time())))
2013-10-27 12:27:31.832380 > exceptions.KeyError: 'last_'

[twbt]

Also irgendwie scheint da was nicht richtig zu ... Also entweder habe ich hier ein Denkfehler....Oder mein Node läuft nicht so, wie er sollte.

Ich habe nun 2 Tage mit 14 GB gemined. Freitag und Samstag, Dabei habe erstmal festgestellt, das die Diff die der Node an die Miner gibt, immer global auf alle miner angewendet wird. Was schon mal dumm ist, wenn man ein Miner dabei hat der langsam z.b. 333 MHs und einen der mit 14 GHs daher kommt.

Der 14GHs läuft ständig leer.

Kann ich nicht bestätigen. Hab das mal ne Zeitlang ausgetestet und jeder Miner bekommt unterschiedliche Diffs zugewiesen, je nach Geschwindigkeit. Allerdings spielt das auch nur eine untergeordnete Rolle, die zugewiesene Diff hat rein "statistische Relevanz", denn P2Pool gaukelt den Minern nur eine bestimmte Diff vor, gezählt werden nur Shares, die über der aktuellen Pool-Diff liegen. Diese liegt aktuell bei 140k.

Aber zurück, ich habe den node nun ein paar  Tage am laufen gehabt, dieser hat aber 0 Shares ans p2pool Netzwerk geleitet. Heißt das, das alle miner shares nun für den Arsch sind?

Ich hab jetzt mal wieder aufgehört, da ich nicht weiß, ob ich die shares verschenke.

Mit 14 GH/s solltest Du aktuell etwa alle 14 Stunden einen Share erzielen. Allerdings kommt Dir da die Varianz in die Quere. Du hast einfach Pech gehabt und keinen Share über der aktuellen Pool-Diff erzielt.

[SpAcEDeViL]

Danke fürs Feedback.

mh... Aber bestätigt dies nicht meine Annahme, das wenn ich es mit dem node nicht schaffe innerhalb der "voraussichtlichen Zeit für den neuen Block" meine kompletten miner shares verloren gehen?

Also mein Node diese Miner shares bündelt und weiter reicht und wenn er dies nicht macht, pech gehabt, alles weg?

[twbt]

Da steckt einfach noch ein Denkfehler drin. P2Pool funktioniert nicht wie "normale Pools", in denen Du für jeden Share, den der Pool akzeptiert, "bezahlt" wirst. Die Shares, die Du an einen P2Pool lieferst, werden nicht aufsummiert, sondern dienen allein dazu, Deine Hashleistung zu berechnen. Wirklich gezählt - also in der "Sharechain" gespeichert - werden nur Shares, die über der aktuellen Pool-Diff liegen. Nur für diese wirst Du "bezahlt".

Heißt: Du lieferst - jetzt grob vereinfacht -1.000 Shares mit Diff 1. Daraus wird Deine Hashleistung X GH/s berechnet und angezeigt. Darunter ist kein einziger Share, der > 140k ist. Damit ist Dein Auszahlungsbetrag = 0. Bei Deiner Hashleistung solltest Du aktuell alle 14 Stunden einen solchen Share > 140k finden. Es kann aber eben auch sein, dass Du nach 30 Stunden noch keinen einzigen gefunden hast, nach 36 Stunden dann aber zwei. Das ist eben Varianz, die sich erst über einen größeren Betrachtungszeitraum ausmittelt.

BTW: Einen Share zu finden bedeutet nicht automatisch, dass Du auch eine Auszahlung bekommst. Auszahlungen bekommst Du nur, wenn der Pool auch Blocks findet. Aktuell sollte das P2Pool-Netzwerk alle 19 Stunden einen Block finden. Aber auch hier wirkt sich wieder die Varianz aus. Wenn das Netzwerk erst nach 48 Stunden einen Block findet, gehst Du leer aus. Wenn es aber in 48 Stunden vier findet, dann wirst Du doppelt bezahlt, weil Du für Deine Shares vier Auszahlungen bekommst.

tl;dr P2Pool ist nichts für ungeduldige Gemüter. Im P2Pool-Netzwerk sind die Varianz-Effekte stark ausgeprägt.

[SpAcEDeViL]

Danke.

Die Erklärung war super. Das lässt wenigstens durchblicken wie das Netzwerk funktioniert.
Ich finde zwar das es für kleiner Miner etwas toleranter sein sollte. Aber gut.

Ich trau mich jetzt mal und lasse das ding eine Woche minen. Sollte jeden tag min. 0.02 BTC bringen. Und 0.14 BTC auf die Woche.

Ich bin mal gespannt.

[twbt]

Ich finde zwar das es für kleiner Miner etwas toleranter sein sollte. Aber gut.

Dafür haste ja drüben im Thread schon "Schläge" bekommen. - An PPS ist bei verteiltem Mining überhaupt nicht zu denken, da es den Netzwerktraffic exponentiell steigern würde und das Angriffspotential erhöhen. Die Shares müssen ja P2P verwaltet und verifiziert werden. Dafür nutzt P2Pool eine eigene "Sharechain" analog zur Blockchain im BTC-Netzwerk. Alle ~ 30 Sekunden wird im gesamten Netzwerk ein Share gefunden, an alle Pools verteilt und von diesen verifiziert. Das steuert dann die Auszahlung beim Finden eines Blocks.

Viel Erfolg mit Deinem Pool! Mit 14 GH/s biste halt den "rohen Gewalten der Varianz" besonders stark ausgesetzt. Das kann gut gehen (und Du bekommst mehr, als Du erwartest), es kann aber auch am Ende der Woche eine 0 da stehen.

[fhh]

Viel Erfolg mit Deinem Pool! Mit 14 GH/s biste halt den "rohen Gewalten der Varianz" besonders stark ausgesetzt. Das kann gut gehen (und Du bekommst mehr, als Du erwartest), es kann aber auch am Ende der Woche eine 0 da stehen.

0 wäre nach ner Woche verdammt hart, aber da die aktuelle Runde schon über 2 Tage dauert...
nichts ist unmöglich p2pool;)

[twbt]

Viel Erfolg mit Deinem Pool! Mit 14 GH/s biste halt den "rohen Gewalten der Varianz" besonders stark ausgesetzt. Das kann gut gehen (und Du bekommst mehr, als Du erwartest), es kann aber auch am Ende der Woche eine 0 da stehen.

0 wäre nach ner Woche verdammt hart, aber da die aktuelle Runde schon über 2 Tage dauert...
nichts ist unmöglich p2pool;)

Das Netzwerk ist gerade ziemlich unlucky. Aber, korrekt: 0 nach einer Woche wäre verdammt hart, wenn auch nicht ausgeschlossen.

p.s. Ich sichere mich nur ab, sonst will nachher jemand einen Refund haben, weil all die schönen Shares im Ofen gelandet sind.

[SpAcEDeViL]

Gibs den eine Möglichkeit zu testen ob der p2pool node komplett richtig funktioniert?

Damit man auch sicher gehen kann, das Shares auch den node verlassen.

Da ja auch ab und zu diese Fehlermeldungen wie weiter oben stehen auftauchen.

[twbt]

Gibs den eine Möglichkeit zu testen ob der p2pool node komplett richtig funktioniert?

Damit man auch sicher gehen kann, das Shares auch den node verlassen.

Da ja auch ab und zu diese Fehlermeldungen wie weiter oben stehen auftauchen.

Kenne keine Möglichkeit zum Testen. Aber das sieht bei Dir alles soweit okay aus. DAO-Rate könnte besser sein, ist aber okay. GetBlockTemplate-Latency ist ebenfalls okay. Wenn Du die Sharechain komplett geladen hast (was ebenfalls so aussieht), sollte es keine Probleme geben. Was Du machen kannst: schauen, ob Deine Mining-Software Dir einen Best-Share > 120k angibt. Wenn das nicht der Fall ist, gibt es erstmal keinen Grund, ein Problem zu vermuten.

Die Fehlermeldungen oben spielen für das Mining keine Rolle. Die Fehler bei web.py wirken sich nur auf das HTML-Webinterface aus. Der erste Fehler scheint ein Verbindungsproblem mit einem anderen Node zu sein, kann ich aber nicht genau sagen. Kommt der erste regelmäßig?

[SpAcEDeViL]

Hy,

ne, diese kommt nur beim Start. Da ist se mir aufgefallen.

Das andere tritt ab und zu mal auf.

Also gut verknotet scheint der Node ja nun zu sein :

Code:

P2Pool: 17454 shares in chain (17158 verified/17458 total) Peers: 11 (4 incoming)

Dann heißt es wohl doch erstmal abwarten und hoffen das was geht.

Aber nochmal um drauf zurück zu kommen;
Wenn ein Node kein Share macht, haben alle die auf dem Node minen nichts gewonnen, richtig?
Nur wenn der Node ein Share macht, bekommen alle, die auf dem Node gemint haben, ihren Anteil, aufgeteilt anhand der Miner Shares an den Node?

Würde bedeuten, das die Miner besser auf einem Node minen sollten der bereits schnell unterwegs ist?
Würde das nicht zwangsläufig wieder zu einem central node führen?

[twbt]

Wenn ein Node kein Share macht, haben alle die auf dem Node minen nichts gewonnen, richtig?
Nur wenn der Node ein Share macht, bekommen alle, die auf dem Node gemint haben, ihren Anteil, aufgeteilt anhand der Miner Shares an den Node?

Würde bedeuten, das die Miner besser auf einem Node minen sollten der bereits schnell unterwegs ist?
Würde das nicht zwangsläufig wieder zu einem central node führen?

Nein, das spielt überhaupt keine Rolle. Jeder mint auf seine eigene Auszahlungs-Adresse (sofern Deine Miner Dir ihre Leistung nicht einfach schenken wollen) und damit ist jeder "für sich allein" unterwegs. Wenn sich also jetzt jemand mit 100 GH/s an Deinen Pool hängt und einen Share findet, bringt Dir das nichts, wenn Du selbst keinen gefunden hast.

[SpAcEDeViL]

Ja, besten Dank.

Hehe um einfach nur mal zu sehen ob das ding nen Share raus gibt, darf gerne mal eben einer connecten. *g

Dann habe ich ein ruhiges gewissen und kann gut schlafen... naja, relativ gut

[twbt]

Na, dann kannste jetzt gut schlafen! Relativ.

[SpAcEDeViL]

Na, dann kannste jetzt gut schlafen! Relativ.

Bedankt. Jetzt weiß ich auch das das richtig läuft.
Jetzt brauch ich nur noch ein Miner der seine RIO einspielt