Tabelle e grafici statistiche on-chain

[fillippone]

qui appare il termine NURP, non definito da nessuna parte... e' un semplice errore?

Esatto, un typo. Sorry corretto.

intendi la mediana statistica? cioe' i termini ordinati per valore e preso quello in mezzo?

Esatto. Mediana statistica. Ordina gli UTXO per profitto (calcolato come percentuale rispetto al prezzo corrente)
Ordinali dal minore al maggiore, prendi quello mediano.
(Ho provato a dare una definizione non rigorosa per dare meglio l’idea).

[1714136259]

1714136259

[1714136259]

1714136259

[1714136259]

1714136259

[1714136259]

1714136259

[gbianchi]

qui appare il termine NURP, non definito da nessuna parte... e' un semplice errore?

Esatto, un typo. Sorry corretto.

intendi la mediana statistica? cioe' i termini ordinati per valore e preso quello in mezzo?

Esatto. Mediana statistica. Ordina gli UTXO per profitto (calcolato come percentuale rispetto al prezzo corrente)
Ordinali dal minore al maggiore, prendi quello mediano.
(Ho provato a dare una definizione non rigorosa per dare meglio l’idea).

Ho le snapshot UTXO di tutti i fine mese a mezzanotte, o meglio l'ultimo blocco prima di mezzanotte.
 (+ qualcuna qua' e la' salvata in giorni che a me interessavano)

comunque alcuni dei grafici che pubblico qui sono fatti con un risoluzione mensile, che mi sembra piu'
che dignitosa se devi cogliere una visione d'insieme. Credi possa essere sufficente come risoluzione?

[fillippone]

. Credi possa essere sufficente come risoluzione?

Assolutamente. Il primo test sarebbe teso a fare un calcolo “statico” per provare a capire come calcolare questo indice nel dettaglio e se l’informazione è diversa dall’ UNPL.
Poi eventualmente si fa il grafico “storico”…

[gbianchi]

. Credi possa essere sufficente come risoluzione?

Assolutamente. Il primo test sarebbe teso a fare un calcolo “statico” per provare a capire come calcolare questo indice nel dettaglio e se l’informazione è diversa dall’ UNPL.
Poi eventualmente si fa il grafico “storico”…

SI si quello e' ovvio, volevo solo evitare di accorgerci alla fine che non arriveremmo in ogni caso a un qualcosa che giudichi sufficente.

Comunque, una UTXO (almeno come e' mantenuta dentro bitcoin core) e' fatta cosi':

txid,
index,
height, ossia blocco di appartenenza
coinbase, un flag che dice se e' appena minata o no
amount, numero di bitcoin
nsize, tipo script o lunghezza dello script
script, dal quale si puo' ricavare il tipo di script usato e  l'address elaborandolo un po'

di tutte quest informazioni, che sono piu' o meno tutte utili,
in un discorso del genere mi sembra che possano interessare:

l'importo in BTC della utxo
la data in cui e' stata generata quella UTXO, che si puo' ricavare dal blocco,
e poi ricavare il prezzo in $ a quella data.
da questo calcolare il "Profitto" ossia la % rispetto al prezzo corrente
ordinare per questo profitto
e prendere il dato intermedio.

ma vedendo queste info gia' mi sorgono alcuni dubbi:

dovrei prendere in considerazione anche le transazioni coinbase?

tutti i tipi di script?

e senza nessuna pesatura? ossia cosi' si prendono transazioni da 0.000001BTC
e transazioni da 100000 BTC e gli si da' lo stesso peso....

Sicuro che ne esca un dato "sensato"?

[fillippone]

. Credi possa essere sufficente come risoluzione?

Assolutamente. Il primo test sarebbe teso a fare un calcolo “statico” per provare a capire come calcolare questo indice nel dettaglio e se l’informazione è diversa dall’ UNPL.
Poi eventualmente si fa il grafico “storico”…

SI si quello e' ovvio, volevo solo evitare di accorgerci alla fine che non arriveremmo in ogni caso a un qualcosa che giudichi sufficente.

Comunque, una UTXO (almeno come e' mantenuta dentro bitcoin core) e' fatta cosi':

txid,
index,
height, ossia blocco di appartenenza
coinbase, un flag che dice se e' appena minata o no
amount, numero di bitcoin
nsize, tipo script o lunghezza dello script
script, dal quale si puo' ricavare il tipo di script usato e  l'address elaborandolo un po'

di tutte quest informazioni, che sono piu' o meno tutte utili,
in un discorso del genere mi sembra che possano interessare:

l'importo in BTC della utxo
la data in cui e' stata generata quella UTXO, che si puo' ricavare dal blocco,
e poi ricavare il prezzo in $ a quella data.
da questo calcolare il "Profitto" ossia la % rispetto al prezzo corrente
ordinare per questo profitto
e prendere il dato intermedio.

ma vedendo queste info gia' mi sorgono alcuni dubbi:

dovrei prendere in considerazione anche le transazioni coinbase?

tutti i tipi di script?

e senza nessuna pesatura? ossia cosi' si prendono transazioni da 0.000001BTC
e transazioni da 100000 BTC e gli si da' lo stesso peso....

Sicuro che ne esca un dato "sensato"?

Bisogna pensarci un po’.

Sicuramente le coinbase dovrebbero essere incluse.
Inoltre credo che non sia necessario ponderare I risultati.
Nel senso se abbiamo un utente con 100 bitcoin, e 100,000 con 0.001, se li ponderi torni alla situazione “average” dove ognuno ha 0.002 bitcoin (media con un valore doppio della mediana).
Sto delirando?

[gbianchi]

Bisogna pensarci un po’.

Sicuramente le coinbase dovrebbero essere incluse.
Inoltre credo che non sia necessario ponderare I risultati.
Nel senso se abbiamo un utente con 100 bitcoin, e 100,000 con 0.001, se li ponderi torni alla situazione “average” dove ognuno ha 0.002 bitcoin (media con un valore doppio della mediana).
Sto delirando?

Boh, non so se stai delirando, vedremo.

Intanto sto facendo qualche esperimento per mettere su l'infrastruttura che mi serve per calcolare tutti i prezzi.

Primo problemino: io uso le quotazioni BTC/USD di bitstamp per i tempi recenti, che partono dal 13/09/2011 e arrivano ad oggi.
per i tempi precedenti uso le quotazioni BTC/USD mtgox che partono dal 17/07/2010, circa blocco 68.700, prezzo 0.05$

questo vuol dire che le UTXO dei blocchi precedenti sono senza prezzo, valorizzate a prezzo zero.
Per capirci, gran parte dei famosi bitcoin di satoshi sono tutti valorizzati a prezzo zero.

Penso vada bene cosi', ma vorrei confrontarmi con te, e anche una parola di Plutosky sarebbe molto utile.

(il diavolo si annida sempre nei dettagli)

[fillippone]

Penso vada bene cosi', ma vorrei confrontarmi con te, e anche una parola di Plutosky sarebbe molto utile.

(il diavolo si annida sempre nei dettagli)

Direi che va bene così.
Se siamo a 20,000 USD non fa grande differenza se il profitto è di 19,999.5, 19,999.0 o 19,995 dollari.
Inoltre potresti provare a dare un’occhiata sul GitHub di PlanB, dove c’è il dataset di prezzi una to da lui: potresti provare a vedere se trovi qualche informazione utile.

[gbianchi]

Penso vada bene cosi', ma vorrei confrontarmi con te, e anche una parola di Plutosky sarebbe molto utile.

(il diavolo si annida sempre nei dettagli)

Direi che va bene così.
Se siamo a 20,000 USD non fa grande differenza se il profitto è di 19,999.5, 19,999.0 o 19,995 dollari.
Inoltre potresti provare a dare un’occhiata sul GitHub di PlanB, dove c’è il dataset di prezzi una to da lui: potresti provare a vedere se trovi qualche informazione utile.

coindesk BPI penso che usi un metodo analogo al mio, infatti da' questo errore

Sorry, the CoinDesk BPI only covers data from 2010-07-17 onwards. Please alter your start date and try again.

se si cerca di ricavare prezzi precedenti al 17-07-2010.

Nel git di planb c'e' un excel con i prezzi mensili, e alcuni sono precedenti a questa data, ma non so dove li abbia presi:

Date   #blocks   #btc   SF    price    market value
               
2009-01   2,543   127,150         
2009-02   3,380   296,150         
2009-03   3,466   469,450         
2009-04   3,442   641,550         
2009-05   3,383   810,700         
2009-06   2,236   922,500         
2009-07   1,925   1,018,750         
2009-08   1,564   1,096,950         
2009-09   2,159   1,204,900         
2009-10   2,126   1,311,200   0.1    $0.001     $1,002 
2009-11   2,217   1,422,050   0.2    $0.002     $2,844 
2009-12   4,048   1,624,450   0.2    $0.002     $3,249 
2010-01   5,004   1,874,650   0.2    $0.002     $3,749 
2010-02   5,603   2,154,800   0.3    $0.002     $4,310 
2010-03   5,201   2,414,850   0.4    $0.003     $7,245 
2010-04   5,578   2,693,750   0.4    $0.004     $9,428 
2010-05   4,940   2,940,750   0.6    $0.004     $12,057 
2010-06   4,746   3,178,050   0.7    $0.040     $127,122 
2010-07   7,875   3,571,800   0.5    $0.070     $250,026 
2010-08   6,016   3,872,600   0.7    $0.060     $232,356 
2010-09   5,545   4,149,850   0.9    $0.060     $248,991 
2010-10   5,895   4,444,600   0.9    $0.190     $844,474 
2010-11   5,909   4,740,050   1.0    $0.210     $995,411 

Io direi che puo' andare bene considerare a zero i prezzi precedenti al 17/07/2010.

[fillippone]

Nel git di planb c'e' un excel con i prezzi mensili, e alcuni sono precedenti a questa data, ma non so dove li abbia presi:

Credo che abbia usato alcuni “punti notevoli” (tipo la pizza di Lazlo) per calcolare il prezzo per un bitcoin, e poi interpolato per riempire i buchi.
Puoi usare quelli, oppure considerare zero. Come detto, non mi pare cambi parecchio

[gbianchi]

Nel git di planb c'e' un excel con i prezzi mensili, e alcuni sono precedenti a questa data, ma non so dove li abbia presi:

Credo che abbia usato alcuni “punti notevoli” (tipo la pizza di Lazlo) per calcolare il prezzo per un bitcoin, e poi interpolato per riempire i buchi.
Puoi usare quelli, oppure considerare zero. Come detto, non mi pare cambi parecchio

Piuttosto che usare valori semi random preferisco usare zero (tanto siamo vicinissimi allo zero)

Prima di realizzare il tuo indicatore, vorrei "riprodurre" il NUPL, cosi' da avere valori simili (o magari uguali)
a quelli di glassnode e vedere cosi' che la base sulla quale opero e' sensata.

Pero' sono andato a studiare come fa glassnode a calcolare l'indicatore e non ho capito bene:

https://academy.glassnode.com/indicators/profit-loss-unrealized/net-unrealized-profit-loss,

sopratutto non ho capito come faccia l'indice nel grafico ad esempio ad essere in certi momenti a -1.5
credevo di aver capito che poteva variare da -1 a 1...

[fillippone]

sopratutto non ho capito come faccia l'indice nel grafico ad esempio ad essere in certi momenti a -1.5
credevo di aver capito che poteva variare da -1 a 1...

Eh no, lo ho spiegato nel mio post inglese.
Il denominatore è la market cap CORRENTE. Se hai comprato BTC a 60,000 il tuo NURP sarà pari a (20,000-60,000)/20,000=-200%

[gbianchi]

sopratutto non ho capito come faccia l'indice nel grafico ad esempio ad essere in certi momenti a -1.5
credevo di aver capito che poteva variare da -1 a 1...

Eh no, lo ho spiegato nel mio post inglese.
Il denominatore è la market cap CORRENTE. Se hai comprato BTC a 60,000 il tuo NURP sarà pari a (20,000-60,000)/20,000=-200%

Loro lo rappresentano come indice non come percentuale...
quindi puo' essere 1 al massimo ma puo' scendere anche sotto -1, capito.

Ora glassnode non mi permette di vedere i valori dice che devo essere abbonato per farmi vedere quel grafico.
Un'anima pia potrebbe darmi i 12 valori dell'indice nei fine mese  del 2011?
cosi' confronto se mi vengono valori compatibili.
(chiedo il 2011 perche' c'erano ancora pochi UTXO e faccio presto a far girare i programmi)

[fillippone]

Ora glassnode non mi permette di vedere i valori dice che devo essere abbonato per farmi vedere quel grafico.
Un'anima pia potrebbe darmi i 12 valori dell'indice nei fine mese  del 2011?
cosi' confronto se mi vengono valori compatibili.
(chiedo il 2011 perche' c'erano ancora pochi UTXO e faccio presto a far girare i programmi)

Questa è una missione per @Plutosky. Non so se abbia il bot di menzioni attivato e quindi accorrerà su questo thread.
Speriamo lègga, al limite prova con un DM.

[gbianchi]

Questa è una missione per @Plutosky. Non so se abbia il bot di menzioni attivato e quindi accorrerà su questo thread.
Speriamo lègga, al limite prova con un DM.

Ho calcolato un po' di indici NUPL e con l'intercessione di plutosky li ho potuti confrontare con i valori Glassnode:
ci sono delle piccole differenze ma sono spiegabili da:
1) che prezzi usano
2) che blocco prendono come campione per il giorno, io ad esempio prendo l'ultimo prima di mezzanotte,
   ma si possono usare altri criteri, ad esempio fare una media di tutti i blocchi del giorno, o vari altri. direi che
   la differenza non e' poi cosi' sostanziale
3) che tipo di UTXO includono per fare il calcolo, io le includo tutte

comunque direi che ci siamo, i dati sono piu' o meno coerenti, posso calcolare il NUPL e quindi posso procedere a calcolare il tuo indice.
Come vuoi chiamarlo, NUMPL?
E mi spieghi come devo calcolarlo?

Io ho capito che per ogni UTXO devo prendere il prezzo BTC alla data dell'utxo, calcolare l'indice di profitto/pertita rispetto al prezzo attuale
quindi senza neppure interessarmi di quanti sat vale l'UTXO (1 sat o 1.000.000.000 di sat e' indifferente)
metto tutti questi indici in un array
sorto l'array e ti ritorno il valore a meta' array

carico prezzi mtgox
2010-07-17
carico prezzi bitstamp
2011-09-13
blocco 143401 del 2011-08-31 prezzo 8.35
.........
nupl = 0.218909734087104

genero dati/143401-stats.json
Tempo esecuzione 0 minuti 21 secondi


glassnode 2011-08-31T00:00:00Z,0.198928494179284

------------------------------------------

carico prezzi mtgox
2010-07-17
carico prezzi bitstamp
2011-09-13
blocco 147560 del 2011-09-30 prezzo 5.02
..........
nupl = -0.198123955158156

genero dati/147560-stats.json
Tempo esecuzione 0 minuti 31 secondi

glassnode 2011-09-30T00:00:00Z,-0.181510319822596

------------------------------

Tempo esecuzione 0 minuti 24 secondi
root@stx:/u2/parser# ./totali -blocco=151314
carico prezzi mtgox
2010-07-17
carico prezzi bitstamp
2011-09-13
blocco 151314 del 2011-10-31 prezzo 3.29
...........
nupl = -0.732023706047468

glassnode 2011-10-31T00:00:00Z,-0.723986177670985

------------------------------

carico prezzi mtgox
2010-07-17
carico prezzi bitstamp
2011-09-13
blocco 155443 del 2011-11-30 prezzo 3.19
............
nupl = -0.559483962268327

glassnode 2011-11-30T00:00:00Z,-0.652192445102589

-------------------------------------

carico prezzi mtgox
2010-07-17
carico prezzi bitstamp
2011-09-13
blocco 160034 del 2011-12-31 prezzo 4.46
............
nupl = -0.115178940902314

glassnode 2011-12-31T00:00:00Z,-0.0460530794456744

[fillippone]

Direi di sì.
In questo modo si capisce quanti utxo sono in utile, e quanti in perdita.
Quindi così si capisce quale è il profitto di un “utxo” preso a caso.
La mia tesi è che i “grossi utxo, con grosso profitto”, distorcano pesantemente la media.

Detto in soldoni: gli utxo di satoshi influenzano pesantemente il NUPL, ma non il mio indice.

[gbianchi]

Direi di sì.
In questo modo si capisce quanti utxo sono in utile, e quanti in perdita.
Quindi così si capisce quale è il profitto di un “utxo” preso a caso.
La mia tesi è che i “grossi utxo, con grosso profitto”, distorcano pesantemente la media.

Detto in soldoni: gli utxo di satoshi influenzano pesantemente il NUPL, ma non il mio indice.

eccoti un po' di dati calcolati, per ora solo anni in cui i set UTXO erano piccoli, veloci da calcolare,
mi sembra che la cosa abbia un suo senso, un ulteriore contributo alla lettura dei dati:

NUPL vs NUMPL:

2010-07-31 nupl:-0.01139 numpl: 1.00000
2010-08-31 nupl:-0.01139 numpl: 1.00000
2010-09-30 nupl:-0.01139 numpl: 1.00000
2010-10-31 nupl: 0.68061 numpl: 1.00000
2010-11-30 nupl: 0.65828 numpl: 1.00000
2010-12-31 nupl: 0.69956 numpl: 1.00000
2011-01-31 nupl: 0.73165 numpl: 1.00000
2011-02-28 nupl: 0.73249 numpl: 0.93182
2011-03-31 nupl: 0.60672 numpl: 0.60759
2011-04-30 nupl: 0.82193 numpl: 0.77204
2011-05-31 nupl: 0.78833 numpl: 0.86937
2011-06-30 nupl: 0.56880 numpl: 0.01817
2011-07-31 nupl: 0.48061 numpl:-0.03033
2011-08-31 nupl: 0.21891 numpl:-0.59760
2011-09-30 nupl:-0.19812 numpl:-1.17131
2011-10-31 nupl:-0.73202 numpl:-1.97872
2011-11-30 nupl:-0.55948 numpl:-1.75235
2011-12-31 nupl:-0.11518 numpl:-0.84305
2012-01-31 nupl: 0.09998 numpl:-0.41349
2012-02-29 nupl:-0.01571 numpl:-0.56364
2012-03-31 nupl: 0.00198 numpl:-0.38493
2012-04-30 nupl: 0.00932 numpl:-0.24242
2012-05-31 nupl: 0.06584 numpl:-0.11696
2012-06-30 nupl: 0.24257 numpl: 0.03828
2012-07-31 nupl: 0.42643 numpl: 0.27372
2012-08-31 nupl: 0.41287 numpl: 0.20680
2012-09-30 nupl: 0.45992 numpl: 0.24774
2012-10-31 nupl: 0.37392 numpl: 0.03321
2012-11-30 nupl: 0.42827 numpl: 0.12642
2012-12-31 nupl: 0.43545 numpl: 0.16249
2013-01-31 nupl: 0.57658 numpl: 0.42558
2013-02-28 nupl: 0.65917 numpl: 0.63927
2013-03-31 nupl: 0.76779 numpl: 0.86418
2013-04-30 nupl: 0.67172 numpl: 0.88282
2013-05-31 nupl: 0.61765 numpl: 0.63805
2013-06-30 nupl: 0.44202 numpl: 0.20774
2013-07-31 nupl: 0.49560 numpl: 0.18949
2013-08-31 nupl: 0.58845 numpl: 0.33354
2013-09-30 nupl: 0.54626 numpl: 0.28467
2013-10-31 nupl: 0.65122 numpl: 0.52540
2013-11-30 nupl: 0.81003 numpl: 0.90980
2013-12-31 nupl: 0.63724 numpl: 0.84728
2014-01-31 nupl: 0.62795 numpl: 0.85356
2014-02-28 nupl: 0.45835 numpl: 0.78251
2014-03-31 nupl: 0.28374 numpl: 0.71678
2014-04-30 nupl: 0.27524 numpl: 0.68487

[fillippone]

NUPL vs NUMPL:

2010-07-31 nupl:-0.01139 numpl: 1.00000

Quindi secondo te, all’inizio della storia,l’investitore mediano era up del 100%, mentre quello medio era negativo.

Cioè c’erano grossi utxo in grande perdita? Possibile?

[gbianchi]

Quindi secondo te, all’inizio della storia,l’investitore mediano era up del 100%, mentre quello medio era negativo.

Cioè c’erano grossi utxo in grande perdita? Possibile?

Secondo il mio programma (che potrebbe anche avere dei bug)

Potrebbe essere che non avendo tolto gli UTXO coinbase,
ed avendo valorizzato a zero tutto cio' che e' prima del 17/07/2010
qui abbiano un grosso peso gli utxo coinbase di satoshi
(per quello ti chiedevo se contare anche i conibase e che valorizzazioni usare)

Ma credo che piu' avanti tutto cio' abbia meno peso...

[fillippone]

Quindi secondo te, all’inizio della storia,l’investitore mediano era up del 100%, mentre quello medio era negativo.

Cioè c’erano grossi utxo in grande perdita? Possibile?

Secondo il mio programma (che potrebbe anche avere dei bug)

Potrebbe essere che non avendo tolto gli UTXO coinbase,
ed avendo valorizzato a zero tutto cio' che e' prima del 17/07/2010
qui abbiano un grosso peso gli utxo coinbase di satoshi
(per quello ti chiedevo se contare anche i conibase e che valorizzazioni usare)

Ma credo che piu' avanti tutto cio' abbia meno peso...

Eh, appunto.
Se i satoshi di satoshi hanno molto peso, sposteranno in alto la media, non in basso. Quindi mi aspetto che NUPL>NUMPL, non viceversa. Concordi?

[gbianchi]

Quindi secondo te, all’inizio della storia,l’investitore mediano era up del 100%, mentre quello medio era negativo.

Cioè c’erano grossi utxo in grande perdita? Possibile?

Secondo il mio programma (che potrebbe anche avere dei bug)

Potrebbe essere che non avendo tolto gli UTXO coinbase,
ed avendo valorizzato a zero tutto cio' che e' prima del 17/07/2010
qui abbiano un grosso peso gli utxo coinbase di satoshi
(per quello ti chiedevo se contare anche i conibase e che valorizzazioni usare)

Ma credo che piu' avanti tutto cio' abbia meno peso...

Eh, appunto.
Se i satoshi di satoshi hanno molto peso, sposteranno in alto la media, non in basso. Quindi mi aspetto che NUPL>NUMPL, non viceversa. Concordi?

appena ho un attimo faccio un dump degli UTXO di quel blocco e cerchiamo di capire.
Infatti ho cercato di usare set relativamente piccoli che sono piu' facili da debuggare.