Come costruire una chiave/password ad entropia REALE

[Italian Panic]

Thread aggiornato e migliorato al quarto post: https://bitcointalk.org/index.php?topic=5593534.msg67142027#msg67142027


Ormai abbiamo insegnato al mondo delle AI come ragioniamo e loro sanno esattamente cosa e come fare perchè molti programi per testare l'entropia di chiavi e password usano usano alcuni pattern e dizionari, le AI pescano dallo scibile umano, riconoscono tastiere (le òàùè sono solo sulle tastiere italiane) e quindi sanno i principali movimenti orizzontali e verticali. Come vi dicevo in passato il modo migliore è quello di usare l'entropia casuale, bianca e realmente non riproducibile del vostro hardware. Per analizzare questi dati ed il miglior modo per ottenere una password con entropia reale è quello di usare Jitter sviluppato da muller Stefan. Su Linux è nativo su Kernel (!!!) su Microsoft ovviamente no. Quando su linux create una chiave con

Code:

/dev/random

dietro c'è proprio questa applicazione, non poca cosa.

Vediamo come fare su Windows, sempre usando powershell perchè non tutti hanno console python installata:

Per prima cosa aprite la console powershell ed attivate Anaconda che vi porta su ambiente python

Code:

conda init powershell

chiudete powershell e riapritelo, vi compare la scritta (base) prima del PS C:\User se vi da errore, crasha o altro, caricate l'errore su una AI qualsiasi e vi guiderà all'installazione di miniconda o anaconda in funzione alle dipendenze o librerie che mancano. Potrei scriverne alcune ma possono essere decine, seguitele passo/passo e al 100% arriverete ad installarlo.

A questo punto quando vi compare (base) scrivete

Code:

Python

e vi compaiono le tre >>> , subito dopo copiate lo script e premete invio:

Code:

import time, math
differenze = [(time.perf_counter_ns() + sum(math.sqrt(i) for i in range(50))) % 64 for _ in range(10000)]
conteggi = {d: differenze.count(d) for d in set(differenze)}
print(f"Campioni: {len(differenze)} | Entropia Reale: {sum(- (c/10000) * math.log2(c/10000) for c in conteggi.values()):.4f} bit")

Il codice utilizza la seerie di Shannon per trovare l'entropia del sistema hardware del vostro pc. Partendo da una limitazione consigliata dal Jitter di un valore di 64 legato alla dimensione dei blocchi di memoria. Avrete log2(64) = 6 bit massimi come asintoto di entropia per ogni carattere.

All'invio lo script genererà un piccolo calcolo matematico per misurare gli stati di attesa della RAM, tempi di risposta della CPU alle istruzioni, fluttuazioni di frequenza clock, ritardi microscopici dei transistor. Inizierà a raccogliere dati sulle fluttuazioni della cpu per determinare con quanta entropia REALE potrà uscire ogni sinfolo carattere di una sequenza di caratteri casuali scelti con questo script.

Vi darà come risultato un valore di entropia REALE e non TEORICO.

A questo punto richiedete la password da 16 caratteri basata su questa entropia con 72 caratteri:

Code:

alfabeto = "abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789!@#$%^&*()"; print("Password Generata:", "".join(alfabeto[int(time.perf_counter_ns() + sum(math.sqrt(i) for i in range(100))) % len(alfabeto)] for _ in range(16)))

Quello che esce sarà una cosa del tipo:




Questa è entropia reale e non teorica. Quindi abbiamo 10 mila misurazioni eseguite (come 10 mila lanci di dadi) per aver restituito 4 bit di entropia reale per ogni carattere, quindi 64 bit di entropia. Se la calcolassimo in maniera teorica 16xlog2(72) avremmo 100 bit. In realtà questi 100 bit non sono veri perchè seguono dei pattern specifici che abbassano l'entropia teorica verso quella reale a 30/40 bit massimo. Una cosa per essere affidabile deve essere fuori dal controllo umano ed i tempi casuali macchina lo sono e questo lo dimostra.

Ricordate che le AI lavorano con pattern reali e pattern statistici combinati, non con pattern teorici, per questo è fondamentale capire questa differenza. Bisogna giocare con le stesse regole.

Con quello script di cui sopra avrete 64 bit puri, reali, incontestabili, quindi 2^64 combinazioni che sono 18 miliardi di miliardi di combinazioni che ci vorrebbero milioni di anni per risolverla per un pc casalingo e qualche mese per una rig organizzata (antieconomico).

Se volete più entropia REALE passate da 16 bit a 32 bit e arriverete a oltre 100 bit REALI. Basterà sostituire 16 con 32 nello script

Code:

alfabeto = .........in range(32)))

ma l'inserimento della password sarebbe parecchio noioso e facile sbagliare. Per la vostra passphrase invece sareste in una botte di ferro.

[bitcoiner180]

il modo migliore è quello di usare l'entropia casuale, bianca e realmente non riproducibile del vostro hardware.

A meno che il nostro hardware non sia stato prodotto da Coldcard

[Italian Panic]

il modo migliore è quello di usare l'entropia casuale, bianca e realmente non riproducibile del vostro hardware.

A meno che il nostro hardware non sia stato prodotto da Coldcard

Da coinkite vorrai dire  

Comunque sono due concetti differenti di funzionamento hardware e di ricerca di entropia, una è forzata, l'altra è un'istantanea veramente non riproducibile.

Comunque screzi a parte, dobbiamo veramente iniziare a ragionare diversamente vista l'era in cui ci stiamo addentrando. Un errore o una sottovalutazione eccessiva può portare a perdere tanto.

[chinhar]

Ormai abbiamo insegnato al mondo delle AI come ragioniamo e loro sanno esattamente cosa e come fare perchè molti programi per testare l'entropia di chiavi e password usano usano alcuni pattern e dizionari, le AI pescano dallo scibile umano, riconoscono tastiere (le òàùè sono solo sulle tastiere italiane) e quindi sanno i principali movimenti orizzontali e verticali. Come vi dicevo in passato il modo migliore è quello di usare l'entropia casuale, bianca e realmente non riproducibile del vostro hardware. Per analizzare questi dati ed il miglior modo per ottenere una password con entropia reale è quello di usare Jitter sviluppato da muller Stefan. Su Linux è nativo su Kernel (!!!) su Microsoft ovviamente no. Quando su linux create una chiave con

Code:

/dev/random

dietro c'è proprio questa applicazione, non poca cosa.

Certo, questa forse è stata la cosa che ci ha fregato, noi ci siamo fregato noi stessi.
Come si usa questa cosa che dici entropia bianca. Sarebbe interessante poterla aggiungere non so ai nostri post tweet o facebook in modo da farli impazzire.

[Italian Panic]

MIGLIORAMENTO SOSTANZIALE DEL METODO DI GENERAZIONE DI CHIAVI/PASSWORD AD ENTROPIA REALE

Purtroppo sono stato vittima di un piccolo incidente domestico (ah l'età) e quindi nel weekend ho avuto modo, seppur a mobilità ridotta, di riprendere alcuni progettini/passatempo tra cui rivedere il generatore di chiavi o password ad entropia reale.

Mi interessava uscire dal loop di poter raggiungere un livello di entropia che si avvicinasse quanto più possibile a quella teorica, in modo da avere una chiave o password quanto più perfetta. La soluzione mi è arrivata quando mi sono messo in ambiente Linux a ragionare sulle soluzioni e sul perchè Linux mi resituisse un valore enormemente migliore, uno scostamento del genere non poteva essere solo dovuto al sistema operativo.

Dopo la creazione di questo thread e le valutazioni in Linux, mi sono sorti dei dubbi legati alla funzione che ho utilizzato: time.perf_counter_ns() la quale introduce certamente una buona quota di entropia, però nel valore di 10000 letture dei valori di entropia (equivalente a 10000 lanci di dadi) si trovava il problema che abbassava l'entropia reale ed aumentava il gap da quella teorica. Infatti aumentando il range da 10k a 100k (ad esempio) l'entropia calava e questo non mi dava pace. Il problema è dovuto al fatto che così tante letture in poche frazioni di secondo portavano ad avere molti numeri uguali; aumentando le letture a 100k si avevano una enormità di letture uguali; portando ad un crollo entropico.

Di seguito soluzione per Windows e per Linux, con spiegazione. Questo permette di avere entropia REALE circa uguale a quella TEORICA. Il metodo è ottimo per generare Password, chiavi private PGP e le PASSPHRASE per dei vostri wallet!!

SOLUZIONE WINDOWS (via Powershell con ambiente python attivabile come da primo post):

La soluzione principale sta nel cambiare tipo di funzione, quindi mi sono concentrato su CSPRNG che permette di registrare dati sul rumore termico del processore, latenza dei sistemi I/O, Jitter degli orologi hardware, ecc. Tutto questo viene successivamente crittografata ed elaborata per creare un valore enorme di bit indistinguibili dai dati reali registrati, aumentando l'entropia in maniera sensibile.

Linux su questo fa un campionamento in automatico ogni 60 secondi, Windows non l'ho capito se lo fa anch'esso casuale o a richiesta.

Quindi, da Powershell, attivate anaconda o miniconda come da primo post del thread, quindi copiate lo script che segue:

Code:

python -c "import secrets,string,math;
chars=string.ascii_letters+string.digits+chr(33)+chr(64)+chr(35)+chr(36)+chr(37)+chr(94)+chr(38)+chr(42)+chr(40)+chr(41); 
pw=''.join(secrets.choice(chars) for _ in range(16)); 
print(pw); print(f'# {16*math.log2(len(chars)):.1f} bits')"   

Quindi nella prima stringa

Code:

python -c "import secrets,string,math;

importa il modulo di CSPRNG che è il cuore del discorso;
importa gli alfabeti ASCII (visibile nella seconda riga - con i codici dei caratteri speciali e non più come nel precedente dove l'alfabeto lo inserivo io)
il modulo math per il calcolo dell'entropia REALE (riga print) sulla password generata nella penultima stringa (pw).



Nell'immagine avrete la password di 16 caratteri e l'entropia REALE corrispondente.


SOLUZIONE LINUX (Via Bash o console classica)

Linux come detto sopra ha un aggiornamento ogni 60 secondi del rumore generato dall'hardware del PC e permette quindi di non averlo a chiamata ma sempre disponibile, questo perchè la raccolta dei dati RDRAND è nativo nei sistemi Linux.

Infatti la funzione /dev/urandom va proprio a predere questo dato.

Aprite il bash o console di Linux e copiate:

Code:

n=16
pw=$(tr -dc 'a-zA-Z0-9!@#$%^&*()' < /dev/urandom | head -c $n)
echo "$pw"
echo "# $n chars, ~$(python3 -c "import math; print(f'{$n * math.log2(72):.1f}')") bits"

la prima riga definisce la lunghezza della password o chiave
la seconda riga permette di generare la password andando a leggere e catturare tramite /dev/urandom il CSPRNG del kernel linux i primi 16 byte raccolti e crittografati all'origine e ve li fa vedere nell'interfaccia con la terza riga.
La quarta riga calcola l'entropia Reale della password.



Anche qui la password con la sua entropia.


CONSIDERAZIONI

Il metodo per calcolare l'entropia è sempre basato sull'algoritmo di Shannon, ma ho cambiato punto di vista.

Con il codice vecchio facevo una stima empirica sulla distribuzione, mentre con questo nuovo script la distribuzione è assunta come uniforme con pari probabilità per ognuno dei 72 caratteri e quindi l'entropia è calcolata con il classico n*log2(72), però questa volta reale è uguale al teorico.

Qualora doveste produrre password per PASSPHRASE di wallet o per CHIAVI PGP vi consiglio di riavvire il vostro pc (non spegnere, ma riavviare) e metterlo offline prima di procedere alla generazione.

[fillippone]

Con tutta la stima e l'affetto, questo post è davvero interessante come esperimento teorico, ma non genererei mai un seed bitcoin con un software che non sia open source e testato da migliaia di persone.
Almeno, questa  è una di quelle cose che mi ha insegnato il caso di Coldcard.

[Italian Panic]

Con tutta la stima e l'affetto, questo post è davvero interessante come esperimento teorico, ma non genererei mai un seed bitcoin con un software che non sia open source e testato da migliaia di persone.
Almeno, questa  è una di quelle cose che mi ha insegnato il caso di Coldcard.

Ci mancherebbe, spero sempre che qualcuno revisioni le cose che vengono scritte e apprezzo queste critiche.

Faccio una precisazione: il problema coldcard come ormai sappiamo è un problema firmware, queste stringhe di codice non hanno firmware, non hanno RNG per generare numeri ramdomici, quindi superficie di attacco pari a zero. Il codice semplicemente estrae dal kernel linux dei valori randomici del CSPRNG (in windows dal suo cng) per sostituire il lancio di dadi per creare una pass. Lo possiamo considerare un estrattore casuale concreto.

Poi il metodo windows lascia dubbi perchè la telemetria windows non sai mai che combina; ma il kernel linux penso sia tra le cose più auditate al mondo.

Un ulteriore stratoo di sicurezza: farlo con il pc offline.

[fillippone]

Un ulteriore stratoo di sicurezza: farlo con il pc offline.

Non metto assolutamente in dubbio la buona fede dell'esperimento. Dico solo che, a mio parere, è meglio resti un esperimento.
È possibile che gli hardware wallet, del resto, usino un codice molto simile a questo per generarla, dato che, a quanto ne so, raccolgono entropia in modo simile.  Ma rimane che affiderei ad un codice open source. ed auditato questi compiti. Tutto qui.

[attiq310]

Con il codice vecchio facevo una stima empirica sulla distribuzione, mentre con questo nuovo script la distribuzione è assunta come uniforme con pari probabilità per ognuno dei 72 caratteri e quindi l'entropia è calcolata con il classico n*log2(72), però questa volta reale è uguale al teorico.

Questa è la risposta al dubbio di filippone. La tua soluzione rivista è molto migliore della precedente. Utilizzando secrets, che a sua volta utilizza /dev/urandom su Linux, stai attingendo casualità dal CSPRNG del tuo sistema operativo. In altre parole, stai spostando la tua fiducia su Linux+CPython. La proprietà "reale = teorico" è garantita dalla costruzione, poiché la selezione casuale dovrebbe essere uniforme, invece di essere soggetta a pseudo-test come quelli nella versione precedente dello script. Quest'ultimi non sono completamente inutili, ad esempio per confrontare implementazioni, ma:

• l'entropia di Shannon calcolata su un istogramma di 10.000 campioni ti dice quanto la distribuzione di quel campione si avvicina a una distribuzione uniforme, ma poco sulla prevedibilità
• i campioni prelevati in istanti particolari sono molto probabilmente non indipendenti

Tutto sommato, se va bene fidarsi di Linux+CPython, la tua nuova soluzione è piuttosto carina, anche un one-liner che utilizza solo la libreria standard di Python, quindi non c'è bisogno di Anaconda.

PS: per quanto riguarda i simboli speciali, concordo sul fatto che una selezione casuale di 16 caratteri difficilmente possa essere digitata di nuovo correttamente. Perdere un backup significa perdere per sempre dei fondi. O rendila molto più lunga ma comunque alfanumerica, oppure opta per il diceware: lancia qualche dado e otterrai 8 parole diceware (circa 103 bit).

[Italian Panic]

i campioni prelevati in istanti particolari sono molto probabilmente non indipendenti

Non proprio, perchè l'output del CSPRNG non eredita caratteristiche dei campioni prelevati perchè li mescola per ottenere la trasformazione crittografica di cui ho scritto in precedenza. Quindi il risultato è matematicamente indipendente e non correlabile. Che poi è il significato dell'anagramma CSPRNG.

Tutto sommato, se va bene fidarsi di Linux+CPython, la tua nuova soluzione è piuttosto carina, anche un one-liner che utilizza solo la libreria standard di Python, quindi non c'è bisogno di Anaconda.

Da quello che è il mio punto di vista mi fido perchè sono sistemi open source e quindi ipercontrollati da una comunità che ne sa molte di più a volte dei singoli developers che lavorano in aziende con codice proprietario; anzi a volte sono gli stessi che collaborano anche con la comunità open source ma lavorano in big tech come microsoft perchè "tengono famiglia".

Anaconda o miniconda, dipende uno cosa installa, è da utilizzare solo nel caso di utilizzo di windows, quindi usando powershell hai bisogno dell'estensione, altrimenti usi terminale python se lo hai installato. Ovviamente sconsiglio windows e suggerisco linux tutta la vita per queste cose e per il maneggio di dati riferiti a criptovalute.

[attiq310]

Anaconda o miniconda, dipende uno cosa installa, è da utilizzare solo nel caso di utilizzo di windows, quindi usando powershell hai bisogno dell'estensione

Concordo su Linux. Però una volta installato Python (anche senza Anaconda), quella riga di comando dovrebbe funzionare in PowerShell così com'è: non servono estensioni.

l'output del CSPRNG non eredita caratteristiche dei campioni prelevati perchè li mescola per ottenere la trasformazione crittografica di cui ho scritto in precedenza. Quindi il risultato è matematicamente indipendente e non correlabile.

Riguardo alla garanzia: la vecchia versione usava direttamente i risultati di perf_counter_ns(), e le chiamate successive sono probabilmente correlate. I CSPRNG come secrets o /dev/urandom fanno un bel po' di mixing, quindi l'output è "computazionalmente indistinguibile da un flusso casuale", che non è esattamente la stessa cosa di "matematicamente indipendente". Per me resta una garanzia computazionale, e dipende dalla qualità del seed iniziale.

[Cassius55]

Ti ringrazio per questa guida molto utile, ho letto sul forum sia in sezione italiana sia in quella internazionale tutte le cose che sono successe con Coldcard.
Mi sono fatto aiutare da una chat AI per verificare il codice perchè sono all'inizio del mio percorso e mi ha dato un buon feedback della validità di questo metodo. Ci sta qualche imprecisione nelle descrizioni ma roba da puntigliosi nulla di struttura va benissimo cosi come è, su alcune cose mi ha dato gli stessi risultati di attiq310 quindi penso che per risponderti ha usato chat AI anche lui.
al momento ho due satoshi in croce e non posso fare grandi cose ma già avevo usato Electrum che mi avevi consigliato tempo fa ora lo perfeziono con una passphrase che genero con questo metodo per linux. Grazie

[Italian Panic]

Ti ringrazio per questa guida molto utile, ho letto sul forum sia in sezione italiana sia in quella internazionale tutte le cose che sono successe con Coldcard.
Mi sono fatto aiutare da una chat AI per verificare il codice perchè sono all'inizio del mio percorso e mi ha dato un buon feedback della validità di questo metodo. Ci sta qualche imprecisione nelle descrizioni ma roba da puntigliosi nulla di struttura va benissimo cosi come è, su alcune cose mi ha dato gli stessi risultati di attiq310 quindi penso che per risponderti ha usato chat AI anche lui.
al momento ho due satoshi in croce e non posso fare grandi cose ma già avevo usato Electrum che mi avevi consigliato tempo fa ora lo perfeziono con una passphrase che genero con questo metodo per linux. Grazie

Ti ringrazio per averlo provato e per il feedback seppure fatto con l'aiuto di AI, almeno lo dici rispetto ad altri. Ricorda di usarlo offline per avere un buon livell odi privacy.

Mi ero un po' accorto che attiq310 è un fake che usa Ai e traduttore, probabile che provenga da una farm di account, in caso lo bloccheranno gli admin, spero. Qulache volta nel dilungarmi a scrivere potrei commettere qualche errore anche di valutazione o di dettaglio, ma tant'è che se uno vuol capire capisce lo stesso.

Non demordere per i sats che siano pochi o tanti bitcoin è una tecnologia che vale la pena conoscere e imparare ad usare.