[previsioni] machine learning bitcoin forecast

[babo]

apro questo thread per discutere se un eventuale sistema (+o- complesso) di machine learning, reti neurali, deep learning possa in qualche modo prevedere un trend nel prezzo di bitcoin
l'esercizio e' solo per scopo apprendimento di tale disciplina: machine learning
non ha scopi "speculativi" ma uso bitcoin perche e' divertente

• python prophetfb collab notebook https://jirafeau.devol.it/f.php?h=0_MsCmry
• python keras **in lavorazione**

TODO
implementare parametro https://www.binance.com/en/futures/funding-history/1 funding

[Harakiri88]

ci ho lavorato brevemente a supporto perché l'azienda dov'ero prima, letteralmente, sviluppava alcune board per l'uso e mi ha sempre affascinato in maniera importante

seguo il topic con interesse 

[babo]

allora
la libreria usata e' prophet di facebook (parliamo di python)



non ho fatto altro che prendere i dati storici dal 2013 e far prevedere 365 giorni, piu la previsione va in la, piu il range si allarga

nei prossimi giorni provo a farla con keras e altri modelli di machine learning

[fillippone]

Ok Babo,
ma cosa vuol dire che hai "usato" prophet?
Immagino che sarai partito da qui:
https://facebook.github.io/prophet/

Poi credo che tu abbia usato Python.
Puoi condividere il codice che hai usato?

Su su, che vogliamo imparare pure noi!

[serhack]

apro questo thread per discutere se un eventuale sistema (+o- complesso) di machine learning, reti neurali, deep learning possa in qualche modo prevedere un trend nel prezzo di bitcoin
l'esercizio e' solo per scopo apprendimento di tale disciplina: machine learning
non ha scopi "speculativi" ma uso bitcoin perche e' divertente

Il machine learning è sicuramente una disciplina affascinante da applicare a mercati volatili come quello del Bitcoin. Premetto di saperne molto poco sul machine learning, ma aggiungo volentieri alla discussione un po' di repository (alquanto vecchie, 5/6 anni, ma alcune più recenti) che si prefiggevano di applicare alcuni semplici metodi di machine learning (problemi di regressione, problema della classificazione multiclasse e/o binaria) all'andamento del mercato:

https://github.com/bukosabino/btctrading
https://github.com/cbyn/bitpredict
https://github.com/amicks/Speculator

Sarebbe interessante capire come si dovrebbe comportare un algoritmo di machine learning su eventi eccezionali come panic selling, balene dei mercati ed altri microfenomeni che porterebbero ad una analisi inconcludente). O meglio, come si dovrebbe adattare un algoritmo nel caso in cui vengano rilevati questi tipi di eventi eccezionali. Ovviamente queste analisi sono da effettuare con dati prelevati direttamente da exchange e non a posteriori su CoinMarketCap.

[fillippone]

Sarebbe interessante capire come si dovrebbe comportare un algoritmo di machine learning su eventi eccezionali come panic selling, balene dei mercati ed altri microfenomeni che porterebbero ad una analisi inconcludente

Credo che questo sia un interessante filone di ricerca, anche perchè in passato credo che più di un flash crash (perdite di più del 10% di un indice nel giro di pochi minuti), sia stato dovuto proprio all'azione combinata di uno o più algoritmi di trading impazziti in loop di auto-execution.
Sapere queindi come "riconoscere ed evitare" queast situazioni potrebbe avere quindi un enorme valore.

[serhack]

Di per sé non è difficile: puoi riconoscere pump e dump, balene, flash crash con semplici operazioni algebriche. Il problema più grande sta nelle individuarle come un chirurgo... ovvero capire a priori che il mercato in quel momento è particolarmente instabile. Dovresti trovare alcuni episodi famosi di crashing per eventualmente far imparare alla tua rete eventuali segnali di "panic" prima dell'effettivo crash (sempre se esistono, c'è anche il problema che alcune volte tali avvertimenti non esistono e ciaone).

[fillippone]

Di per sé non è difficile: puoi riconoscere pump e dump, balene, flash crash con semplici operazioni algebriche. Il problema più grande sta nelle individuarle come un chirurgo... ovvero capire a priori che il mercato in quel momento è particolarmente instabile. Dovresti trovare alcuni episodi famosi di crashing per eventualmente far imparare alla tua rete eventuali segnali di "panic" prima dell'effettivo crash (sempre se esistono, c'è anche il problema che alcune volte tali avvertimenti non esistono e ciaone).

Il problema principale è che all'inizio questi crash non sono crash, ma solo leggere discese, poi le cose si moltiplicano ad una velocità tale che per un umano è sicuramente impossibile reagire, per un computer normale è difficile, e solo per i server  degli HFT funds presso gli exchange stessi esiste qualche possibilità.

Poi sicuramente come dice Paolo, "Il momento di comprare è quando il sangue scorre nelle strade", ma difficilmente un HFT tiene aperto un trade pr un'ora, figuraimoci qualche mese, sono mestieri diversi...

[babo]

Per fare quello di cui parlate servono tantissimi parametri
Serve trovare delle correlazioni fra d loro, e tutta questa fatica nn è detto che s traduca in qualcosa di efficace
Un sacco di lavoro
Sarebbe affascinante, è molto figo
Ma c vuole davvero molto tempo

[Harakiri88]

Per fare quello di cui parlate servono tantissimi parametri
Serve trovare delle correlazioni fra d loro, e tutta questa fatica nn è detto che s traduca in qualcosa di efficace
Un sacco di lavoro
Sarebbe affascinante, è molto figo
Ma c vuole davvero molto tempo

Se vuoi che cominciamo a fare alcuni test su parametri differenti e differenziati nel tempo per vedere quale comincia ad avvicinarsi di più, io ho un paio di server casalinghi che possiamo usare per lo scopo

ci facciamo la nostra rete di analisi con pool di dati diversi e vediamo quale nel tempo sviluppa predizioni "reali"

[babo]

esempio un parametro molto importante e' la quantita di long e la quantita di short
questo parametro e' molto molto molto importante ad oggi
se riesco a capire come correlare
intanto ora posto il grafico aggiornato della previsione machine learning (stesso algoritmo fatto girare con i dati piu recenti aggiunti)



come potete notare il grafico e' sempre quello, si e' abbassato il valore medio di aprile/maggio

NEL PRIMO POST DEL THREAD HO ALLEGATO IL FILE

[fillippone]

Ahia Babo,
mi sa che ci stiamo staccando dal tuo grafico.

Pensando ad un altro post mio, potresti provare ad aggiungere i dati sul funding dei perpetual future, ma non so dove poterli scaricare. Forse @Plutosky può darci una mano?

[babo]

vero
ma anche in altri momenti si stacca dalla "media" (in positivo)
se vedi a novembre 2021 i pallini stanno piu in alto del prezzo previsto dal modello (i pallini sono il prezzo reale)

anche cosi, il forecast non cambia
vi ho dato il file, potete verificare anche voi

[jack0m]

Io ci avevo pensato qualche anno fa, ma dopo un po' di ricerche avevo lasciato perdere. Il problema di certi algoritmi di machine learning è l'overfitting: più si affinano i parametri per aderire meglio alla storia passata, più aumenta il rischio che divergano completamente le previsioni per il futuro.

Riuscire a prevedere i crash mi pare il Santo Graal dei modelli predittivi: un po' come chi cerca di prevedere i terremoti monitorando i parametri più disparati come la concentrazione di certi gas provenienti dal sottosuolo... Non dico che sia impossibile, ma ci vorrebbe uno sforzo di ricerca difficilmente alla portata di un singolo appassionato che ci dedica un po' di tempo libero.

[babo]

si ovviamente
i parametri sono tanti, sono complessi.. alcuni sono l'emotivita umana
e' assolutamente impossibile

pero e' una scusa per apprendere machine learning, sono convinto al 100% che questo modello sbagliera

[babo]

l'abbassamento del prezzo, ha influto anche sul forecast di gennaio


finalmente direi
perche il forecast non si smuoveva.. adesso siamo scesi intorno a 77k
mancano 2 settimane circa, scarse

ci vorrebbe tipo un mega pump per raggiungere quel livello li

[fillippone]

Secondo me sarebbe un'ottima idea dare in pasto al tuo macinino il livello del funding dei future perpetual.
Senz'altro c'è un vero e propria relazione tra lo sbilanciamento delle posizioni sui future e poi gli effetti sullo spot.
Prova a darci un'occhiata, come ti suggerivo anche nell'altro thread:

Per singoli exchange puoi trovare invece lo storico nei vari siti

Ad esempio Binance: https://www.binance.com/en/futures/funding-history/1

[babo]

Secondo me sarebbe un'ottima idea dare in pasto al tuo macinino il livello del funding dei future perpetual.
Senz'altro c'è un vero e propria relazione tra lo sbilanciamento delle posizioni sui future e poi gli effetti sullo spot.
Prova a darci un'occhiata, come ti suggerivo anche nell'altro thread:

Per singoli exchange puoi trovare invece lo storico nei vari siti

Ad esempio Binance: https://www.binance.com/en/futures/funding-history/1

ok ci provero
diciamo che con due parametri non lho praticamente mai fatto, quindi imparo una nuova cosa sicuramente

intanto


 il modello ha evidenziato i suoi limiti appunto, il prezzo e' sceso ancora a gennaio 70k circa.. quindi finalmente vedo influenze del prezzo sul grafico, che continua a non cambiare forma

[fillippone]

 il modello ha evidenziato i suoi limiti appunto, il prezzo e' sceso ancora a gennaio 70k circa.. quindi finalmente vedo influenze del prezzo sul grafico, che continua a non cambiare forma

Beh, invece mi pare che la forma l’abbia cambiata eccome: guarda l’uscita dal grafico, confrontandola con il primo: non solo siamo ai “massimi”, mentre nel primo eravamo molto più distanti, ma soprattutto l’andamento (la derivata prima, se vuoi) è positivo, e non negativo…

[babo]

devo aggiungere altri parametri (che hanno senso) forse cosi sara un pochino piu aderente alla realta
intanto ho appreso come usare prophet che  schifo non fa
anzi
vediamo, ora mi cerco qualche esempio con due parametri