....
PS: qui sto usando una parte micro-micro-infinitesimale,arcaica e a micro risorse delle tecnologie sviluppate per la AI,
quindi se vi preoccupate o vi indignate per questo, pensate cosa fanno dei vostri dati quelli della AI
Le AI sono statistica a livello di trilioni di trilioni di trilioni di volte piu' evoluta di questa robetta.L'altro giorno volevo provare a testare jev
https://typesafe.ai/ che è
un classificatore automatico (a differenza di un LLM, non restituisce parole ma solo categorie preimpostate).
Poichè sono molto interessato al tema della valutazione automatica (come molti sapranno insegno), ho pensato:
visto che ho a disposizione tanti "compiti" in digitale (ovvero i post di bitcointalk), proviamo a verificare come questo sistema è in grado di classificare (valutare) questi compiti, ovvero la qualità dei post.
Ho cercato quindi di guardare i post del nostro amato forum attraverso le lenti dell'AI, ovvero attraverso una potente statistica 'implicita' (cioè talmente evoluta che di fatto, a differenza del lavoro di gbianchi, io non ho calcolato direttamente alcun indicatore).
Con questo strumento automatico infatti, l'unica cosa che io dovevo decidere erano i criteri e i pesi da dare a jev:
sulla base del quale lui assegnava una valutazione da 0 a 100 a ogni post:
Lasciamo da parte qualche dettaglio tecnico, tipo che ho fatto valutare solo la parte testuale dei post, quindi i post fondamentalmente basati su immagini li ha trascurati
il programmino non doveva tenere conto dei merit ricevuti dal post, quindi quando inviava la richiesta a jev di valutazione di un post non inviava il dato del merit, ma lo ha conservato da parte per controllare a posteriori la correlazione tra le valutazioni umane (merit) e le valutazione automatiche (jev).
Primo risultato:
la correlazione positiva tra i 2 sistemi di valutazione esiste, ma è debole.Domanda: quindi è jev che valuta male o sono gli utenti del forum che quando si meritano a vicenda seguono logiche non solo legate alla qualità dei post?
Io propendo più per la seconda.-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Il dataset: ho fatto valutare circa 20k post della sezione italiana (l'intera valutazione mi è costata circa 3,80 dollari).
I thread che ho scelto di valutare sono stati 4:
1) ColdCard un disastro
2) in arrivo i computer quantici
3) bitcoin pump (solo i post dal gennaio 2019 a oggi, era molto lungo)
4) un modello logistico del prezzo di bitcoin
li ho scelti senza nessun criterio particolare tranne quello che si tratta di thread che conosco abbastanza bene perchè li ho letti.
Ovviamente ho ottenuto alla fine una classifica sia riguardo ai post (dai migliori ai peggiori) sia riguardo gli autori dei post (facendo la media dei punteggi dei post per autore).
Si è trattato solo di un esperimento, i criteri di valutazione si potrebbero ovviamente modificare, la scelta dei thread è stata del tutto arbitraria, ho eliminato gli autori che avevano un numero di post troppo basso, quelli che non postavano da molto tempo, ....
insomma mi rendo conto che non si possono trarre conclusioni 'scientifiche' particolarmente robuste da questi dati.
Con tutti i limiti che ho appena ricordato, i risultati sono:
i 'migliori' utenti hanno una media intorno ai 60 punti per post, gli ultimi intorno ai 40 punti per post.
C'è inoltre anche una relazione interessante tra un risultato trovato da gbianchi con la sua analisi
e la classifica di jev per qualità degli autori dei post.
--------------------------------------------------------------------------------------------------------------------------------------------------------------------------
La mia impressione generale è che, se il forum volesse implementare
sistemi di monitoraggio automatico (senza intervento umano)
sulla qualità dei post,
gli strumenti tecnici ormai ci sono, e se io in 2 ore ho fatto un'analisi molto approssimativa e parziale si potrebbe di sicuro fare molto meglio con più tempo e impegno.
Mi permetto di dire che gli strumenti automatici sono più oggettivi di noi, magari colgono qualche sfumatura in meno ma sono più 'giusti' di noi e di sicuro non guardano i nomi di coloro che devono valutare.
Aggiungo un'ultima considerazione di altro tipo:
l'uso di strumenti così potenti mette un po' a disagio anche me, in quanto mi pare in questo caso di assumere la stessa postura di quelli che vanno in giro con quegli occhiali ultramoderni che non si limitano a farti vedere meglio, ma inquadrano una persona e fanno ricerche automatiche su internet, registrano video e audio, ....
insomma chiunque scriva su un forum (me compreso) si aspetta che i propri post siano guardati da occhi umani, non scrutati da strumenti che vanno a leggere molto oltre quello che vedremmo di solito.
E' un po' come quando si va in giro, io vorrei decidere cosa gli altri possono vedere e non vedere di me,
invece ora posso incontrare persone che grazie a 'occhiali magici' riescono a vedere sotto i miei vestiti anche quello che vorrei rimanesse nascosto: rispetto al criterio della 'verità oggettiva' è un passo in avanti (bene sicuramente per la polizia e per chi deve controllare), ma ci sono altri aspetti delle relazioni umani che così peggiorano.
Non vorrei che la gente non scrivesse più post sul forum per paura di quello che si potrebbe evincere dai loro post.
