[Meta] Statistiche utenti sezione italiana

[Italian Panic]

Ulteriori progressi:

Ho aggiunto dei valori relativi alla stilometria degli utenti https://en.wikipedia.org/wiki/Stylometry
in questo modo mi creo una base statistica per poter effettuare passaggi successivi di clusterizzazione.

Ho ampliato la base utenti ed ho aggiornato i dati tabellari delle statistiche

Niente male, una volta clusterizzati puoi individuare pattern stilistici, pattern verbali e semantici. Sono in parte quelli che le AI usano per individuare i falsi o copy/paste.

Così potresti anche svelare un dubbio che mi affligge da un decennio: non ho mai creduto che satoshi avesse veramente abbandonato il progetto bitcoin, secondo me ha solo cambiato utente.

[Italian Panic]

Secondo le tue statistiche ho usato 36,000 parole in italiano e 25,000 in inglese.
Il ratio mi pare basso. Mi sarei aspettato più parole nell'idioma italiano, che ha un vocabolario piuttosto variegato, anche se non siamo al livello della capacità lessicale dell'inglese, che ritengo abbia il numero di lemmi più elevato al mondo, retaggio del dominio dell'impero britannico agli inizi del secolo scorso.
Come si comporta, inoltre, la statistica con gli errori ortografici? Sono un sintomo della mia accidia, che a volte condiziona le mie elucubrazioni su queste pagine.
Credo comunque di aver aumentato il conto con questo post!

In tempi non sospetti ho analizzato l'ampiezza del vocabolario di alcuni scrittori e statisti del 900, tra gli italiani spicca il grande Umberto Eco con un vocabolario di circa 90k parole, in inglese il migliore era Churchill con 65k parole, conta che shakespeare si ferma a non più di 30k.
Un caso emblematico è Hemingway, uno scrittore assoluto ma che usava un vocabolario di non più di 15k parole per scelta. Pochissimi aggettivi, pochissimi giri semantici, lessico molto semplice.

[gbianchi]

Ulteriori progressi:

Ho aggiunto dei valori relativi alla stilometria degli utenti https://en.wikipedia.org/wiki/Stylometry
in questo modo mi creo una base statistica per poter effettuare passaggi successivi di clusterizzazione.

Ho ampliato la base utenti ed ho aggiornato i dati tabellari delle statistiche

Niente male, una volta clusterizzati puoi individuare pattern stilistici, pattern verbali e semantici. Sono in parte quelli che le AI usano per individuare i falsi o copy/paste.

Così potresti anche svelare un dubbio che mi affligge da un decennio: non ho mai creduto che satoshi avesse veramente abbandonato il progetto bitcoin, secondo me ha solo cambiato utente.

Infatti sto implementato la seguente pipline:

credo una matrice di parametri stilometrici + parametri Tfidf ( https://it.wikipedia.org/wiki/Tf-idf )

Formo i cluster con HDBSCAN

Fuori dal cluster aggiungo anche un test sulla coincidenza oraria, mettere anche queste metriche in cluster
sarebbe come  mischiare mele pere e orologi

[fillippone]

Ulteriori progressi:

<…>

<…>
Così potresti anche svelare un dubbio che mi affligge da un decennio: non ho mai creduto che satoshi avesse veramente abbandonato il progetto bitcoin, secondo me ha solo cambiato utente.

Se scopriamo che Satoshi é ancora sul forum, magari é babo, potrebbe essere una cosa rivoluzionaria.
Sinceramente non credo sia possibile.
Ma sicuramente interessante, vista la quantità di OG e dei loro post.

[gbianchi]

Ecco la prima clusterizzazione HDBSCAN.

Ricordo che i passaggi sono PULIZIA POST -> SILOMETRIA + TF-IDF -> HDBSCAN

Ci sono degli utenti che hanno parametri molto singolari e non riesce a clusterizzarli,
ad esempio Demidof me lo aspettavo, molto originale nel modo di scrivere e nelle frasi usate,
comunque di "isole" ce ne sono diverse, mentre io sono in cluster assieme ad arulbero, fillippone ed altri.

UTENTE                    | HDBSCAN (Identità)
----------------------------------------------------------------------------------------------------------------------------------
*Ace*                     | Cluster 1
Ale88                     | RUMORE (Unico)
Changaa                   | Cluster 3
HostFat                   | RUMORE (Unico)
Italian Panic             | RUMORE (Unico)
MarioV                    | Cluster 0
alexrossi                 | RUMORE (Unico)
arulbero                  | Cluster 0
babo                      | RUMORE (Unico)
banana33                  | Cluster 3
bastisisca                | Cluster 2
bitbollo                  | RUMORE (Unico)
conilmionome              | RUMORE (Unico)
dollyamo                  | Cluster 3
fillippone                | Cluster 0
gbianchi                  | Cluster 0
georgino22222             | RUMORE (Unico)
giammangiato              | Cluster 2
giorgione                 | Cluster 3
lillominato89             | Cluster 1
m4r1o                     | Cluster 3
martinom                  | Cluster 3
paolo.demidov             | RUMORE (Unico)
pewboy                    | Cluster 3
plutosky                  | RUMORE (Unico)
simpic                    | RUMORE (Unico)
ubaldo81                  | Cluster 0
verdinio                  | Cluster 3
xenomorfo                 | RUMORE (Unico)

[fillippone]

Mi sembrano cluster ancora troppo vaghi: questo vorrebbbe dire che io potrei essere un tuo alt, ma non uno di babo o di *Ace* perché siamo in cluster diversi?
Inoltre se babo é rumore la tesi che sia Satoshi resta valida…

[gbianchi]

Mi sembrano cluster ancora troppo vaghi: questo vorrebbbe dire che io potrei essere un tuo alt, ma non uno di babo o di *Ace* perché siamo in cluster diversi?
Inoltre se babo é rumore la tesi che sia Satoshi resta valida…

Si infatti adesso ho scritto una funzione che da la distanza media tra i  parametri.
Per formare il cluster vengono presi in considerazione diversi parametri (25 per TF-IDF e 11 di stilometria)
e calcolo la distanza media dei componenti del gruppo (coesione del gruppo)

Il cluster 1 e' di soli 2 elementi che hanno una coesione alta (quasi 83%)

Anche il cluster 2 e' di 2 elementi e la coesione e' del 70% circa

Ma l'incredibile e' il cluster 3: 8 elementi con una coesione del 82.5!

Noi, (io te e altri), siamo stati clusterizzati ma abbiamo una coesione relativamente bassa, poco piu' del 21%

Gli altri sono relativamente ancor piu' lontani e non sono stati clusterizzati, trattati come isole.

Voglio fare delle funzioni che visualizzano graficamente il tutto.

ANALISI GRUPPI (CLUSTERING)
=================================================================================================================================================
CLUSTER    | N°   | COESIONE TF-IDF+STILE        | SINCRONIA TEMPO
-------------------------------------------------------------------------------------------------------------------------------------------------
GRUPPO 1   | 2    | 82.9%                        | 0.80 (ALTA)
   -> Membri: *Ace*, lillominato89
-------------------------------------------------------------------------------------------------------------------------------------------------
GRUPPO 3   | 8    | 82.5%                        | 0.83 (ALTA)
   -> Membri: Changaa, banana33, dollyamo, giorgione, m4r1o, martinom, pewboy, ve...
-------------------------------------------------------------------------------------------------------------------------------------------------
GRUPPO 2   | 2    | 70.4%                        | 0.81 (ALTA)
   -> Membri: bastisisca, giammangiato
-------------------------------------------------------------------------------------------------------------------------------------------------
GRUPPO 0   | 5    | 21.4%                        | 0.32 (BASSA)
   -> Membri: MarioV, arulbero, fillippone, gbianchi, ubaldo81
-------------------------------------------------------------------------------------------------------------------------------------------------

[gbianchi]

In questo grafico ho usato un sistema di visualizzazione che utilizzo per altri progetti.

In pratica si tratta di "collassare" 36 dimensioni (25 + 11) su un grafico per visualizzare
nel modo piu' coerente possibile le "vicinanze".

Io uso il sistema di proiettare N dimensioni  su 3 dimensioni (le massime possibili nel mondo umano)
che pero' a loro volta sono collassate sulle 2 dimensioni del video.

Allora creo una animazione che fa ruotare il 3d per cercare di cogliere il meglio possibile le "vicinanze"

Ecco il risultato:

Da notare in modo visivo in come  demidov e' il pianeta che gira in modo piu' lontano da tutti
come scrittura e stile, ed e' un dato che mi torna assolutamente.

Da notare anche come gli 8 elementi del cluster 3 sono quasi la stessa cosa.



 

[*Ace*]

Bellissimo sto grafico! Sembra la rotazione dei pianeti attorno alla propria stella!
Però sta correlazione non la sto capendo affatto, tenere conto del testo in una community così ristretta non crea falsi positivi?
Anche la correlazione tra te e fillippone la trovo assurda.
Da quello che vedo sinceramente sembrerebbe che io e bastisisca fossimo più vicini