Nachrichtenanalyse Communitiy

[TheOtherOne]

Ja geht, manuelle Bewertung einer möglichen Leitfunktion und damit Trendsetter eines Mediums ergibt auch eine
ganz brauchbare, reduzierte Datenbasis. Auf jeden Fall gut um die Bedarfskodierung zu Prüfen.  Der Backtest muss
dann auf ungesichtetes, auch altes Material ablaufen.

[Jonton]

Ja geht, manuelle Bewertung einer möglichen Leitfunktion und damit Trendsetter eines Mediums ergibt auch eine
ganz brauchbare, reduzierte Datenbasis. Auf jeden Fall gut um die Bedarfskodierung zu Prüfen.  Der Backtest muss
dann auf ungesichtetes, auch altes Material ablaufen.

Jup. Eben auf eine komplette Datenbank. Ich find die Idee so geiloooooo Stellt euch das mal vor, man kann Ergebnisse dann auch noch grafisch darstellen, damit es Mama und Papa auch verstehen und damit arbeiten können...interessant wäre es, wenn man Medien durch effektivität zwingt , "Fehlsignale" erzeugen müssen... 

Ich bin nur zu dumm das alles selber zu machen.
So eine Scheiße 

Das müsste eine Bewegung werden, damit es geht.

Ich bin ganz ehrlich, das Ergebnis wäre so ziemlich das schönste was ich mir vorstellen kann.
Ich glaube Norbert Bolz hat mal gesagt, dass die "Menschheit von Katastrophe zu Katastrophe taumelt".
Wär doch was, wenn die Aufklärung siegt...

Schreibt doch mal freunden und erzählt ihnen davon.

Ich werd ein Forum aufmachen. Ein Youtube Video dazu werd ich auch machen.

[Sukrim]

Ein Projekt, das man wirklich mal durchziehen könnte (falls du an die Texte kommst natürlich) wäre z.b. nach Konjuktiven in Artikeln zu suchen und das dann über die Zeit aufzutragen, ob sich da Muster ergeben. Generell bietet ja Google auch schon sowas leicht in die Richtung an - https://books.google.com/ngrams/graph?content=Vaterland%2CHeimat&year_start=1800&year_end=2000&corpus=20&smoothing=3&share=&direct_url=t1%3B%2CVaterland%3B%2Cc0%3B.t1%3B%2CHeimat%3B%2Cc0 als Beispiel mal von einem etwas aufgeladenen Begriff.

[Jonton]

Naja, denke das wird schwierig, Printmedien auswerten zu können...aber vielleicht kann man sowas miteinfließen lassen. (von google)
Meinst du einfach Aufkommen + ein Wort?

Das Forum wird auf "www. operation - arschtritt . de" zu erreichen sein. Sry für den Titel...

Ist halt über und soll eine Libertäre Note transportieren  

Ich denke Ende nächster Woche könnt ihr alle (Sukrim, Akka und TheOtherOne) alle einladen wenn ihr mögt...wow  

[TheOtherOne]

Die Idee ist Klasse aber damit du ungefähr eine Ahnung davon bekommst, welcher Aufwand zu betreiben ist
hier ein paar Infos für dich.

Ich habe im letzen Jahr mit einem kleinen Team (Mutanten würde besser passen) einen Sentiment Detector
zu Testzwecken entwickelt. Das kommt deiner Idee recht Nahe, daher auch mein Insistieren bei einigen
Bemerkungen. Bei dem Teil ging es darum, variable Trends mit einer Genauigkeit von > 80% für die nächsten
drei Tage vorherzusagen. Als Datenbasis diente ein per Map-Reduce selektierter Web-Crawl-Korpus von
1.5 Mrd. HTML Seiten. Die Daten findest du hier:  (wäre auch für dich Interessant da kostenlos)

http://aws.amazon.com/datasets/41740

Liegt bei Amazon und sind ca. 80 TB komprimiert (~750 TB unkomprimiert).
Das schliesslich reduzierte und zu analysierende Datenvolumen kam dann auf 65 TB unkomprimiert.
Nur der Datenbankcluster plus Füllung und Latenzgarantie von < 50 ms pro Anfrage hat mich
schon einen Monat an Arbeit gekostet (der gesamte DB Bereich + Transport war mein Part).

Die erste statistische Wortanalyse hat schnell gezeigt, dass die möglichen und damit auch
nötigen Kombinationen ohne Kontextzuweisung locker bei > 10^e20 lagen. Unmöglich diesen grossen
Suchraum seriell, statistisch wegzuarbeiten. Lösung -> Neuronale Netze. Haben zwar den Nachteil
Blackboxed zu sein, geht aber nicht anders. Diesen Part hat dann der Math-Mutant übernommen.
Die Erstellung und anschliessend binäre Kodierung der Hit-Wörter-Konglomerate sowie Verteilungsvektoren
innerhalb als auch Verweise ausserhalb hat auch nochmal ca. 2 Monate beansprucht.

Ich bin dann vom Kopf her Ausgestiegen als der das NN mit Fourier-Stützen ergänzt hat um den prediktiven
Bereich zu konstrukieren. Letztendlich hat es aber funktioniert. Grundsätzlich lässt sich dieses
System genau für deine Zwecke einsetzen. Die Sources habe ich natürlich auch noch, nutze die
allerdings gerade um ein BTC Analytik-Projekt fertig zu stellen. Sobald das Projekt online ist, kann
ich dir bei deinem Projekt gerne mit Info und Code helfen, wird aber noch ein paar Wochen dauen.

Zum Abschluss, wie bereits gesagt, deine Idee ist richtig interessant aber unterschätze nicht
den Aufwand sowas *Big-Scale* und damit Aussagekräftig zu machen.

Eine weitere Analyse in deine Richtung findest du z.b. auch hier: http://webdatacommons.org/

[Jonton]

Wow! Das wäre klasse! Vielen Dank!

Ich weiß, dass es ziemlich "wahnsinnig" ist. Der Aufwand ist monströs. Alleine die verschiedenen Fachbereiche unter einen Hut zu bringen...Grafik, Programmierung, Medienwissenschaft, Sprachwissenschaft, Psychologie, Mathematik, Philosophie etc.

Ich denke sowas kann man nur mit einer sauberen Arbeitsteilung und Orga anpacken. Wenn man denn die Man- und Brainpower hat...
darum muss ich mich kümmern. Ich hab noch niemals so ein Projekt angeleiert und bin ein mieserabler Netzwerker, weil ich für gewöhnlich dazu überhaupt keine Lust habe.

Die Idee spukt mir nun einfach schon lange genug durch den Kopf und ich hoffe! wirklich sehr, dass viele verstehen, welcher Gedanke dahintersteht und welche Bedeutung so eine Plattform hätte.

Evtl. sind bis nächste Woche einige Linux-Quellcode programmierer zumindest interessiert bzw. informiert...

Tausend dank für deine Mühe, ich weiß das wirklich sehr zu schätzen!!!

Jonton

[Jonton]

Nachfolgend mal grob ein paar erste Gedanken zum möglichen Aufbau.
Dieser Unterteilt sich in manuell ausgeführte Handlungen, per App und einem halb/automatisierten Prozesskreislauf.
"Drohne" = Community Nutzer. Keine Abwertende Bewertung.

Manuelle Ausführungen:

Thesen Meldung, Bestätigung durch Signalgröße an Automatisierten Prozess                  
->Drohnen manuell / App
Antithesen, Meldung, Bestätigung durch Signalgröße an a.P.               
->Drohnen manuell / App
Synthesen, Meldung, Bestätigung durch Signalgröße an a.P.               
->Drohnen manuell / App

Relevante Zufallsereignissen durch Signalgröße, Meldung, Bestätigung durch Signalgröße               
->Drohnen manuell / App


Emotionale Qualität bei Thesenanhängern, Selbstbewertung + evtl. Bewertung Wortneuschöpfungen
->Drohnen manuell /App
Emotionale Qualität bei Antithesenanhängern, Selbstbewertung + evtl. Bewertung Wortneuschöpfungen ->Drohnen manuell / App
Emotionale Qualität bei Synthese, Selbstbewertung +evtl. Bewertung Wortneuschöpfungen   
->Drohnen manuell / App

Emotionaler Qualitätsbewertungsprozess mit Reflexion durch Gegenbewertung
->Drohnen manuell /App


Wissenschaftliche Zuammenarbeit mit transparentem Bewertungssystem
->Drohnen manuell /App

Medienwissenschaftliche Bewertung der Argumentation und Aussicht  + Historischer Vergleich
für These/Antithese/Synthese ->Twittergröße? + Gegenkontrolle von Antithese
In verschiedenen zeitlichen Rastergrößen

Psychologische Bewertung der Argumentation und Aussicht   + Historischer Vergleich
für These/Antithese/Synthese ->Twittergröße? + Gegenkontrolle von Antithese
In verschiedenen zeitlichen Rastergrößen

Philosophische Bewertung der Moralischen Argumentation und Aussicht + Historischer Vergleich
für These/Antithese/Synthese ->Twittergröße?
(Religion, Geld, Gerechtigkeit, Humanismus) + Gegenkontrolle von Antithese
In verschiedenen zeitlichen Rastergrößen

Wirtschaftliche Bewertung der Argumentation und Aussicht + Historischer Vergleich
für These/Antithese/Synthese ->Twittergröße? + Gegenkontrolle von Antithese
In verschiedenen zeitlichen Rastergrößen


Fortlaufender, halbautomatisierter Prozesskreislauf

Erfassung der Quantität in einzelnen Mediensparten und politischer Herkunft von Medien            
->Datamining

Auswahl und Abgleich mit Datenbestand nach Ablauf einer Zeitspanne x
->Datamining

Erfassung und Bewertung von Wortneuschöpfungen durch Abgleich Datenbank   
->Datamining / manuelle Meldung durch Drohne / App

Steuerung des Prozesskreislaufs


Darstellung

Mikro Zeitraster
Makro Zeitraster
Ausblicke aus verschiedenen Perspektiven


Um das ganze ein bisschen verständlicher darzustellen folgt ein kurze Schilderung in Worten.

Ein Community Nutzer liest auf seiner Lieblingsnachrichtenseite einen Artikel über Atomkraft. Er hat für sich zu diesem Thema eine positive Haltung, er nimmt also eine Thesenhaltung ein und meldet es. Dies machen mehrere, wobei sich die vorhandenen Haltungen zum Inhalt unterscheiden. Nachdem eine bestimmte Anzahl an Nutzern eine Meldung gemacht haben, ist die Signalgröße erreicht.
Der Auftrag an Nutzer ist es nun, möglicherweise relevante Zufallsereignisse zu melden.
Die Katastrophe in Fukushima tritt ein. Diese wird als relevantes Zufallsereigniss gemeldet.
Während der verschiedenen Diskussionsphasen werden nun die hervorgerufenen Emotionalen Qualitäten durch die Nutzer in Bezug auf Inhalte gesammelt. Dies aus der eigenen Perspektive, als auch der individuelle Versuch die Gegenperspektive zu emotional zu reflektieren.
Über diese Inhalte findet eine Rückmeldungen an die Datenbank statt.
Anschließend bewerten Wissenschaftliche Mitarbeiter aus verschiedenen Richtungen und mit jeweils unterschiedlichen Haltungen die einzelnen Prozessabschnitte im Hinblick auf ihr jeweiliges Fachgebiet. Dabei findet auch eine Gegenkontrolle durch einen wissenschaftlichen Thesenantagonisten statt. Über diese Inhalte findet eine Rückmeldung an die Datenbank statt, in der die Quantität der Thesen und die politischer Herkunft von Medien erfasst worden ist.
Die einzelnen Abschnitte werden einem historischen Vergleich unterzogen, was vorerst vor allem den Wissenschaftlichen Bewertungsabschnitt umfasst. Dieser historische Vergleich findet auf unterschiedlichen Zeiteben statt. Ein neuer Prozessablauf entsteht durch das erreichen neuer Signalgrößen etc.         

Wichtig:

Ist nur ein erster, in sich nicht vollkommen stimmiger Ablauf. BRRRRRainstormin.

Schönen Tag allen! 

[herzmeister]

ihr seid mir schon so junghegelianisch-kybernetische Gesellschaftsarchitekten. 

[Jonton]

Muss ja nicht stimmen, aber irgendwo muss man anfangen zu denken nä?