Nachrichtenanalyse Communitiy

[Jonton]

Projekt:

Nachrichtenanalyse Communitiy

Hypothese:

Geschichte wiederholt sich.

Ziel:

Manipulation der öffentlichen Meinung durch Medien einschränken und Reflektionsfähigkeit in Bezug auf Politische/Gesellschaftliche Entwicklungen verbessern. Aufhebung der zeitlichen Größendimension im menschlichen Denken durch direkten historischen Abgleich.

Es werden aktuelle Nachrichten verschiedenster Medien gesammelt und ausgewertet.
Diese werden mit Mustern aus der Vergangenheit abgeglichen und die damalige Weiterentwicklung mit der Gegenwart und deren Ausblick in Verbindung gesetzt.

Ein "einfaches" Werkzeug zur Reflexion Medialer Ereignisse.

Ich möchte das öffentlich zugänglich machen.
Das Problem ist, dass es nicht existiert.  

Ich würde mich freuen, wenn jemand per pm mehr erfahren möchte.


Viele Grüße

Jonton

[Akka]

  willst den Kurs anhand des Medieninteresses voraussagen?

[Jonton]

Den Kurs? 

Vielleicht auch, warum nicht?
Könnte sein, dass man die Bildzeitung hernehmen kann, um beim offiziell erklärten "Goldfieber" zu verkaufen.


Aber vielmehr geht es mir darum:

Manipulation der öffentlichen Meinung durch Medien einschränken und Reflektionsfähigkeit in Bezug auf Politische/Gesellschaftliche Entwicklungen verbessern. Aufhebung der zeitlichen Größendimension im menschlichen Denken durch direkten historischen Abgleich.

Viele Grüße

[Akka]

Manipulation der öffentlichen Meinung durch Medien einschränken und Reflektionsfähigkeit in Bezug auf Politische/Gesellschaftliche Entwicklungen verbessern. Aufhebung der zeitlichen Größendimension im menschlichen Denken durch direkten historischen Abgleich.

Also,

auf deutsch:

Du willst einen Algorithmus der bei aktuellen Ereignissen (egal um was es geht) nach ähnlichen Ereignissen sucht und eine breite Streuung an Information aus verschiedenen Blickwinkeln dieser Ereignisse zur Verfügung stellt?

*Klingt ja immer noch seltsam.

[TheOtherOne]

*Klingt ja immer noch seltsam.

Überhaupt nicht, sehr interessant und sogar machbar.
Musterkodierung geht, Datenmenge macht aber Probleme.

[Jonton]

@akka

So ähnlich ...

Es geht in erster Linie nicht um Ereignisse, sondern um Vorgänge/Muster die sich wiederholen.

Die Werkzeugkiste ist schließlich begrenzt.

Genauso wie die konkrete Darstellung und Bearbeitung.

Hegel These/Antithese=Synthese  + einzelne Potenzen in Qualität und Quantität
Unterschiedliche Politische Blickwinkel für weiteren Ausblick der Entwicklung
etc.

p.s Ich weiß, es klingt seltsam. Kommt ja aus meinem Kopf.  

[Jonton]

Musterkodierung geht, Datenmenge macht aber Probleme.

Absolut.
Ich habe mir gedacht, die Datengewinnung und Auswertung in teilen an die Community zu übergeben.

Beispielsweise per App...

[TheOtherOne]

Musterkodierung geht, Datenmenge macht aber Probleme.

Absolut.
Ich habe mir gedacht, die Datengewinnung und Auswertung in teilen an die Community zu übergeben.

Beispielsweise per App...

Jepp, eine Möglichkeit.
Funktioniert aber nur dann, wenn die Rohdaten zentral vorgehalten werden und die App *like* News@Home arbeitet.
Sobald die App autonom per Fetcher arbeitet, gibt es Aktualisierungs. und Synchronisierungsprobleme.
Wäre ürbrigens Interessant ein solches System mit einer Art von PoW zu verbinden, um die *Drohnen* zu entlohnen.

Wie gesagt, sehr interessanter Gedanke.

Edit: Hier ist übrigens noch eine weitere Datenquelle für deine Idee -> http://noosphere.princeton.edu/

[Sukrim]

Klingt ja irgendwie witzig, das Problem dürfte aber im Verstehen von natürlichsprachlichen Texten liegen, die auch noch aus unterschiedlichen Epochen stammen (das ist schon schwer für Menschen!).

Dann müsste man also auch noch einigermaßen einheitliche Informationen rauslesen und diese auch noch atomar gestalten, aber auch generalisierbar halten ("Autounfall" ist eine "Frontalkollision", aber eine Frontalkollision kann auch zwischen 2 Zügen passieren - außerdem, ist ein Unfall zweier LKWs dann ein Autounfall oder was anderes?!).

Nur nach gleichen Wörtern suchen wird fürchte ich nicht funktionieren, da Schreibstile und Begriffe sich mit der Zeit und Mode ändern.

[Jonton]

Jepp, eine Möglichkeit.
Funktioniert aber nur dann, wenn die Rohdaten zentral vorgehalten werden und die App *like* News@Home arbeitet.
Sobald die App autonom per Fetcher arbeitet, gibt es Aktualisierungs. und Synchronisierungsprobleme.
Wäre ürbrigens Interessant ein solches System mit einer Art von PoW zu verbinden, um die *Drohnen* zu entlohnen.

Wie gesagt, sehr interessanter Gedanke.

Edit: Hier ist übrigens noch eine weitere Datenquelle für deine Idee -> http://noosphere.princeton.edu/

Den "Drohnen" Entlohnungsgedanken hatte ich auch. Wer macht schon was umsonst? 

Hältst du es denn für generell Sinnvoll, mal ein Forum dafür einzurichten um der Sache mal ein kleines Fundament zu geben?

Was wäre denn ein guter Name?

Ich hab bisher nur mit meinem Bruder darüber gesprochen. Er fand es auch sehr interessant, er meinte...Brudertypisch  + hat es gerafft.

Technisch sieht er es auch als machbar an.
Bin mir nur unsicher, ob ich ihn bitten soll, mal in der Linux Community die Trommel zu rühren...und es ist ja schon ein sehr breites Themenfeld, was dann auch für den technischen Aufbau relevant wird.
 

p.s.
Das Global Consciousness Project klingt ja interessant. Wird sicher schwierig eine gegenseitige "nicht information" zu belegen bzw. die Informationsfläche zwischen Gedanke und öffentlichem Auftreten zu beobachten.

Da muss ich mich reinlesen...

Viele Grüßle

[Jonton]

Klingt ja irgendwie witzig, das Problem dürfte aber im Verstehen von natürlichsprachlichen Texten liegen, die auch noch aus unterschiedlichen Epochen stammen (das ist schon schwer für Menschen!).

Dann müsste man also auch noch einigermaßen einheitliche Informationen rauslesen und diese auch noch atomar gestalten, aber auch generalisierbar halten ("Autounfall" ist eine "Frontalkollision", aber eine Frontalkollision kann auch zwischen 2 Zügen passieren - außerdem, ist ein Unfall zweier LKWs dann ein Autounfall oder was anderes?!).

Nur nach gleichen Wörtern suchen wird fürchte ich nicht funktionieren, da Schreibstile und Begriffe sich mit der Zeit und Mode ändern.

sowas löst man dadurch, dass man Rasterfelder erstellt, die "Begriffsfreiheit" erlauben. Zum Beispiel: Raster x  = emotionale Wertigkeit 4 (möglicher Raster+ Wirkungsdefinition in Raster)

Das bedeutet beispielsweise, dass eine "Frontalkollision" eine emotionale Wertigkeit x im Raster y hat und diese auch bei einem Artikel wie:
"Frontalkollision zwischen SPD und Beckstein" angewendet werden.


Findest du es denn generell interessant?

Viele Grüße

[TheOtherOne]

Reduziert betrachtet geht es um Korrelationen. Die gewünschte Informationsauflösung bestimmt den Kodierungsaufwand.
Linguistische Analyse ist noch nicht mal nötig, Statistische Verteilung derselben dafür umso mehr. Am besten eignen sich
Neuronale Netze- und ganz besonders Kohonen Maps (SOM) um aus unstrukturierten Daten - Muster OHNE Lernaufwand
abzuleiten.  Wie erwähnt, die eigentliche Aufgabe ist nicht linguistisch das Problem zu lösen, sondern die optimale
Kodierung der Eingangsparameter zu bestimmen. Leider muss man dafür *ungefähr* wissen wonach man sucht.

Ich denke aber ich weiß recht genau worum es dir geht. Würde mich auch mal interessieren wie hoch unser aktueller - VI - ist


_{ps: VI = automatisch errechneter Verarschungsindex}  

[Sukrim]

Generell ja, wobei ich da eher mal empfehlen würde, mit Historikern sowie Sprachwissenschaftlern zu reden, bevor du mit irgendwelchen "emotionalen Wertigkeiten" daherkommst.

Du scheinst irgendwie 3 Schritte weiter sein zu wollen, als Programme derzeit existieren - WENN es ein Programm gäbe, das eine Zeitung "lesen" kann und daraus sinnvolle Informationen extrahiert, wäre das schon eine Sensation!

Ich würde eher sowas in Richtung Amazon Mechanical Turk empfehlen und das Extrahieren der Info einfach von Menschen erledigen lassen - die sind besser darin und auch billiger. Fraglich ist für mich auch, wie weit man gehen muss, um Muster zu erkennen und nach welcher Art von Mustern du suchen willst. Aktienmärkte werfen z.B. ca. alle 10 Jahre Blasen während Geldmärkte schon mal ein Jahrhundert überleben können. Vielleicht solltest du aber ohnehin erstmal anfangen zu schauen, ob deine Software generell Muster erkennt, z.B. dass im Winter öfter von Schnee geredet wird als im Sommer.

[Jonton]

Reduziert betrachtet geht es um Korrelationen. Die gewünschte Informationsauflösung bestimmt den Kodierungsaufwand.
Linguistische Analyse ist noch nicht mal nötig, Statistische Verteilung derselben dafür umso mehr. Am besten eignen sich
Neuronale Netze- und ganz besonders Kohonen Maps (SOM) um aus unstrukturierten Daten - Muster OHNE Lernaufwand
abzuleiten.  Wie erwähnt, die eigentliche Aufgabe ist nicht linguistisch das Problem zu lösen, sondern die optimale
Kodierung der Eingangsparameter zu bestimmen. Leider muss man dafür *ungefähr* wissen wonach man sucht.

Ich denke aber ich weiß recht genau worum es dir geht. Würde mich auch mal interessieren wie hoch unser aktueller - VI - ist


_{ps: VI = automatisch errechneter Verarschungsindex}  

Ist keine Verarsche.
Wir können in 2 min. Telefonieren, ich geb dir meinen Namen zum googeln und Mittwoch können wir uns persönlich kennenlernen.
(Drohung, ich hab Urlaub  )

Die Eingangsparameter kann man per Backtest´s solange verbessern, bis man aufgrund der positiven Übereinstimmung mit den nachgefolgten Entwicklungen zufrieden ist.

Viele Grüße

[TheOtherOne]

Das bedeutet beispielsweise, dass eine "Frontalkollision" eine emotionale Wertigkeit x im Raster y hat und diese auch bei einem Artikel wie:
"Frontalkollision zwischen SPD und Beckstein" angewendet werden.

Evolution bezieht nicht nicht nur auf biologische Prozesse. Auch Sprache ist dem unterworfen.
Kontext ist für das große Bild nicht Nötig. Statistische Ausreißer durch die Masse an Daten egalisiert.
Das Resultat ist trotzdem Aussagekräftig. Interessant wäre auch den Inflationsgrad an Worteinheiten
im Laufe der Zeit zu Messen (z.b. Dramatisch/Katastrophe usw).
Inflation als Entwertung betrachtet gibt wiederum spannende Einblicke in zufällige oder eben auch gewollte
Lenkungsabsichten Da gibt es unendlich viele Fragestellungen.

[Jonton]

Generell ja, wobei ich da eher mal empfehlen würde, mit Historikern sowie Sprachwissenschaftlern zu reden, bevor du mit irgendwelchen "emotionalen Wertigkeiten" daherkommst.

Du scheinst irgendwie 3 Schritte weiter sein zu wollen, als Programme derzeit existieren - WENN es ein Programm gäbe, das eine Zeitung "lesen" kann und daraus sinnvolle Informationen extrahiert, wäre das schon eine Sensation!

Ich würde eher sowas in Richtung Amazon Mechanical Turk empfehlen und das Extrahieren der Info einfach von Menschen erledigen lassen - die sind besser darin und auch billiger. Fraglich ist für mich auch, wie weit man gehen muss, um Muster zu erkennen und nach welcher Art von Mustern du suchen willst. Aktienmärkte werfen z.B. ca. alle 10 Jahre Blasen während Geldmärkte schon mal ein Jahrhundert überleben können. Vielleicht solltest du aber ohnehin erstmal anfangen zu schauen, ob deine Software generell Muster erkennt, z.B. dass im Winter öfter von Schnee geredet wird als im Sommer.

Jup, die Datengewinnung und Datenauswertung soll wie weiter oben geschrieben von der Community erledigt werden und das  Amazon Mechanical Turk Konzept halte ich auch für gut.  Die "emotionale Wertigkeit" war ein Beispiel, nichts das in Stein gemeißelt ist.
Ist sowieso nichts, was ich mir momentan dazu denke...

Eine einfachere Rasterkombination wäre zB. Politischer Hintergrund des Mediums (zB. Spiegel) /Quantiät im zeitlichen Verlauf / Argumentatives ergebnis = Positiv/Negativ/Veränderung
 

[TheOtherOne]

Ist keine Verarsche.

LOL, natürlich meine ich NICHT dich, sondern - siehe dein Eingangspost -
Wir durch die Medien.  

Das wäre durch solch ein System zu Messen.

[TheOtherOne]

Amazon Mechanical Turk

Manuell kannst du das vergessen, keine Chance.
Die kombinatorische Explosion der Daten ist einfach zu hoch.

[Jonton]

Das bedeutet beispielsweise, dass eine "Frontalkollision" eine emotionale Wertigkeit x im Raster y hat und diese auch bei einem Artikel wie:
"Frontalkollision zwischen SPD und Beckstein" angewendet werden.

Evolution bezieht nicht nicht nur auf biologische Prozesse. Auch Sprache ist dem unterworfen.
Kontext ist für das große Bild nicht Nötig. Statistische Ausreißer durch die Masse an Daten egalisiert.
Das Resultat ist trotzdem Aussagekräftig. Interessant wäre auch den Inflationsgrad an Worteinheiten
im Laufe der Zeit zu Messen (z.b. Dramatisch/Katastrophe usw).
Inflation als Entwertung betrachtet gibt wiederum spannende Einblicke in zufällige oder eben auch gewollte
Lenkungsabsichten Da gibt es unendlich viele Fragestellungen.

Ja. Langfristig muss man aber sicher Veränderungen wahrnehmen.

Der Inflationsgrad als Aufmerksamkeitsimperativ...auf jedenfall will ich Medien nichts unterstellen.  
Die Vorratsdatenspeicherung von brandneuen "Neusprech-Begriffen" fände ich für sich alleine auch schon phänomenal.

Man könnte sich den ganzen Tag die Hände reiben wenn man mal darüber nachdenkt...

edit: Die Fragestellungen vermeiden wäre vielleicht besser, als nur das Ergebnis zu betrachten. Völlig wertungsfrei.

[Jonton]

Amazon Mechanical Turk

Manuell kannst du das vergessen, keine Chance.
Die kombinatorische Explosion der Daten ist einfach zu hoch.

Oder man beginnt mit Keepitsimple und erarbeitet sich dann einen guten Median per "Halbautomatik" + Backtest derselben heran?