ChatGPT - Helfer und Spion - Privatsphäre erhalten

[virginorange]

Large Language Models (LLMs) können potenziell helfen.
Mir haben LLMs schon beim Brainstorming geholfen. Perspektivisch könnten LLMs einem auch einfache Aufgaben abnehmen.

(-) LLMs haben mir schon oft falsche Rechtsratschläge gegeben. Vor allem, wenn ein Gesetz kürzlich geändert wurde. In diesem Fall ist das alte Gesetz mit 9 Jahren im Datensatz und das neue Gesetz mit 1 Jahr im Datensatz. Das LLM antwortet mit dem 9 Jahre alten Datensatz, obwohl eigentlich nur das neue Gesetz relevant ist. Hier muss man noch mit einer Suchmaschine nachprüfen.
(-) LLMs sind schwach, wenn es darum geht, unkonventionelle Lösungen zu finden und diese präzise zu beschreiben. LLMs geben eher durchschnittliche Antworten, die wolkig und blumig beschrieben werden.
(+) Wenn ich eine konkrete Frage habe, die ein durchschnittlich kompetenter Experte auf diesem Gebiet leicht beantworten könnte, dann helfen mir LLMs weiter. Damit sind LLMs besser als Suchmaschinen, die eher allgemein suchen.
(+) LLMs können einen auf ein Gespräch vorbereiten: „Was kann ein normaler Mensch hier als Gegenargument anführen?“


Bedrohung der Privatsphäre durch LLMs

Priorisierung der Gegner:
Obwohl der russische Staat weiß, dass es Opposition und Unzufriedenheit im Land gibt, kennt er nicht jede einzelne Person, die mit Putin unzufrieden ist. Mit Hilfe von LLM-Chatprotokollen könnte er politische Gegner gezielt verfolgen.
Der Dieb weiß, dass es Personen gibt, die Bitcoins besitzen, aber nicht unbedingt, wer wie viele Bitcoins besitzt. Mit Hilfe von LLM-Chatprotokollen könnte man gezielt bei Personen einbrechen.

Geschäftsgeheimnisse auslesen:
Wer sich mit dem LLM über Betriebsgeheimnisse unterhält, gibt diese Geheimnisse dem Rechner des Betreibers des LLM preis, der sie entsprechend weiterverwenden kann.

Inhaltsfilter:
Manche LLM-Betreiber fügen deinem Promt einen zusätzlichen Promt hinzu, den du nicht kennst. Lass deinen Promt durch den Contentfilter laufen und lass die Antwort des LLM-Betreibers wieder durch einen Contentfilter laufen. Das birgt die Gefahr von Zensur und Manipulation.


Optionen LLMs mit mehr Privatsphäre zu nutzen.

A) kleine LLM auf lokalem Rechner
  1.) SSD kaufen
  2.) POP OS auf verschlüsselt installieren
  3.) dolphin-llama3 oder llama 3.1 8b installieren
  4.) Internet trennen

(+) Es gibt Open Source Modelle (z.B. dolphin-llama3) ohne contentfilter.
(+) Deine Identität wird nicht preisgegeben und
(+) Betriebsgeheimnisse werden nicht verraten.
(-) Auf einen normalen Rechner kannst du nur kleine Modelle laufen lassen. Mein erster Eindruck von dolphin-llama3 und llama 3.1 ist, dass diese Modelle schon einiges an Wissen haben aber bei Logik eher schwächeln.
(+) Mir fällt hierfür kein Nutzten ein aber interessant ist schon, dass man mit nur 5 GB Speicherplatz eine gute Zusammenfassung des Internets bekommt, welche man befragen kann. Du kannst also quasi offline googlen.

B) gute LLM pseudoanonym auf fremden Rechner mieten
  1.) Auf Bisq Bitcoin gegen EUR SEPA kaufen
  2.) Auf Bisq Bitcoin in Monero tauschen
  3.) Monero auf Cake Wallet (innerhalb einer Whonix virtuellen Maschine) in Nano tauschen
  4.) Webseite cake.nano-gpt.com über TOR aufrufen
  5.) Nano im Wert von <1 USD aus der cake wallet an nano-gpt überweisen

(+) Auswahl: Schön finde ich, dass du in einer Maske mehrere verschiedene sehr gute Modelle auswählen kannst. Der Preis mit ca. 0,2 Cent pro Antwort ist nicht der Rede wert. Bei Bildern liegen wir eher bei 5 -10 Cent pro Bild.
(-) contentfilter vorhanden, ein durchprobieren mehrerer Modelle kann aber im Graubereich etwas Spielraum schaffen.
(+) Deine Identität wird nicht preisgegeben und
(-) Betriebsgeheimnisse werden verraten.

Aufgrund der geringen Beträge im Bereich von unter einem USD, oft sogar unter einem cent ist eine unsichere aber schnelle & günstige Cryptowährung nützlich. Bei meinem Test habe ich Nano verwendet.  Auf nano-gpt.com lässt sich auch Bitcoin Cash verwenden. Ansonsten würde sich für diesen Anwendungsfall auch Lightning oder Fedimint E-cash anbieten. In Fedimint ist eine AI als Tool angelegt, aber aktuell noch nicht praktisch für den Endanwender nutzbar.

C) Hardware aufrüsten
Es gibt auch gute große opensource Text oder Bild-Ais. Hierfür benötigt man aber eine Hardware mit Anschaffungskosten von mehreren 1000 EUR. Für diese Investitionen habe ich aber noch keinen Anwendungsfall, der dies rechtfertigen würde.

[MaxMueller]

~

Was spricht dagegen ChatGPT in der Freeware Version (Anmeldung via Fake-EMail) per VPN zu nutzen?!

Offline Version klingt auch sehr spannend. Kann man sowas auch mit eigenen Daten bzw. Dokumenten füttern?

[virginorange]

Was spricht dagegen ChatGPT in der Freeware Version (Anmeldung via Fake-EMail) per VPN zu nutzen?!

VPN + Fake-Email ist ebenfalls eine gute Idee.

Als Fake-Email könnte man z.B. eine Email-Weiterleitung mit Simplelogin einrichten.

Das könnte man auch selbst hosten: https://www.youtube.com/watch?v=HuEGpNPALxY

Offline Version klingt auch sehr spannend. Kann man sowas auch mit eigenen Daten bzw. Dokumenten füttern?

Ein privater Rechner ist Arbeistspeicher-begrenzt. Das führt zu einer beschränkten Menge an Daten die gleichzeitig bei der Antwort berücksichtig werden können.

Grundsätzlich könnte man sich einen guten Home-Server einrichten für 5000€ (mit AI-Fähiger Hardware). Dort alle Dokumente rein laufen lassen. Und eine AI gibt mit Wissen all deiner Dokumente Antworten. Stell mir mal vor du zeichnest zusätzlich all deine privaten Konversationen auf. Damit hättest du ein perfektes Gedächtnis.

[MaxMueller]

Grundsätzlich könnte man sich einen guten Home-Server einrichten für 5000€ (mit AI-Fähiger Hardware). Dort alle Dokumente rein laufen lassen. Und eine AI gibt mit Wissen all deiner Dokumente Antworten. Stell mir mal vor du zeichnest zusätzlich all deine privaten Konversationen auf. Damit hättest du ein perfektes Gedächtnis.

Ja genau, hatte da direkt an ein AI-Addon für DMS gedacht. Bei alten Vorgängen weiß man ja oft nur noch, dass da was war, wählt aber mitunter die falschen Suchwörter und weiß auch nicht mehr wo es liegt. Nach "Kontext" zu suchen wäre da natürlich genial....

Oder bitcointalk hochladen und kontextfragen stellen...

[Lakai01]

Offline Version klingt auch sehr spannend. Kann man sowas auch mit eigenen Daten bzw. Dokumenten füttern?

Ja, kann man natürlich, man muss nur die dementsprechende Hardware bereitstellen können. Neben der Rechenpower (ein guter Gaming-PC sollte da für kleinere Anwendungen schon mal reichen) musst du aber auch mit sehr viel (schnellem) Speicherplatz rechnen, wodurch die Kosten durchaus gleich mal in dem von virginorange gelegenem Bereich sein können.

Wenn du die Hardware aber hast ist es "egal" womit du das System fütterst, obs eigene Chatverläufe, eigene Dokumente bis hin zu Bilder oder eigene literarische Werke sind ... die KI verarbeitet dir das und gibt dir auch auf deine Anforderungen bezogene Antworten.

Der ganze Themenbereich boomt ja im beruflichen Alltag enorm. Gerade solche "Wissensdatenbanken" sind hier ein sehr guter Anwendungsfall der sich auch in einer Firma "relativ" schnell lohnt. Stell dir eine KI vor die mit allen Firmengeheimnissen, Dokumenten und co. antrainiert wurde ... die kann dir zu jeder Fragestellung hilfreiche Antworten geben und das direkt auf den eigenen Anwendungsfall bezogen.

[MaxMueller]

Ich hab heute mal youtube durchforstet und folgendes Video (leider wieder in englisch) gefunden:

host ALL your AI locally von NetworkChuck

Kurzweilig, unterhaltsam und hat mich so richtig angefixt, ich muss dringend mehr IT lernen.  
Ich glaube selbst wenn die Hardware ein paar 1000€ kostet rentiert sich das durch die eingesparte Lebenszeit locker in 1-2 Jahren, wenn ich überlege wie oft ich irgendwelche Unterlagen suche und seien es nur mal 10min hier, mal 20min dort, das läppert sich....
 
Wenn ihr noch mehr gute Quellen oder Kanäle habt (gerne auf deutsch aber auch auf englisch) dann immer her damit.  

[Lakai01]

Kurzweilig, unterhaltsam und hat mich so richtig angefixt, ich muss dringend mehr IT lernen.  
Ich glaube selbst wenn die Hardware ein paar 1000€ kostet rentiert sich das durch die eingesparte Lebenszeit locker in 1-2 Jahren, wenn ich überlege wie oft ich irgendwelche Unterlagen suche und seien es nur mal 10min hier, mal 20min dort, das läppert sich....

Geht es dir tatsächlich um bestimmte Dokumente oder möchtest du gezielt Fragen stellen können zum Inhalt der Dokumente und dir diese auch interpretieren lassen?
Für Ersteres könnte man nämlich durchaus auch ein (kostenloses und selbst betreibbares) DMS (DokumentenManagementSystem) wie Alfresco* andenken. Die Systeme lassen bspw. die Beschlagwortung von Dokumenten zu und bieten auch recht einfache Mittel und Wege für die Digitalisierung und Speicherung bzw. Archivierung.

Die Hardwarekosten für solche Systeme halten sich sehr stark in Grenzen, das kann man vermutlich sogar mit einem Raspberry Pi betreiben ... mit angestecker externer Festplatte natürlich.

* Alfresco ist einer der Platzhirschen auf dem Gebiet, da gibt es aber noch zig andere Tools


Wenn es dir natürlich darum geht, dass du dir die Dokumente interpretieren lassen und Fragen dazu stellen willst, dann führt kein Weg an einem KI-System vorbei.

[Danydee72]

Wir sprechen hier grundsätzliche Probleme vieler KI - gestützten Algorithmen an.

Ist man zu ungenau und vage, so wird die Antwort ebenfalls ungenau und vage sein. Damit man präzisere Antworten erhält ist es demzufolge notwendig, dass man mehr von "sich" und seiner Arbeit Preis gibt. Es geht ja nicht bloss um den Schutz der Privatsphäre, sondern auch darum, dass man nicht unbedingt Interesse hat, dass eigenes Wirken einer zentralen Instanz zugänglich wird. Bei den kostenlosen (Online) Varianten wird man je teils auch darauf hingewiesen, dass die Angaben weiterverwendet werden können. Testzwecke, Verbesserung der Applikation usw. Und Urheberrechte gäbe es da ja auch noch. Theoretisch ....

Dann kommt noch dazu, dass die Entwicklung extrem schnell läuft. Das hat zur Folge, dass der Schutz (Datenschutz, Schutz der Privatsphäre) systemimmanent hinterherhinkt, weil die Anbieter der Software diese Punkte frühestens erst dann abzudecken beginnen, wenn eine entsprechende Regulierung in Kraft tritt. Offlinevarianten haben den Nachteil, dass sie irgendwann nicht mehr aktuell sind und der Entwicklung hinterherhinken und es aufwändig ist, dem zu begegnen. Einzelne Updates sind sicher easy, aber die Menge machts.