VPN setup / IP routing probleme

[Aswan]

Dashier ist ein crosspost aus dem englischen Breich, aber vielleicht kann mir hier ja auch jemand helfen.

Originalthread: https://bitcointalk.org/index.php?topic=293414.new#new


Hey,

I have worked on solving a routing problem for quite a while. As there is a lot of IT guys on this forum, maybe someone can help me.

2 weeks ago I started live streaming on twitch. My connection wasn't that good and so was the quality (because of the low upload). I Then ordered a better connection (50mbit/s down, 10 mbit/s up) from my ISP which got activated a day later. Everything works at this speed, even at peak times I can download and upload at exactly that speed, no losses whatsoever. At least for everything except streaming to the twich server. After the connection upgrade I started streaming at 2.5 mbit/s, which is no problem at all and worked in the morning. However, the later in gets the more frames are dropped. The Connection to this exact server sucks at evenings, while I can still download and upload stuff at the usual speed to other servers. This has gotten even worse over the last days.

Here is what I have already tried without an success:

1. I have changed the settings on my streaming software (OBS) and tried every possible settings combination plus used a variety of guides to test different setting but it didn't change anything.
2. I have checked for the hardware but I think it's totally enough, look at my PC Specs:
 - Intel® Core™ i7-3820, CPU (4 x 3,6 Ghz)
 - Radeon HD 3850 (I know it's an old model but it shouldn't matter for streaming as it's CPU encoded and it's totally enough for the game I play)
 - 32 gb ram (1600)
 - an 120 GB Samsung SSD
3. I have pinged all the twitch server and as it turns out the ping is good in the morning (~37 ms) while not that good in the evening (~90 ms)
4. I have lowered the bitrate to see if it gets more stable but at peak Internet traffic times it even lags at ~350 kbit/s
5. I asked a friend to try it and it worked for him without a problem, which indicated that the route of the packets from be to twitch is too busy at these times.
6. I tried different twitch servers. interestingly enough it didn't change anything.
7. I talked to my ISP to change my routing. Unfortunately they can't do anything.
8. I have used shaperprobe to probe for traffic shaping but it didn't find anything.
9. I looked at my Routing to set up a static IP route but as I understood it only works for local networks. Is there a way to set up a static IP routing so that I specify the first server it gets too and it goes on from there? I could use one of the IPs a friend of mine got to do it then.
10. I asked a friend who got an account at a big VPN company and used that one to connect. Turns out the ping is being better but when I start streaming, twitch temporarily bans my channel. Seems like they have this service on their blacklist. Talking to them about it didn't net an answer. In fact it got ignored. However, I haven't had any frames dropped but i didn't have the chance to check on the video.
11. I rented a VPS from a hosting service and tried setting up a VPN server there. However, pptpd didn't work (it's running and listening on the port, but connections get refused T_T) and OpenVPN installt correctly but when trying to start it, the web interface says iptables service not started because of error (SVC_RUN_EXCEPT). The support says TUN/TAP is activated, and yes, the device is there. idk about iptables tho, kinda lost here. They claim it works while a lot of guides say theres problems with OpenVZ and Virtuozzo (apparently they use Virtuozzo).
Idk how I can get OpenVPN or pptpd running now, since all the guides say its a host system problem but they say they did all the settings correct. Maybe I did some mistake. It's a debian 6 VPS btw.

Can anyone help me by telling me other ways to fix the connection problem to twitch.tv or by providing tips on what else I can try to get pptpd / OpenVPN working? Does anyone have a VPN for me to try connecting to twitch through it (just to test it for like an hour, preferably one located in Europe, close to germany).

I hope there's someone who is able to get that fixed. Thanks in advance,

Aswan

[Chefin]

Die wichtigste Info die man nun benötigt wäre ein tracert zu dem twitch server. Damit könnte man sehen wo die Engstelle ist. Sollte hier nichts zu sehen sein, liegt es am twitch selbst. Ein Server hängt erstmal an einer einzelnen Leitung, sagen wir mal einen GBit Port. Als nächstes hängt ein Rackswitch mit 16 Ports für die 16 Server im Rack an einer 10GBit Backbone. Man erkennt schon den ersten Flaschenhals. 16x1Gbit = 16GBit aber man hat nur 10Gbit. Man geht in der Regel davon aus, das nicht alle Server durchgehend voll ausgelastet sind. Aber ausschliessen kann man das nicht.

Große Dienste sind nun allerdings nicht an einem Server sondern an einer Serverfarm. Nun braucht es einen Loadbalancer, der die Anfragen gleichmässig verteilt. Hier kommt nun richtig viel Geld ins Spiel, den solche Loadbalancer und das dazu nötige Umfeld kostet viel Geld. Kommen die an die Grenze weil man zuviel Kunden hat, müsste es scaliert werden. Dann kann man xx% mehr Kunden bedienen, aber das nötige Geld braucht man auch erstmal. Da man solche scalierung nicht Kundenweise machen kann, rutscht eine Firma nun erstmal in die Miesen, bis durch mehr Kunden wieder die gewinnschwelle ereicht ist. Die Firma wird also warten und lieber mal Bandbreitenengpässe in Kauf nehmen.

All diese Dinge kann man nicht ändern.

Ein weiterer Schwachpunkt sind das Routing im Internet selbst. Telekom hat zb ne menge dicker Backbones verbuddelt, die sie aber tagsüber kaum brauchen und deswegen billig vermieten. Ab einer bestimmten Uhrzeit wird aber umgeswitched und die kapazität selbst genutzt. Reseller können nun tagsüber diese billige Bandbreite anmieten, aber abends müssen sie dann auf einen Backbone setzen, der nicht diese Leistungsfähigkeit hat. Man erkennt das am tracert, wenn tagsüber wo alles flüssig läuft der Weg der Pakete ein anderer ist wie abends.

All diese Faktoren können Ursache dieser Probleme sein. Tracert machen und das mehrfach am Tag. Schicks mir aber dann per Mail, ist zwar nichts kritisches, aber auch keine Infos die man all zu öffentlich machen sollte. Ich schau dann mal drüber.

Wer nicht weis wie man tracert benutzt
Es ist ein tool das bis Windows XP mitgeliefert wurde, bei Vista und W7 muss man es nachinstallieren. Es wird in der Eingabeaufforderung(DOS-Box) benutzt mit folgender Syntax
tracert <URL>  ..  also zb
tracert heise.de

Routenverfolgung zu heise.de [193.99.144.80]  über maximal 30 Abschnitte:

  1    <1 ms     2 ms    <1 ms  defendo.nkl-emv.de [xx.xx.xx.xx]
  2    18 ms    23 ms    19 ms  xx.xx.xx.xx
  3    26 ms    27 ms    16 ms  xx.xx.xx.xx
  4    17 ms    23 ms    19 ms  f-ed4-i.F.DE.NET.DTAG.DE [62.154.14.210]
  5   208 ms   231 ms   227 ms  217.243.218.38 (scheinbar ein DDoS Abwehrsystem)
  6    17 ms    23 ms    23 ms  heise1.f.de.plusline.net [82.98.98.98]
  7    16 ms    19 ms    23 ms  redirector.heise.de [193.99.144.80]

Der letzte HOP ist ein Loadbalancer und ich werde über das Netz der telekom in frankfurt zum Netz von plusline ebenfalls in Frankfurt geroutet. Mein Durchsatz zu heise müsste gut sein, allerdings könnte das Abwehrsystem durchaus auch mal unter Lastproblemen leiden und dann nachgeben.

[Aswan]

Traceroute habe ich schon mehrmals laufen lassen, auch zu verschiedenen Tageszeiten (morgens, mittags, abends).

von der IP 62.154.89.46 auf 217.243.216.202, anscheinend beides telekom geräte bei Heina in der nähe von Kassel, ist eine entsprechende diskrepanz zu sehen ( von 27 ms auf 51 ms hoch, zum zeitpunkt des postings). Abends geht das von ca 30 ms auf gute 90-100ms, also eine diskrepanz von 60-70 ms, dabei sthene beide geräte an selben ort. ich gehe davon aus das dort das problem liegt und würde diesen routing punkt daher gerne vermeiden, deshalb der versuch des VPN, den ich einfach nicht zum laufen bekomme.
Da ich eine Telekom leitung habe und wir alle wissen dass Telekom streamingdienste nicht besonders mag, solange sie nicht ihre eigenen sind, kommt mir das auch in keiner Weise komisch vor.
Live-fra.Twitch.TV scheint übrigens tatsächlich einen lastenverteiler zu haben, denn es kommen unterschiedliche IPs im bereich von 199.9.254.236-246 raus wenn man das ganze auflöst.

Auch funktionierte es zu Zeitpunkten, zu denen ich Probleme hatte, also abends, für einen bekannten aus Rumänien hervorragend. Er kommte mit 3mbit/s zum frnakfuter twitchs erver streamen während ich selbst bei 350kbit/s noch ca 20% dropped frames hatte. Daher bin ich mir ziehmlich sicher, dass es das routing ist.

Die Frage ist nun, kann ich das routing über diesem telekom knoten irgendwie unterbinden bzw. kann ich eine alternative route einstellen? Oder bleibt mir nur der weg über den VPN, den ich allerdings nicht aufgesetzt bekomme, vermutlich weil der hoster es nicht hinbekommt TUN/TAP und iptables vernünftig einzustllen. Es kann natürlich auch sein dass ich beim aufsetzen von pptpd einen fehler gemacht habe oder OpenVPN fehlerhaft aufgesetzt habe.

Für pptpd habe ich dieses video zu rate gezogen: https://www.youtube.com/watch?v=BS5o7pKPxSs
bei openvpn ist es etwas einfacher, da ich einfach den debian server von openvpn.net bekommen habe und den installiert habe, dann ins web interface gegangen bin nur um bei serverstart folgende fehlermeldung zu finden: iptables service not started because of error (SVC_RUN_EXCEPT)

Ich hoffe mir kann wer helfen =/

Ich sammel heute den Tag über mal die traceroutes, aber ich glaube kaum dass es anders aussieht als gestern, wie bereits beschrieben =/

[Chefin]

Nein, die Routen kannst du nicht umstellen. VPN-Tunnel helfen dir eher nicht weiter. VPN ist nochmals ein zusätzliches Delay. 100ms sind nicht wirklich kritisch, wenn es um streaming geht.

Telekom hat bisher keine Sperren oder künstliche Engpässe. Selbst P2P geht erstmal völlig anstandslos. Es kann zu Einschränkungen kommen, wenn man es wirklich absolut übertreibt. Aber das ist nicht dein Problem.

Über was für eine Leitung gehst du den online? Provider Telekom..nehme ich an, Bandbreite? Den man braucht ca 100% mehr Gesamtbandbreite als der Stream benötigt. Das ist technisch nicht anders machbar. Ein Server kann ja nicht ungebrenzt Daten verarbeiten, er schickt sie zeitversetzt ab. Innerhalb eines bestimmten Zeitzyklus muss er alle Teilnehmer bedient haben. Setzten wir diesen Zyklus mal auf 100ms, in der ein Server 20 Teilnehmer bedient. Nun kommen also 5ms Daten rein, dann aber 95ms keine Daten mehr. Die Router entlang der Strecke reduzieren diese Speed. Würde ja sonst nicht gehen. Wenn der Server 10GBit angebunden wäre und sendet dir 1MB braucht er dazu 0,78ms, du aber brauchst mit einer 3MBit Leitung 2,67sec zum empfangen. Im Netz puffern sich die Daten aber für dich. Nur du siehst, das wenn man einen Stream mit 2,5mbit empfangen wollte und nur 3mbit hätte es absolut keine Luft mehr für delays gibt. Und wir haben nunmal unvermeidliche Delays, die du durch schnelleres Empfangen ausgleichen musst.

Ich habe nun gerade mal den Streamingdienst über seine URL getracert, welche zu dieser IP aufgelöst wurde:199.9.254.236. Bei mir hat es Drops, die aber erst im Level3 Netz auftreten. Im telekom backbone ist es noch OK, dann geht auf einen Coreswitch fürs peering und wird dann im level3 netz geroutet. Dazu kommt das der anbieter wohl nur ein reseller ist, die IP löst auf Justin.tv auf. Das bedeutet nachtürlich nochmals einen seperate Fehlerquelle. Und paranoid sind sie dazu.

C:\Dokumente und Einstellungen\Administrator>tracert 199.9.254.236

Routenverfolgung zu live1.fra01.justin.tv [199.9.254.236]  über maximal 30 Absch
nitte:

  1    <1 ms    <1 ms    <1 ms  speedport.ip [192.168.2.1]
  2    15 ms    15 ms    16 ms  xx.xx.xx.xx
  3    18 ms    16 ms    18 ms  xx.xx.xx.xx
  4    23 ms    23 ms    23 ms  l-eb2-i.L.DE.NET.DTAG.DE [62.154.89.110]
  5    78 ms    77 ms     *     217.243.216.202 <--peering Coreswitch
  6    77 ms    79 ms    76 ms  ae-4-90.edge7.Frankfurt1.Level3.net [4.69.154.20
3]
  7     *        *        *     Zeitüberschreitung der Anforderung.
  8  JUSTIN.TV.edge7.Frankfurt1.Level3.net [62.67.38.58]  meldet: Zielnetz nicht
 erreichbar.

Ein Dienst der an der Firewall die Meldung ausgibt das er nicht erreichbar ist ist ne Lachnummer vom Admin. Meint er das er damit Hacker abschreckt? Einfach nicht antworten wie der Hop7 wäre die richtige Einstellung. Aber man sieht auch, das am Coreswitch zwischen den Backbones der Delay entsteht. Das würde ich jetzt nicht auf telekom schieben, obwohl es nicht ausgeschlosssen wäre. Man könnte es so einstellen, aber das wäre Mutwillig.

Meine Vermutung liegt eher da, das der provider Justin.TV seinem reseller nur bestimmte Bandbreite gibt. Der reseller vertreibt aber mehr Bandbreite als er hat, weil ja nicht alle gleichzeitig gucken. An diesem Gleichzeitigkeistfaktor scheiter es aber dann. Abends scheint es wohl doch so zu sein, das fast alle TV schauen und sei es nur aufnahme starten oder so. Und dann reicht es nicht mehr.  Ein VPN wird wohl auch deswegen abgelehnt, weil in ihrer paranoiden Art alle IPs sperren die vieleicht ihrerseits den Stream nehmen und neu verteilen. Technisch wäre das an jedem Server möglich. ich miete mir zugang zu dem Stream für 10Euro/mtl und vertreibe es an eigenem Server für 5 Euro/mtl an 20 Kunden. Ergibt 100Euro, abzüglich Unkosten bleiben 50 Euro. Deswegen werden sie nur direkt connect zulassen von IPs die zu einem Endkundenprovider gehören.

[Aswan]

twitch.tv ist ein service von justin.tv. Hier wird nicht als reseller agiert, sondern lediglich anders für den dienst geworben (twitch.tv ist für gamingstreams und justin.tv für alles andere).

Es geht ja auch nicht um das mieten eines streams etc, denn bei twitch/justin.tv ist alles kotsenfrei und über Werbung finanziert. Weder für das schauen, noch für das anderweitiges nutzen muss man bezahlen. Jeder kann dort seinen eigenen stream betreiben mit einer einfachen Accountregistrierung. Schauen kann ich dort übrigens recht lagfrei, nur wenn ich selbst einen upload dorthin betreibe kommt die Einschränkung zustande.

Bandbreitenengpässe auf seiten von twitch.tv hatte ich auch zuerst im Verdacht, habe es aber dann deshalb ausgeschlossen, weil andere keine probleme haben größere Datenmengen zu senden. Wie bereits erwähnt hatte ein Bekannter auf Rumänien eine stabile 3mbit/s Verbindung dorthin zum Zeitpunkt an dem meine immer zusammenbricht.

Mein DSL ist übrigens mit 50 down/10 up synchronisiert und funktioniert auch zur prime time mit dieser geschwindigkeit, nur eben nicht zu besagten Dienst.

Hast du vielleicht noch eine weitere Idee wie ich das ganze lösen könnte?

[Chefin]

Gerade sehe ich einen Hinweis der mir weiter hilft

Nur wenn du Uploads machst, knicken deine Downloads weg?

Technisch ist es so: für einen Download muss man auch immer upload machen und zwar nicht ganz unerheblich. Ein Datenpaket ist brutto 1500byte groß(mehr geht im Internet nicht). Netto bleiben dann ca 1200 Byte. Für dieses Paket muss man (bei TCP, UDP gilt das nicht) eine Quittung schicken. Bei 100Byte overhead und 50 byte Nutzdaten(quittung) also ein paket mit 150byte.

Gehen diese Pakete nicht schnell genug raus, sendet die gegenstelle nichts mehr bis die Quittungen ankommen. Beim Upload könnte es passieren das du die vollen 10Mbit benutzt und deine Quittungen verzögert werden. Dann stockt dein Download etwas. Zwar versucht Windows zu erkennen, das man den Upload nicht bis Ultimo ausreizen darf, aber hier fällt es schwer den richtigen Kompromiss zu finden. Einerseits keine Bandbreite verschenken, andererseits aber auch die Delay abends anders behandeln. Tagsüber mit geringer Delay fällt das wohl nicht so auf, bzw löst sich der Knoten schneller bevor dein Puffer leer läuft.

Das wäre jetzt das einzige was sich aus deiner Andeutung noch raus lesen lässt. Von den technischen Daten wäre es ansonsten OK. Ist 50/10 eine Kabel-BW Internetleitung? Kabel-Internet ist shared medium und kann zu Stosszeiten auch mies aussehen. Aber auch eine 50/10 VDSL telekom wird am Backbone probleme mit der Gleichzeitigkeit haben. 50Mbit würde ja heisen an 1Gbit Glasfaser können gerade mal 15 teilnehmer dran(50+10Mbit). Meist wird hier auch mehr verkauft als die Leitung dann hergibt.

Wenn es wirklich am Übergang zum Level3 netz liegt, wirst du keine Chance haben. Ob du am VPN dann schneller wirst, wage ich auch zu bezweifeln.

[Aswan]

Eine Verstopfung des "ACK Tunnels" kann ich ausschließen, da selbst bei einer gewünschten Streamingbandbreite von 600kbit/s das Problem auftritt, die Leitung allerdings Problemlos 10 mbit/s Upload hergibt, also nichtmal 1/10 des Bandbreite genutzt wird.
Es geht hier auch nicht um downloads, sondern um einen Upload. Ich kann problemlos Videos anschauen, aber wenn ich selbst streame, also uploade, dann entsteht dieses Problem.

Ich bin tatsächlich fest davon überzeugt, dass es an der Verbindung der Telekom zu Level3 liegt. In den USA gibt oder gab es da ein ähnliches Problem mit einem Netzbetreiber und Level3, wodurch einige Leute twitch.tv nichtmehr vernünftig nutzen konnten, weil die Kunde bei besagtem Netzbetreiber waren bzw. sind.

Deshalb denke ich auch, dass eine VPN was gilt. Ein etwas höherer Ping sollte den Datenstrom nicht allzu sehr beeinflussen und da eine Verzögerung bei Videoübertragungen nciht so schlimm ist (solange letztendlich alles ankommt!). Eine Verbindung zu einem VPN, der eine bessere verbindung mit dre Telekom hat, sollte also auch bessere ergebnisse liefern, sofern dieser VPN in einem Netz ist, das eine entsprechend gute Level3 Verbidnung hat, was aber üblich sein sollte.

Nur habe ich eben diesen "iptables service not started because of error (SVC_RUN_EXCEPT)" error wenn ich den OpenVPN server auf einem Debian 6 VPS starten will. Der hosting provider konnte mir nicht helfen. Ich habe nun bei einem andere Hostingprovider einen kostenfreien Testserver erhalten, um zu schauen ob es dort funktioniert, aber auch hier der gleiche fehler. Auch dieser Betreiber nutzt Virtuozzo zur Virtualisierung. Dort ist das TUN device allerdings nicht vorhanden, weswegen ich schon den Support angeschrieben habe. Vielleicht funktioniert es wenn die mal drübergeschaut haben. PPTPD habe ich dort noch nicht probiert, werde das aber morgen mal machen. Sehr schade dass es so umständlich ist einen VPN Server in einem VPS aufzusetzen. Vielleicht muss ich letztendlich nen root Server nehmen, möchte aber erst sicher gehen, dass ich alle Möglichkeiten ausgeschöpft habe was den VPS angeht, da ein dedicated Server eben doch mit einigem mehr zu buche schlägt.

Hat noch jemand ne Idee oder kann mir bei dem aufsetzen des VPN Servers helfen oder hat vielleicht selbst einen, den ich, nur mal für ne Stunde abends, nutzen könnte um zu probieren ob es damit geht? Wenn es nämlich dann nicht geht, dann brauch ich acuh garnicht weiterprobieren

Help

[Chefin]

Mit VPS hatte ich bisher nur am Rande zu tun und nicht selbst aufgesetzt. Da fehlt mir die praktische Erfahrung. Ich kenne lediglich die theoretische Auslegung.

Ich sehe auch am Peering-übergang das Problem. Vieleicht findet sich ja noch ein VPN-Spezialist.

[Aswan]

Ich hab mir gestern einen hidemyass (VPN anbieter) Zugriff gekauft und se ausprobiert. Ich konnte ohne Probleme wunderbar streamen, es ist also definitiv die Telekom schuld. Soviel zur Netzneutralität, denn komischerweise funktionieren alle anderen Dinge wunderbar (andere server erreiche ich mit voller Geschwindigkeit) ...

[Chefin]

Telekom ist Netzneutral (noch). Sie hauen das Thema offen an, weil sie eine Regelung wollen. Man kann über die Telekom viel sagen, aber gegenüber dem Rest sind sie noch die Ehrlichsten. Natürlich kochen auch sie nur mit wasser, auch sie machen Fehler und sie wollen Geld verdienen.

Aber wenn die telekom etwas sperrt, dann sagt sie es. Als sie ihre DNS manipuliert haben und mit eigenen Suchergebnissen versucht haben ein bischen google zu spielen, haben sie das auch offen gesagt. Und nach einigen Monaten auch wieder entfernt, weil die Menschen sich aufgeregt haben. Es gab auch direkt auf der Telekom-Seite die Erklärung, was man machen soll, wenn man nicht am DNS der Telekom mit ihrem neuen Service teilnehmen will.

Ich denke das hier ein unglückliches Pering zustande kommt, das du durch den VPN-Tunnel umgehst.

Trotzdem natürlich Glückwunsch fürs gelöste Problem.

[candoo]

Ich hab mir gestern einen hidemyass (VPN anbieter) Zugriff gekauft und se ausprobiert. Ich konnte ohne Probleme wunderbar streamen, es ist also definitiv die Telekom schuld. Soviel zur Netzneutralität, denn komischerweise funktionieren alle anderen Dinge wunderbar (andere server erreiche ich mit voller Geschwindigkeit) ...

Freut mich. Blöde Telekom! Ich nutze auch hidemyass aufm Handy für Voip

Grüße

[Aswan]

Telekom ist Netzneutral (noch). Sie hauen das Thema offen an, weil sie eine Regelung wollen. Man kann über die Telekom viel sagen, aber gegenüber dem Rest sind sie noch die Ehrlichsten. Natürlich kochen auch sie nur mit wasser, auch sie machen Fehler und sie wollen Geld verdienen.

Aber wenn die telekom etwas sperrt, dann sagt sie es. Als sie ihre DNS manipuliert haben und mit eigenen Suchergebnissen versucht haben ein bischen google zu spielen, haben sie das auch offen gesagt. Und nach einigen Monaten auch wieder entfernt, weil die Menschen sich aufgeregt haben. Es gab auch direkt auf der Telekom-Seite die Erklärung, was man machen soll, wenn man nicht am DNS der Telekom mit ihrem neuen Service teilnehmen will.

Ich denke das hier ein unglückliches Pering zustande kommt, das du durch den VPN-Tunnel umgehst.

Trotzdem natürlich Glückwunsch fürs gelöste Problem.

Dass die Telekom nichts dafür kann wenn plötzlich viele Leute einen neuen Dienst nutzen, der eine entsprechend hohe Bandbreite benötigt, ist mir schon klar.
Dass der ein oder andere Techniker dort keine Ahnung hat was man da machen kann ist schon etwas komischer, aber dass diese Techniker dann immer Rücksprache halten und im Anschluss direkt auflegen, weil sie offenbar die Anweisung dazu bekommen haben (von... welche Stelle auch immer sie anrufen), ist einfach nur dreist.
Das Problem ist übrigens jetzt schon eine weile bekannt und geändert wurde noch nichts. Gut, man könnte sagen die sind halt etwas langsam, aber nur 300kbit/s? Das ist schon etwas wenig.
Ich werde versuchen andere Server zu finden zu denen die Route ebenfalls durch diese beiden IP Adresse der Telekom geht. Sollte es hier dann Problemlos mit guter Geschwindigkeit klappen, so muss da irgendwas im Busch sein und eine Mail an den CCC ist fällig, sodass das mal ans Licht kommt. Wir werden sehen, ich werd das weiter verfolgen.

[Chefin]

jo, gebe dir schon recht, man muss es im Auge halten. Es muss in der Gesamtentwicklung gesehen werden und da können manchmal 10 Kleinigkeiten im Zusammenhang einen Skandal aufdecken.