● [REC]
Mittwoch, 19.3.2014, 07:39 > daMaxLaut Washington Post / Edward Snowden kann die NSA die kompletten Telefongespräche eines Landes 30 Tage lang aufzeichnen. So langsam fange ich an, an diesen Enthüllungen zu zweifeln. Ich weiß nicht, wie viele Millionen Minuten Telefongespräche jeden Tag anfallen, aber der Berg an Festplatten, der notwendig wäre um das alles aufzuzeichnen, entzieht sich meiner Vorstellungskraft. Sollen wir mal rechnen?
Nehmen wir mal an, die NSA wandelt jedes Telefonat sofort in ein MP3 mit der nicht gerade überwältigenden Qualität von 64kbps und 22.050 Hz auf. Da fallen pro Minute pi mal Daumen 500kB an, also 30MB pro Stunde. Ich persönlich telefoniere irgendwas zwischen 1-3 Stunden pro Tag, aber ich sitze auch im Home-Office. Ist jedoch egal, andere Leute arbeiten im Callcenter und telefonieren 7-9 Stunden am Tag. Machen wir einfach eine Tabelle auf und gehen von 30 Tagen pro Monat aus.
Ein frei erfundenes Land mit 30 Millionen Einwohnern:
| Stunden Telefonate pro Tag und Einwohner | Das macht in Summe TB pro Tag | Also pro Monat |
|---|---|---|
| 1 | 30MB * 1Std * 30 Mio EW = 900.000.000MB = 900 Terabyte | 900TB * 30 = 27.000 TB = 27 PB |
| 2 | 1.800 TB | 54 PB |
| 3 | 2.700 TB | 81 PB |
Wenn ich mich jetzt nicht irgendwo mit den Tausenderstellen vertan habe, bräuchte man für die USA:
300 Mio Einwohner * 2h/Tag * 30MB * 30Tage = 540 Petabyte.
Das sind 540.000 Terabyte. Die größte Festplatte bei Arlt hat zur Zeit 4TB. Davon bräuchte man 135.000 Stück. Von den Rechnern, die das aufzeichnen und umwandeln mal ganz abgesehen.
Also ich weiß ja nicht...
PS: davon abgesehen lauten die Themen bei SPON zur Zeit (in dieser Reihenfolge): Krim, Krim, Krim, Krim, Vermisstes Flugzeug, Vermisstes Flugzeug, Vermisstes Flugzeug, Vermisstes Flugzeug, Vermisstes Flugzeug, Schießerei in der Türkei, Israel fliegt Angriff gegen Syrien, Gensoja im Tierfutter für Billigfleisch, Google Chromecast, Fußball, Fußball, Fußball, Fußball, Fußball, Fußball, Fußball, Fußball, Kinder in den USA, Fotostrecke NY...
Und so geht das seitenweise weiter. Bis zu Netzwelt. Da kommt dann das Überwachungsdingens. In Netzwelt! Ja, nee, is klar.
Artikel als RSS
und natürlich habe ich mich ca…
ich glaube man kann davon ausgehen, dass die geheimdienste ihre festplatten nicht im fachhandel kaufen, sondern etwas weiter sind mit der technik..
Wie groß kann so eine Festplatte werden? 10 TB? Macht immer noch 54.000 Stück. Denk mal, wieviel PLATZ die brauchen...
Danke! Du spricht mir mal wieder aus der Seele. Ich kann manche Enthüllung nämlich auch nicht so ganz "glauben", weil es da um so krasse Datenmengen geht. Aber du denkst da noch zu sehr an "klassische" Speicherung, wie man es privat machen würde. Für das reine Wegspeichern ohne wahlfreien Zugriff würden sich aber auch Magnetbänder sehr gut eignen und die gibts schon in Größenordnungen bis 35TB. Man muss halt nur ein bisschen Platz zum Cachen der Daten haben, bevor sie auf das Band kommen. Also machbar ist das schon.
Gibt zum Thema Magnetbänder übrigens eine lustige Rechnung: Die Bandbreite beim Versand einer LKW-Ladung per FedEx quer durch die USA wäre deutlich höher als bei einer Glasfaserleitung
@Daniel: ja aber ein wahlfreier Zugriff ist doch notwendig. Zusammen mit einer Ablage der beteiligten Telefonnummern. Sonst bringt das ganze doch nix. Oder? Ich meine, die Telefonate fallen ja oft gleichzeitig an. Die kannste nicht einfach nur mitschneiden, da musste schon für eine korrekte Indexierung sorgen sonst findest du doch in dem ganzen Wust nix mehr.
Das soll mir mal jemand erklären, der sich mit sowas auskennt
Alleine WD hat lt. eigenem Geschäftsbericht 2012 600 Exabyte (!) HDD verkauft. Sooo groß sind solche Zahlen gar nicht
@meinerzh: Holy storage device, Batman! Krass.
Ich denke nicht, dass grundsätzlich alle Gespräche mit Inhalten gespeichert werden, sondern wer mit wem telefoniert, wann das geschieht und wo die jeweiligen Gesprächspartner sich aufhalten. Das Speichern der Inhalte wird sicher auf "wichtige" Leute begrenzt, wie Industrielle, Politiker und "auffällige" Personen, wie Regierungsgegner oder Aktivisten.
Dabei fallen immer noch viele Daten an, aber schon sehr viel weniger, als wenn alles gespeichert würde.
Genauso müsste es bei e-Mails sein, wo dann noch ein Vorteil zum Tragen kommt, dass man diese direkt auf einfachem Wege filtern und nur die wichtigsten Inhalte speichern kann; die Daten wer mit wem, wann, von wo, nach wo, mit welchem Gerät werden natürlich immer gespeichert.
Aber selbst wenn es so sein sollte, dass die NSA alles speichern will, sollten wir davon ausgehen, dass sie es tun.
Ich könnte mir auch denken, dass sie, falls sie Magnetbänder benutzten, Systeme hätten, die einen quasi wahlfreien Zugriff gestatten. Bedenke immer, dass wir es hier mit der NSA zu tun haben.
Selbstverständlich brauchen solche Rechenzentren Platz und Infrastruktur und Strom und so Zeuch, die USA sind aber recht groß und weitläufig und hier gilt ganz gewiss auch.
Geheimdienste, gleich welcher Couleur, werden alles (technisch) machbare unternehmen, um an Informationen zu gelangen, die ihrem Zugriff normalerweise entzogen sind; was immer man sich vorstellen kann, was möglich wäre, man darf man sicher sein, dass es ausprobiert wird, egal wie absurd oder teuer die Sache zu Beginn auch scheinen mag.
Fazit: Wenn die NSA der Meinung ist, dass sie alles speichern will, kannst du davon ausgehen, dass sie das tun, egal wie irrwitzig hoch der Speicherbedarf ist.
buhuhu das ist alles so furchtbar. Wenn man mal überlegt, was man mit der ganzen Kohle Sinnvolles machen könnte. Windkraft- und Solarstrom für die ganze Welt. Den Hunger in der Welt abschaffen. Eine Marskolonie gründen. Hoverboards bauen. Es ist zum Heulen.
die werden/würden wohl eher G.729 oder einen anderen Telefoniecodec nutzen also 1kb / sec ... kommt natürlich trotzdem eine menge bei raus ....
@einLeser: Würde ich auch vermuten. Jedenfalls nicht so etwas ineffizientes wie MP3. Und da Audio ja sowieso meist nur mit reduzierter Bandbreite (ca. 400Hz bis 4kHz) übertragen wird, reduziert sich die Datenrate noch mal gewaltig. Ich würde also auch sagen, dass die 64kBit/s um eine Größenordnung zu hoch angesetzt sind.
@meinerzh: Ich fände es dabei durchaus realistisch, wenn die NSA 1%-5% des Weltmarktes kauft. Jedes Jahr.
Damit wären wir dann bei mehr als 100EiB Kapazität, die allein im Jahr in den Datacenters der NSA 2012 dazu gekommen sind. Das reicht etwa, um alle Telefongespräche der Welt abzuspeichern:
7 Mrd Einwohner * 2h/Tag * 3MB * 356Tage = 210E18 B = 210 Exabyte
(Ok, Einschränkungen: die NSA wird wohl nicht alle Telefongespräche der Welt abgreifen können, vor allem nicht in Russland und China. Außerdem speichern sie ja auch noch andere Daten. Dafür wird in den Entwicklungsländern bestimmt auch weniger als 2h/Tag telefoniert.)
Und die Telefondaten muss man ja auch nicht auf Platte Speichern. Der Inhalt geht ja schöhn auf Band zu SPeichern und nur Metadaten mit Gespräche wer mit wem wann und au welchem band auf platte.
Dann Reichen schon weniger festplatten, die Strom brauchen..
Aber ich denke auch Strom ist für das NSA kein Problem (eher wasser)
so nen Spectralogic T-finity kann ganz schön viel speichern und das kostengünstig..
Ich finde die Zahlen jetzt nicht sooo weltbewegend für einen Geheimdienst mit quasi unendlichem Budget.
Um die Speichermengen mal einzuordnen: ebay z.B. unterhält (laut http://gigaom.com/2013/03/27/why-apple-ebay-and-walmart-have-some-of-the-biggest-data-warehouses-youve-ever-seen/ ) ein > 50 PB Storagesystem.
Es lohnt sich auch, mal z.B. bei Teradata vorbei zu schauen, was im "Big Data"-Umfeld aktuell so "state of the art" ist... http://www.teradata.com
-mt
Google mal "Utah Data Center" und schau dir die Lagerhallen an. Und das ist nur EIN Datacenter,... das passt schon, die bauen ja auch unterirdisch...
Bedenke: zu jedem Telefongespräch gehören zwei Leute. Wenn du also zwei Stunden pro Tag am Telefon hängst, gibt es ein paar andere Leute, die ebenfalls insgesamt zwei Stunden pro Tag mit dir telefonieren. Daraus ergeben sich aber nicht 4 Stunden Audio, sondern nur zwei. Du müsstest also die Gesprächszeit durch 2 teilen, ansonsten zählst du doppelt.
Nichtsdestotrotz bleibt da natürlich immer noch eine ganze Menge übrig.
Es sind vielleicht ein paar falsche Annahmen dabei.
Die guten alten Modems konnten schon ganz fröhlich in Echtzeit auf die Festplatte speichern (etwa 500kb pro Minute, kann auf 33% bzw. 25% reduziert werden). Wenn man davon ausgeht, daß die Daten da nicht in Rohform vorliegen, sondern direkt codiert werden, kann man von einem deutlich geringeren Volumen ausgehen. Spracherkennung gibt's ja ausreichend gute.
13,2 kBit/s das ist die GSM Übertragungsrate. Die Reicht ja den meisten (wenn man sich an Bahnhöfen oder in der Innenstadt umsieht ja aus zum quatschen)
also unter 1 MB/min
also pro tag dauerquasseln 1 TB
30 TB / Person und Monat
also nur 45 Petabyte für die 300 Millioen die miteinander einen ganzen Monat 24x7 h telefonieren..
hab ich mich verrechnet?
Ich sollte lieber schaukeln gehen!
"...ganzen Kohle Sinnvolles machen...". ach mäx, "geld" ist doch illusion. es gibt kein geld. es gibt nur schuld und notenpresse und nullen und einsen im rechner. nicht das geld, daß für diesen scheiss rausgehauen wird, ist das problem, sondern die konzentrierung und verschwendung der ressourcen (in jeder beziehung) auf eben diesen überflüssigen scheissdreck. blah. du weisst schon was ich meine. nächtle.
@lostintranslation: stimmt, auch noch ne möglichkeit der speicherbegrenzung; automatisches transkriptieren, wozu audio speichern, wenns der wortlaut auch tut? und wie du schon meintest, stabile spracherkennung ist mittlerweile, gerade für die sophisticated-military-technologie, wohl schon länger kein problem mehr.
Interessant ist wie Shannon das sieht
gut, bei der vertextung der sprache geht auch viel Information verloren, mehr als übertragungscodec und speicheränderungen.
Daher wird dsa schon was bringen, aber evtl will die NSA ja auch stimmungen und hintergrundgeräusche speichern. Ist ja schon wichtig ob ich am Bahnhof telefoniere oder in ner stillen Besenkammer (wenn Boris Becker die nicht gerade belegt)
ach ja.. lustige Diskussion die auch zu nix führt
Kinners, ihr müsst mal von eurer PC- und Tablet-Denke wegkommen
Für das bisschen an Datenmengen nimmt man: Ein knappes Dutzend IBM z/Series-Mainframes, als Betriebssystem z/OS, dazu jeweils ein gepflegtes DB/2; das alles wird in einem Sysplex gekoppelt und - fettich is die Laube.
Der ganze Krempel läuft selbst bei 100.000+ gleichzeitigen Zugriffen gerade mal im hellgrünen Bereich.
Platzbedarf für obiges? Etwas mehr als ein halbes Fussballfeld. Mit allem, auch den Massenspeichern.
Erweiterungsmöglichkeiten des Sysplex? Wie bekomme ich hier eine um 90 Grad gedrehte 8 rein
So: ∞
Charmap.exe macht's möglich
Du machst mir Angst
Well, Max, die ganze Technik gibt's seit locker 20 Jahren (natürlich über die Jahre immer weiter entwickelt), hervorgegangen aus "PR/SM".
Damals war das eine relativ kostengünstige Möglichkeit, die Hardware untereinander zu koppeln und halbwegs ausfallsicher zu machen. Jetzt bitte nur verzweifelt lachen: Ausgesprochen wird das im IBM-Jargon als "prisom".
Noch ein Beispiel, wie die Sysplex-Technik ganz real und für etwas andere Zwecke funktioniert?
Gab es Anfang/Mitte der 1980er Jahre noch für fast jede Sparkasse an fast jedem grösseren Ort ein eigenes (IBM-)Rechenzentrum, wurden die schon bald in den DVG's (Datenverarbeitungsgesellschaften der Länder) zusammengefasst. Also wurden aus einigen Dutzend RZ's nur noch acht.
Seit mindestens 10 Jahren gibt's die auch nicht mehr, alles wird zentral in Nürnberg über die Sparkassen Informatik gerechnet.
Mit "alles" meine ich auch wirklich alles: Alle Kunden, alle Tochterunternehmen (Bausparkassen, Börsenzocker, etc. etc. etc.). Weltweit. Wirklich alles. Global. In Nürnberg.
Ausfallsicherheit: 99,9999999%. Datenredundanz 100%.
Antwortzeiten: max. 3 Sekunden im Durchschnitt für die "gängigen" Daten. Weltweit.
Benötigte Hardware und Software: Siehe mein erstes Posting, alles nur mehrere Nummern kleiner...
Vatta, klar kannste ne Z Nehmen zum verarbeiten, aber es geht um den Platz zum Speichern. Und der ist der Selbe, egal ob ich ZSeries als Frontend hab oder was anderes. Und das man die PBs in nen Halbes Fussballfeld reinbekommt, hab ich ja oben auch schon gezeigt..
Und, da der NSA ja das Wasser abgedreht werden soll, sind ZSeries ja auch nicht so gut, ohne das wasser werden die zu heiß:) SCNR
aber echt erschreckend ist, dass so Big Data gar net mehr so Big ist..
Fronti, du bist da nicht ganz auf dem Laufenden
Die Frage ist schon lange nicht mehr, *wie* die vielen Daten gespeichert werden können.
Die Frage ist vielmehr, *wo* bekomme ich noch mehr Daten her, um den zur Verfügung stehenden Platz halbwegs sinnvoll zu nutzen.
Das ganze Zeugs wird in RAID's abgelegt, die kaum grösser als ein kleiner Kleiderschrank sind und für sich alleine eine Speicherkapazität bieten, die *du* niemals gefüllt bekommst.
zSeries: Es gibt keine wassergekühlten zSeries-Rechner. Das ganze ist in extrem stromsparender CMOS-Tech gebaut. Überhaupt stellen die "z"'s keine grossen Anforderungen mehr an die Umgebung. Halbwegs stabile Raumtemperatur und Luftfeuchtigkeit reicht.
Die letzten "Big Irons" die wassergekühlt waren, waren die ganz grossen Modelle der Vorgängergeneration ("S/390").
Und eine "z" als Frontend? Auch da liegst du falsch. Die "z"'s sind nichts anders als gigantische Server, die ihre Daten "nach vorne" schaufeln.
Und dieses "vorne" besteht aus einer DC-Anwendung (Data Communication); in der Regel ein CICS/DC oder ein IMS/DC. Über eine CICS- oder IMS-"Connect"-Software stehen die Daten dann sogar auch auf den Workstations (IBM-Wort für Anwender-PC) zur Verfügung.
Die DC's laufen auf dedizierten Rechnern innerhalb des Sysplex. Natürlich redundant.
Dann einer NSA "das Wasser abdrehen"? Die haben eine eigene Infrastruktur, mit der man eine Stadt wie Hannover dauerhaft und locker mit Strom und Wasser versorgen kann.
Steht doch alles in den bereits geleakten Doc's drin.
Zu guter Letzt; und damit war's das für mich auch zu diesem Thema: Ich habe nur 2 1/2 Jahrzehnte an und mit diesen Rechnern gearbeitet. Angefangen bei einer /370-158 aus den 1970ern bis hin zu einer "z" mittlerer Grösse aus early 2000 (genaues Modell mittlerweile vergessen und auch zu faul zum suchen).
Man kann das mit teurer Hardware machen (s. oben) oder mit Hardwareschrott (Google).
Bei den Rechnzentrumskapazitäten die Google hat, würden die das Projekt NSA wohl - milde lächelnd - nebenbei hosten können.
@MajorNME: Aus dem Nähkästchen? Gut, aus dem Nähkästchen: Bei derartigen Geschichten ist "Big Blue" in der Preisgestaltung dermassen flexibel, da wird jedes Kaugummi zu einem Stück Kruppstahl...
Vorteil bei deiner Version: Die Datensätze die dem einem (NSA) fehlen, können mittels einem simplen SQL "UPDATE nsa-tab WHERE fehlt SELECT FROM scroogle-tab WHERE vorhanden" aktualisiert werden.
Wahrscheinlicher ist allerdings folgendes Szenario: Die NSA geht zu beiden (IBM, Scroogle) hin und verklickert denen: "Hört gut zu, wir spielen jetzt ein anderes Spiel: Wenn ihr beiden euch auf unserem Spielplatz nicht vertragt und die Förmchen untereinander austauscht, dann machen wir euch im Rahmen des Patriot-Act den Laden dicht."
Paranoia oder Fiktion? Not these days...
p.s.: Und das Scroogle bezüglich der Zusammenarbeit mit der NSA bisher das Blaue vom Himmel runtergelogen hat, ging dieser Tage doch auch wieder durch die Medien. Zumindest auf netzpolitik.org (scheinen im Übrigen die einzigen zu sein, die mittlerweile noch ernsthaft an dem Thema dranbleiben).
Vatta: Wenn Du G**gle meinste, dann schreib das auch. Scroogle ist seit etwa 2 Jahren offline.
xkcd hat das schon mal schoen rechechiert: http://what-if.xkcd.com/63/
Ist zwar google und nicht NSA aber ich denke man kann davon ausgehen das die NSA das uebertrifft oder zumindest mithalten kann.
Also alles kein Problem...nicht mal annaehernd.