Startseite
Glossar
Big Data

Big Data

Was bedeutet Big Data?

‍

Aussprache: [bɪɡ ˈdeɪtə]

‍

Wortart und Herkunft

Substantiv, Neutrum; englischer Begriff aus "big" (groß) und "data" (Daten). Erstmals in den 1990er Jahren von John Mashey (Silicon Graphics) verwendet, gewann der Begriff ab 2005 mit dem exponentiellen Wachstum digitaler Daten durch Social Media, IoT und Smartphones breite Bedeutung.

‍

Kurzdefinition

Big Data bezeichnet Datenbestände, die aufgrund ihrer Größe, Komplexität und Schnelllebigkeit die Kapazitäten traditioneller Datenbanksysteme und Analysemethoden übersteigen. Charakterisiert durch die "5 V's" (Volume, Velocity, Variety, Veracity, Value) erfordert Big Data spezialisierte Technologien und Methoden zur Speicherung, Verarbeitung und Analyse, um verwertbare Erkenntnisse zu gewinnen.

‍

Ausführliche Erklärung

Big Data repräsentiert einen Paradigmenwechsel in der Art, wie Organisationen Daten sammeln, speichern und nutzen. Die schiere Menge digitaler Informationen wächst exponentiell: Täglich werden 2,5 Quintillionen Bytes an Daten erzeugt. Diese Datenflut stammt aus vielfältigen Quellen wie Social Media, Sensoren, Transaktionen, Mobilgeräten, Logs und IoT-Geräten.

‍

Die klassische Definition basiert auf den "3 V's", erweitert auf "5 V's". Volume (Volumen) beschreibt die enormen Datenmengen im Peta- und Exabyte-Bereich. Velocity (Geschwindigkeit) bezieht sich auf die Erzeugung und Verarbeitung in Echtzeit. Variety (Vielfalt) umfasst strukturierte, semi-strukturierte und unstrukturierte Daten. Veracity (Wahrhaftigkeit) adressiert Datenqualität und Verlässlichkeit. Value (Wert) fokussiert auf den geschäftlichen Nutzen.

‍

Die technische Infrastruktur unterscheidet sich fundamental von traditionellen Systemen. Verteilte Dateisysteme wie Hadoop Distributed File System (HDFS) speichern Daten über Cluster von Commodity-Hardware. MapReduce und moderne Frameworks wie Apache Spark ermöglichen parallele Verarbeitung. NoSQL-Datenbanken bieten flexible Schemata für unstrukturierte Daten. Stream Processing Engines verarbeiten Daten in Echtzeit während sie entstehen.

‍

Die Analysemethoden reichen von deskriptiver Statistik über prädiktive Modelle bis zu präskriptiven Optimierungen. Machine Learning und KI-Algorithmen identifizieren Muster in hochdimensionalen Daten. Natural Language Processing erschließt Textdaten. Computer Vision analysiert Bilder und Videos. Graph Analytics untersucht Netzwerkstrukturen. Diese Techniken ermöglichen Erkenntnisse, die in kleineren Datensätzen verborgen bleiben.

‍

Big Data transformiert Branchen und Gesellschaft. Im Gesundheitswesen ermöglicht es personalisierte Medizin und Epidemievorhersagen. Finanzdienstleister nutzen es für Betrugserkennung und Risikomanagement. Einzelhändler optimieren Lagerbestände und personalisieren Angebote. Smart Cities verbessern Verkehrsflüsse und Energieeffizienz. Gleichzeitig entstehen Herausforderungen bei Datenschutz, Ethik und digitaler Kluft.

‍

Praktische Beispiele

  1. Netflix Empfehlungssystem: Analysiert Milliarden von Streaming-Events, um personalisierte Vorschläge zu generieren. 80% der gestreamten Inhalte resultieren aus diesen Empfehlungen.
  2. CERN Large Hadron Collider: Erzeugt 1 Petabyte Daten pro Sekunde, gefiltert auf 25 GB/s. Die Analyse dieser Daten führte zur Entdeckung des Higgs-Bosons.
  3. Walmart Verkaufsprognosen: Verarbeitet 2,5 Petabyte Daten stündlich aus Transaktionen, um Lagerbestände zu optimieren und Trends vorherzusagen.
  4. Google Flu Trends: Analysierte Suchanfragen, um Grippewellen vorherzusagen, demonstrierte aber auch die Grenzen von Big Data bei sich ändernden Verhaltensmustern.
  5. Uber Preisgestaltung: Echtzeit-Analyse von Angebot und Nachfrage über Millionen von Fahrten zur dynamischen Preisanpassung (Surge Pricing).

‍

Technische Details

Kernkomponenten der Big Data Architektur

  • Speicherung: HDFS, Amazon S3, Azure Data Lake, Google Cloud Storage
  • Batch Processing: Apache Hadoop MapReduce, Apache Spark, Apache Flink
  • Stream Processing: Apache Kafka, Apache Storm, Spark Streaming
  • Datenbanken: Cassandra, MongoDB, HBase, Redis, Neo4j

Analysetools und Frameworks

  • SQL-Engines: Presto, Apache Drill, Spark SQL, Google BigQuery
  • Machine Learning: TensorFlow, PyTorch, Scikit-learn, MLlib
  • Visualisierung: Tableau, PowerBI, D3.js, Grafana
  • Orchestrierung: Apache Airflow, Luigi, Oozie

Datenformate

  • Strukturiert: CSV, Parquet, ORC, Avro
  • Semi-strukturiert: JSON, XML, YAML
  • Unstrukturiert: Text, Bilder, Audio, Video, Logs

Vor- und Nachteile

‍

Vorteile

  • Entdeckung verborgener Muster und Korrelationen
  • Datengetriebene Entscheidungsfindung
  • Echtzeitanalysen und schnelle Reaktionen
  • Verbesserte Kundeneinblicke und Personalisierung
  • Neue Geschäftsmodelle und Einnahmequellen
  • Wissenschaftliche Durchbrüche durch Datenanalyse
  • Effizienzsteigerung und Kostensenkung

Nachteile

  • Hohe Infrastruktur- und Wartungskosten
  • Komplexität erfordert spezialisierte Fachkräfte
  • Datenschutz und Privatsphäre-Bedenken
  • Datenqualität oft problematisch
  • Gefahr von Fehlinterpretationen
  • Regulatorische Herausforderungen
  • Energieverbrauch der Rechenzentren

Verwandte Begriffe

  • Data Science
  • Machine Learning
  • Cloud Computing
  • Internet of Things (IoT)
  • Künstliche Intelligenz
  • Business Intelligence
  • Data Mining
  • Predictive Analytics

Synonyme

Massendaten, Datenberge (umgangssprachlich), Large-scale Data, Große Datenmengen, Volume Data

‍

Weiterführende Ressourcen

"Big Data: A Revolution That Will Transform How We Live, Work, and Think" von Viktor Mayer-Schönberger bietet eine zugängliche Einführung. Für technische Grundlagen empfiehlt sich "Designing Data-Intensive Applications" von Martin Kleppmann. Die Coursera-Spezialisierung "Big Data" der UC San Diego vermittelt praktische Fähigkeiten. Apache Foundation Dokumentationen bieten tiefe technische Einblicke. Für ethische Aspekte ist "Weapons of Math Destruction" von Cathy O'Neil essentiell. Die Konferenz Strata Data & AI präsentiert aktuelle Entwicklungen.