Blogmeldung anzeigen

Aktivitäten im Big Data Kontext

19:58:42 05.10.2018 gepostet von helmut.steigele@cascadeit.ch um 19:58:42 05.10.2018

Wie läuft eigentlich eine typische "Big-Data-Operation" ab?

Der werte Leser, wird in der Zwischenzeit schon bemerkt haben, dass sich während der von mir  Enterprise Big Data Workshops, allfällig gestellte Fragen noch immer nicht nach der Technologie, sondern nach Zweck, Nutzen, Aufwand und prozessualen Elementen gefragt wird.

 

Etwas, was mich selbst zu Beginn verwunderte, später aber ganz und gar nicht mehr. Zum Thema Technologie gab und gibt es schon tonnenweise kluges Material, das von jenen erläutert werden kann, welche auch schon am Thema Technologie interessiert sind. Sponsoren, Serviceowner und Abnehmer von Big Data - Leistungen, wollen aber just mit diesem Teufelszeug nichts zu tun haben, sondern nur einer erreichen: Wissensgewinn!

Gehen wir nun in die prozessuale Ebene. Wie sieht nun der klassische Big Data Prozess aus:



                                                                                                               

Sie erkennen relativ schnell. Ob es nun Big Data oder Business Intelligence ist, die grundlegenden Muster sind dieselben. Der einzige signifikante Unterschied, bei Big Data kommt es oft zu einem Mix aus strukturierten und unstrukturierten Daten, in seltenen Fällen werden nur unstrukturierte Daten verwendet. Jetzt aber die Sicht, wie sie sich zwischen "Kundenvertreter" und Big Data Center of Excellence darstellt:
 

Aktivität Kunde Big Data Center of Excellence
Auswertungsziel festlegen
  • Definition von Auswertungsauftrag
  • Zwecksetzung der Auswertung
  • Frist für die Auswertung
  • Stellen einer fortlaufenden fachlichen Schnittstelle zum "Auswerter"
  • Definieren von "technischen Anschluss-Systemem" zum Anstoss von Entscheidungen, kommerziellen Folgeaktionen etc.
  • Auswertungsauftrag annehmen
  • Ziel festlegen
  • Aufwand des Auftrages initial abschätzen
  • Machbarkeit des Auftrages abschätzen
  • Rücksprache mit Architekten, Analysten und Data-Scientists halten
Daten identifizieren
  • Welche strukturierten, halbstrukturierten und offen verfügbaren "unstrukturierten" können und dürfen verwendet werden
  • Wo sind diese Daten gelagert
  • Wer ist Eigentümer dieser Daten
  • Wie kann auf diese Daten zugegriffen werden
  • Wie gross muss die Stichprobe (Datenerhebung) sein
  • Auf welcher Breite und Tiefe wird die Stichprobe (Datenerhebung) erhoben
  • Welche Qualitätskriterien gelten für die Stichprobe (Datenerhebung)
  • Eingrenzen von
    • Menge
    • Heterogenität
    • "Gültigkeitsdauer" der Datenstichprobe
  • Wann, wird erhoben
  • Wohin werden die erhobenen Daten verteilt, gelagert
  • Wer ist der Eigentümer der Daten, wer sichtet, wer wertet aus
  • welche Sicherheitsregeln gelten
Datenbeschaffung
  • wo gibt es rechtliche Einschränkungen
  • welche Sicherheitsregeln gelten
  • auf welchem Weg können diese Daten gestellt, angeliefert, beschafft werden
  • Extract, Transform, Load
  • Antriggern der Datenquellen
Datenreview
  • Sind die Daten
    • aktuell
    • valide
    • authentisch
    • verwendbar
    • verwertbar
  • Bewerten der Datenqualität
  • Ermittlung von Streuung und Verteilungen
  • Ermittlung von Ausreissern
  • Erkennen von Grundmustern, Clustern und Korrelationskoeffizienten
Datenbereinigung
  • Welche Daten aus der Erhebung führen zu einer
    • Verzerrung der Gesamtaussage
    • Verfälschung von Analyse-Ergebnissen
    • sind sogenannte "Ausreisser"
  • Bereinigung der Datenerhebung
  • Vorbereitung für das Auswerten
Erstellen von Auswertungsmodellen
  • Welche Zusammenhänge sollen dargestellt werden
  • Welche Validierungsmodelle werden angewendet
  • Welche Reportingmodelle werden angewendet
  • Erstellen, Testen und Anwenden von Auswertungsalgorhithmen und Modellen
  • Instruktion der Data-Analysts zur Nutzung derselben
Verarbeiten und Auswerten im engeren Sinne / Erstellen von Reports und Dashboards
  • Welche Reports werden geliefert
  • In welchem Format
  • In welcher Frequenz
  • Wer nimmt vor Abliefern der Reports die Struktur derselben ab
  • Wie oft werden die Reportingstrukturen revidiert
  • Erstellen der Reports
  • Validieren der gewonnenen Aussagen
  • Triggern der Anschluss-Systeme (Push, Pull)
Informationsverteilung
  • Wer soll von welcher Erkenntnis benachrichtigt werden
  • Welche Systeme werden aufgrund signifikanter Erkenntnisse getriggert
  • Festlegen, wer die Ergebnisse in welchem Format und in welcher Frequenz erhält
  • Festlegen, wer die Ergebnisse nicht erhält
  • Festlegen wie lange die Datenbasis zur Datenerhebung gespeichert wird
  • Festlegen, von wem und wann der Löschungsauftrag für die gewonnenen Stichproben erteilt wird

Was hier noch einfach und strukturiert daherkommt, bringt bisweilen die Systemarchitekten und technischen Umsetzer einer Big Data Initiative an die Grenzen des Leistbaren. Vor allem dann, wenn sich Business-Leute nicht der Tragweite dessen bewusst sind, was sie erwarten können und dürfen, wenn nur begrenzte Budgets für die Technologie vorhanden sind.

 

Doch dazu gibt es den nächsten Blog-Beitrag :-)
 

BlinkList (http://www.blinklist.com) Blogmarks (http://www.blogmarks.net) del.icio.ous (http://del.icio.us) Digg (http://www.digg.com) Facebook (http://facebook.com) Folkd (http://www.folkd.com) Furl (http://www.furl.net) Google + (http://plus.google.com) Google Bookmarks (http://www.google.com/bookmarks/) Linkarena (http://www.linkarena.com) Mister Wong (http://www.mister-wong.de) Newsvine (http://www.newsvine.com) OneView (http://oneview.com) reddit (http://www.reddit.com/) Squidoo (http://www.squidoo.com) Stumble Upon (http://www.stumbleupon.com) Technorati (http://www.technorati.com) Twitter (http://twitter.com) Webnews (http://www.webnews.de) Yahoo My Web (http://myweb2.search.yahoo.com) Yigg (http://www.yigg.de) 
Bewertung
Aktuelle Bewertung BewertungBewertungBewertungBewertungBewertung
Durchschnittliche Bewertung Ø 5.25
Anzahl Bewertungen 4
Ihre Bewertung Bewertung abgeben: 1Bewertung abgeben: 2Bewertung abgeben: 3Bewertung abgeben: 4Bewertung abgeben: 5Bewertung abgeben: 6Bewertung abgeben: 7Bewertung abgeben: 8Bewertung abgeben: 9Bewertung abgeben: 10