Big Smart Data
Big Data und Smart Data
Big Smart Data
Dank Entstehen des Webs in den 1990er Jahren und dank des nach wie vor anhaltenden Preisverfalls bei Elektronik sowie den unablässig wachsenden Rechen- und Speicherkapazitäten können immer mehr Daten elektronisch gespeichert und verarbeitet werden. Daten werden heute sowohl von Rechnern erzeugt als auch und vor allem von Nutzern selbst (z. B. an Profile und Statusnachrichten in sozialen Netzwerken), und alles wird gespeichert. De facto speichern zahlreiche Server (z. B. durch Foto-Uploads) täglich neue Daten im Terabyte- (TB-) Bereich; von „Big Data“ spricht man typischerweise im Zusammenhang mit Datenmengen, die aufgrund ihrer Größe nicht mehr ohne Weiteres von einem einzelnen System erfasst, gespeichert und verwaltet werden können. Eine unmittelbar drängende Frage ist dann: Was kann ich mit einer solchen Datenmenge anfangen und wie lassen sich auf sehr großen Datenmengen Berechnungen so effizient durchführen, dass die Ergebnisse möglichst unmittelbar verwendet werden können?
Eine Antwort auf diese Frage wurde zuerst von Google gegeben. Eine Suchmaschine unterhält einen Index, den sie unabhängig von Suchanfragen verwaltet und der als Grundlage für die Beantwortung von Anfragen dient. Ein Suchmaschinenindex wird typischerweise verteilt gespeichert; Anfragen werden über hunderte oder tausende von Rechnern verteilt verarbeitet, und beides muss in hohem Maße skalierbar sein. Ein Werkzeugkasten für derartige Anwendungen ist Apache Hadoop, ein freies Framework für skalierbare, verteilt arbeitende Software der zahlreiche Werkzeuge und Komponenten umfasst. Zahlreiche Anwendungsbereiche machen sich das heute zunutze, darunter Supply-Chain-Management und Logistik, Web-Analyse, Finanzdienstleister, Energieunternehmen, Medien- und Telekommunikationsbranche, Gesundheitswesen und die Lebenswissenschaften sowie der elektronische Handel.
Ziel ist bei diesen Ansätzen stets, aus dem Menge der vorhandenen Daten Schlüsse zu ziehen, den Kunden besser kennenzulernen, Empfehlungen zu geben, Umsatzprognosen zu erstellen, Maschinenausfälle vorherzusagen, Betrugserkennung zu vereinfachen und vieles mehr. Es geht damit darum, aus lediglich vielen Rohdaten „Intelligenz“ zu ziehen, die sich positiv in der jeweiligen Anwendung bzw. dem betreffenden Unternehmen einsetzen lässt. Bekannte Formen solcher Intelligenz sind z.B. Empfehlungssysteme (Recommender-Systeme), die uns sagen, welche Filme uns interessieren könnten, welche Musik wir vielleicht gerne hören oder welche Produkte wir als nächstes kaufen sollten. Im Straßenverkehr nutzt man Datenanalysen zunehmend zur Steuerung autonomer Fahrzeuge; eine „smarte City“ versucht, mit all ihren Daten Verkehrsströme zu lenken oder Energieverbräuche zu optimieren. Eine „smartes Haus“ wird sich dank Datenanalyse auf seine Bewohner einstellen und Beleuchtung, Klimatisierung, Sicherheit und Atmosphäre auf diese optimal einzustellen versuchen.
Durch Generative KI haben diese Entwicklungen seit November 2022 einen dramatischen Schub erhalten, denn sie hilft nicht nur, ChatBots zu bauen, sondern ist z. B. dabei, in vielen Anwendungen Suchmaschinen abzulösen. Denn sie kann nicht nur Links zu für eine Suche relevanten Dokumenten ausgeben, sondern vollständige Texte zu vorgegebenen Themen oder Stichworten erzeugen. Mit großen Sprachmodellen werden aktuell zahlreiche Anwendungen unterfüttert, die es erleichtern, aus "Big Data" jetzt "Smart Data" und sogar "Smart Applications" zu machen.
Dabei sollten wir uns immer bewusst machen, dass wir erst ganz am Anfang dieser Entwicklungen stehen und wir noch viele spannende Dinge in diesem Bereich erwarten dürfen. Auf der anderen Seite ist eine umfassende Datennutzung unabdingbar, was letztlich auch personenbezogene und persönliche Daten einbezieht.
