• Startseite
• Kontakt
• Partner
• Impressum
• English

• Leistungsspektrum
• Know-How
• Unternehmen
• Stärken/Vorteile
• Projekte

Big Data

Es gibt viele klassische Applikationen, die mit einer relationalen transaktionalen Datenbank (z.B. postgreSQL, MariaDB, mySQL, Oracle, MS-SQL-Server oder DB2) arbeiten, um ihre Datenbestände zu speichern. Da die Rechner und Datenbanken heute sehr gut geworden sind, kann man bei einer sorgfältig modellierten und optimierten Datenbank und einer guten Software, die darauf zugreift, problemlos viele Millionen Datensätze in einer Tabelle handhaben. Wir alle kennen Wikipedia, das diesen Ansatz verkörpert und trotz millionenfacher gleichzeitiger Nutzung und Millionen von Artikeln immer sofort den gesuchten Artikel findet, wenn er da ist.

Weil in einem Projekt für Prepaid-Mobiltelefonie Software für die Verarbeitung der Gesprächsdaten weiterentwickelt worden ist, bestehene gute Erfahrungen damit, auch Applikationen zur Verarbeitung relativ großer Datenmengen in kurzer Zeit mit dieser Technologie zu entwickeln.

Wir alle kennen aber auch die Suchmaschinen von google, yahoo, oder yandex, wo die Datenmenge und die gleichzeitige Nutzung noch um einiges größer ist. Das ließe sich mit den oben genannten Datenbanken kaum realisieren, man benötigt aber auch nicht zwingend ACID-Transaktionen dafür. Damit bewegen wir uns im Bereich "Big Data", der heute ganz neue Möglichkeiten eröffnet, nicht nur für den Bau noch einer weiteren Suchmaschine. Diese Technologien lassen sich aber auch für Anwendungsfälle einsetzen, die mit viel Aufwand noch mit relationalen Datenbanken umsetzbar wären, wo aber ein BigData-Ansatz zielführender ist.

Wichtig ist es hier, ein gutes Verständnis für die Fragestellung und für die Daten zu entwickeln und eine Architektur zu planen, die eine massive Parallisierung von möglichst unabhängigen Verarbeitungsvorgängen erlaubt. Zur Datenspeicherung setzt man hier gerne sogenannte NoSQL-Datenbanken ein.

Da in einem Projekt in der Vergangenheit so eine NoSQL-Datenbank nicht nur benutzt, sondern sogar für die spezifischen Anforderungen des Projekts entwickelt worden ist, sind Erfahrungen im Umgang mit diesen Technologien vorhanden.