IT-Connection

IT-Connection

Posts 1-4 of 4
  • Norbert Keil
    Norbert Keil    Premium Member   Group moderator   Xpert Ambassador
    The company name is only visible to registered members.
    Daten-Analyse soll künftig annähernd in Echtzeit möglich sein
    Hallo IT Connection,

    IBM hat aktuell über 50 Neuheiten aus dem Umfeld Server- und Speichersysteme entwickelt. Neben kostengünstigen Analytik-Systemen, automatisierten Security und Compliance Werkzeugen wurden Produkte und Services für Private Clouds am Freitag in Deutschland vorgestellt.
    Kunden sollen noch mehr dabei unterstützt werden, Entscheidungswege zu verkürzen und die vorhandene IT an wechselnde Bedürfnisse anzupassen.
    Quelle: http://www.zdnet.de/magazin/41557354/ibm-neue-systeme-fuer-i...
    Als eine der wichtigsten Aufgaben moderner Unternehmen sieht IBM offenbar die Bewältigung der stets steigenden Datenmengen. Die Daten-Analyse soll künftig annähernd in Echtzeit möglich sein, um flexibel auf Ereignisse reagieren zu können.

    Wie können KMU auf die steigende Geschwindigkeit des Marktes & auf die Informationsflut reagieren?
    Immer weiter technisch aufrüsten - ist das die Lösung?
    Oder läuft alles darauf hinaus, mehr und mehr in externe Services zu investieren?
    Verlieren Unternehmen mit diesem Trend ihre Unabhängigkeit?

    Mit freundlichen Grüßen
    Norbert Keil
    • 22 Oct 2011, 11:20 pm
  • Michael Hummel
    Michael Hummel    Premium Member   Group moderator
    The company name is only visible to registered members.
    Re: Daten-Analyse soll künftig annähernd in Echtzeit möglich sein
    Hallo,

    ich weiss nicht was IBM vorgestellt hat, aber im Bereich Analyse großer Datenmengen (Big Data Analytics) können Sie nur Netezza anbieten. Und Netezza erfüllt zumindest nicht meine Erwartungen an eine moderne Analseplattform! Netezza speichert Daten zeilenorientiert - das ist an sich schon mal eine ganz schlechte Voraussetzung für real-time analytics - klare Spaltenorientierung ist in diesem Berich ein Muss. Die Geschwindigkeit von Netezza basiert einzig auf der Verwendung von Spezial-Hardware im Festplattencontroller (sogenannte FPGA-Chips) die Daten auf dem Weg von der Festplatt in den Hauptspeicher filtern. Wenn aber viele Daten relevant sind wird insbesondere die Aufbereitung der Daten(berg) über groupby, sort, aggregate-Funktionen sehr langsam.

    Fazit: IBM hat aktuell eine Lösung für Big Data Analytics, die aber m.E. nicht zukünftsfähig ist und aufgrund von Spezial-Hardware nicht in privaten oder öffentlichen Clouds verwendet werden kann.
    • 23 Oct 2011, 11:36 am
  • Norbert Keil
    Norbert Keil    Premium Member   Group moderator   Xpert Ambassador
    The company name is only visible to registered members.
    Re^2: Daten-Analyse soll künftig annähernd in Echtzeit möglich sein
    Sehr geehrter Herr Hummel,

    Michael Hummel schrieb:
    Fazit: IBM hat aktuell eine Lösung für Big Data Analytics, die aber m.E. nicht zukünftsfähig ist und aufgrund von Spezial-Hardware nicht in privaten oder öffentlichen Clouds verwendet werden kann.
    im Artikel wird ja beschrieben, dass der IBM DB2 Analytics Accelerator Netezza in die Mainframe zEnterprise integriert und damit das Online-Transaktionsverarbeitungssysteme (OLTP) verschmilzt, um mehr Geschwindigkeit zu erzielen. Addressiert werden sollen aber gerade private Cloud Anwendungen. Wenn ich das richtig verstehe, ist das für Sie nicht die erwünschte Neuerung / Verbesserung.
    Welche Alternativen sind besser / werden von Ihnen eingesetzt?

    Mit sonnigen Grüßen
    Norbert Keil
    • 23 Oct 2011, 12:46 pm
  • Michael Hummel
    Michael Hummel    Premium Member   Group moderator
    The company name is only visible to registered members.
    Re^3: Daten-Analyse soll künftig annähernd in Echtzeit möglich sein
    Hallo,

    korrekt! Netezza erzielt Geschwindigkeitsvorteile durch Spezial-Hardware, was dein Einsatz auf Gebiete limitiert, wo man selbst die Hardwareausstattung beeinflussen kann. D.h. die Software wird niemals breit im Sinne von vielen Kunden, vielen Rechnenzentren, vielen Servern eingesetzt werden. Also handelt es sich um eine Nieschenanwendung - das ist OK, muss man dann aber auch sagen.

    Ich bin der Meinung, dass das Thema effizienz zumindest international viel zu kurz kommt.
    Ein ganz knappes Beispiel: Wir haben dank eines anderen Compilers und einer anderen Library die Sort-Geschwindigkeit für große Datenmengen soeben mal um den Faktor 10 beschleunigt. Faktor 10 bedeutet, dass auf gleicher Hardware das Ergebnis in einem zehntel der Zeit vorlag. Insofern wurde die CPU auch nur ein zehntel der Zeit belastet (ja, kenne die feinen Unterschiede zwischen real and time). Und dabei wurden sogar die gleihcen Datenstrukturen verwendet.

    Mit ParStream nutzen wir ähnliche effekte. ParStream ist eine Lösung zru Analyse sehr großer strukturierter Datenmengen. Wir haben ganz ganz weit unten im Solution-Stack angefangen und die der Analyse zugrundeliegenden Datenstrukturen optimiert. Darauf aufbauend sind neue Algorithmen enstanden und alles zusammen ist eine sehr viel schnellere, fleixble und sehr viel effizientere analytische Datenbank.

    Fazit: wenn man über ein Problem lange nachdenkt findet man grundlegend neue, überlegene Lösungen (und doktert nicht nur an der Oberfläche herum).

    Mike Hummel
    http://www.parstream.com
    • 23 Oct 2011, 1:28 pm