Datenbanken

• About this group
• Forums

• Home
• Groups
• Datenbanken
• Forums
• Produkte
• SQL Server, Informix oder Teradata ? Plattform DWH 10-50 TB

• 
  Rainer Cockx

  The company name is only visible to registered members.

  SQL Server, Informix oder Teradata ? Plattform DWH 10-50 TB

  Hallo zusammen,
  
  wir sind derzeit in einer Entscheidungsfindung für das Thema neue Datenbank Plattform für ein bestehendes DWH. Die Größenordnung heute ca. 10 TB netto, aber in den kommenden Jahren durchaus bis 50 oder 100 TB
  
  Wir haben unser DWH seit einigen Jahren auf Informix XPS implementiert. Auf der short list stehen derzeit Informix (XPS / IDS), Microsoft SQL Server 2008 (oder 2011) und Teradata.
  
  - Wer hat ebenfalls schon einmal zwischen diesen Datenbanken oder einem Teil entscheiden müssen?
  - Wie ging die Entscheidung aus ?
  - Was hat zu dem Ergebnis geführt ?
  
  Oder aber auch :
  
  - Wer hat welche Erfahrung mit Teradata gemacht ?
  - Gibt es Erfahrung zum Thema Produktivität in der Anwendungsentwicklung zu den einzelnen Plattformen ?
  - Wie wird der Weg von Informix XPS zu IDS bewertet ?
  
  Ich weiß, es sind viele Fragen auf einmal, dementsprechend sehe ich einer regen Diskussion entgegen.
  
  Eine Bitte von meiner Seite, es soll hier eine offene Diskussion auf XING zwischen den Mitgliedern der Gruppe stattfinden. Es handelt sich bei meinen Fragen nicht um eine Ausschreibung für ein Beratungs- oder Technologie Projekt, dementsprechend möchte ich diesbezüglich auch keine Angebote.
  
  Gruß
  Rainer Cockx
  
  • 17 Dec 2010, 3:33 pm
  Rainer Cockx wrote: > Hallo zusammen, > > wir sind derzeit in einer Entscheidungsfindung für das Thema neue > Datenbank Plattform für ein bestehendes DWH. Die Größenordnung heute > ca. 10 TB netto, aber in den kommenden Jahren durchaus bis 50 oder > 100 TB > > Wir haben unser DWH seit einigen Jahren auf Informix XPS > implementiert. Auf der short list stehen derzeit Informix (XPS / > IDS), Microsoft SQL Server 2008 (oder 2011) und Teradata. > > - Wer hat ebenfalls schon einmal zwischen diesen Datenbanken oder > einem Teil entscheiden müssen? > - Wie ging die Entscheidung aus ? > - Was hat zu dem Ergebnis geführt ? > > Oder aber auch : > > - Wer hat welche Erfahrung mit Teradata gemacht ? > - Gibt es Erfahrung zum Thema Produktivität in der > Anwendungsentwicklung zu den einzelnen Plattformen ? > - Wie wird der Weg von Informix XPS zu IDS bewertet ? > > Ich weiß, es sind viele Fragen auf einmal, dementsprechend sehe ich > einer regen Diskussion entgegen. > > Eine Bitte von meiner Seite, es soll hier eine offene Diskussion auf > XING zwischen den Mitgliedern der Gruppe stattfinden. Es handelt sich > bei meinen Fragen nicht um eine Ausschreibung für ein Beratungs- oder > Technologie Projekt, dementsprechend möchte ich diesbezüglich auch > keine Angebote. > > Gruß > Rainer Cockx
• 
  Christian Hartung    Premium Member

  The company name is only visible to registered members.

  Re: SQL Server, Informix oder Teradata ? Plattform DWH 10-50 TB

  Hallo Rainer,
  ich bin seit 15 Jahren Informix Administrator. Wir hatten uns vor ca 10 Jahren gegen ein Warehouse auf XPS entschieden, dieses ist heute ca. 6TB groß und läuft auf Oracle 11. Die Informix ist aber als OLTP immer noch bei uns im Einsatz und mittlerweile wieder sehr stabil und performant.
  Die anderen Produkte kenne ich nicht im Detail, aber ich halte den Schritt der Informix Entwicklung BI Funktionen zu implementieren für konsequent und gut.
  Aber die IDS Version ist ja noch nicht da und die XPS doch eher auf dem absteigenden Ast, oder? Wenn du Zeit genug hast, dann würde ich auf die neue IDS setzen, dazu braucht es aber etwas Mut.
  Wenn du mehr Infos möchtest, dann Xing mich doch einfach an.
  Viele Grüsse
  Christian Hartung
  
  • 18 Dec 2010, 6:28 pm
  Christian Hartung wrote: > Hallo Rainer, > ich bin seit 15 Jahren Informix Administrator. Wir hatten uns vor ca > 10 Jahren gegen ein Warehouse auf XPS entschieden, dieses ist heute > ca. 6TB groß und läuft auf Oracle 11. Die Informix ist aber als OLTP > immer noch bei uns im Einsatz und mittlerweile wieder sehr stabil und > performant. > Die anderen Produkte kenne ich nicht im Detail, aber ich halte den > Schritt der Informix Entwicklung BI Funktionen zu implementieren für > konsequent und gut. > Aber die IDS Version ist ja noch nicht da und die XPS doch eher auf > dem absteigenden Ast, oder? Wenn du Zeit genug hast, dann würde ich > auf die neue IDS setzen, dazu braucht es aber etwas Mut. > Wenn du mehr Infos möchtest, dann Xing mich doch einfach an. > Viele Grüsse > Christian Hartung
• 
  Matthias Kleinschmidt    Premium Member

  The company name is only visible to registered members.

  Re: SQL Server, Informix oder Teradata ? Plattform DWH 10-50 TB

  Hallo!
  
  als der Spitzenverband der Gesetzlichen Krankenversicherungen ins Leben gerufen und Mitte 2008 seine Tätigkeit aufnahm, haben wir nach Sichtung der Aufgaben mit Datenhintergrund eine zu erwartende Datenmenge von 14 TB in drei Jahre eruiert. Im Herbst 2008 fiel die Entscheidung für Teradata.
  
  Insbesonder die Datenannahme, Prüfung und Weiterleitung für den Risikostrukturausgleich/Gesundheitsfonds, der amtlichen Statistiken und der gesetzlichen Arzneimittelschnellinformationen mussten rasch umgesetzt werden. Von Anaylsebedarfen dieser Datenbestände ganz zu schweigen (immerhin reden wir bim RSA p.a. um 2,5 Mrd. Datensätzen). Der Bereich der Vertragsanalyse benötigte Analysemöglichkeiten zur empirischen Unterfütterung der Vertragsverhandlungen mit Ärzte- und Krankenhausorganisationen.
  
  So viele ETL-Prozesse wie aus dem Boden zu stampfen waren, konnten wir als im Aufbau befindlicher Verband mit im Aufbau befindlicher IT auf einen Schlag nicht bedienen. Wir machten aus der Not eine Tugend und entwickelten das Konzept der Analytical Sandbox (SBX) für uns weiter. Vereinfacht ist eine SBX ist eine Terdatdadatenbank, die von einem Admin in einer Fachabteilung geführt wird. Hier können eigenständig Daten geladen, analysiert und mit anderen Daten des DWH verknüpft werden. Nur so war es uns möglich, die nötigen Entwicklung der ETL-Prozeduren zu priorisieren. Abteilungen, die das Know-How hatten konnten sich quasi selbst helfen und taten dies auch. Für die anderen Prozesse wurde mit Teradata zusammen eine eigenes ETL-Framework entwickelt und darauf dann die revisionssicheren ETL-Prozesse aufgesetzt.
  
  Nur durch diese Strategie waren wir handlungsfähig im Sinne der Bewältigung unserer gesetzlichen datenbezogenen Aufgaben.
  
  Die Analytiker im Hause sind dezentral aufgestellt. Das SBX-Konzept unterstützt dies kongenial. Und im Bereich IT werden nicht zu hauf für temporär genutzte Daten ACCESS-DBs oder SQL-Servcer-DBs eingerichtet und die Daten von dort mit dem DWH verknüpft (so wiet das der Datenschützer zulässt versteht sich). Genau dies kannten die Analytiker aus ihren alten Jobs. Und genau dies wollten wir aus dem Bereich IT nicht mehr. Die einen, weil es Performanceeinbussen mit sich brachte, die anderen, weil sie kein Flaschenhals darstellen wollten.
  
  Dass das klare Regekn braucht ist auch klar. Aber die gibt es und wir fahren gut damit. So gut, dass zwei Fachabteilungen in 2010 zwei größere Projekte auf SBX-Basis und rein auf Teradata-Technologie aufgesetzt haben. Es wurde also keine Drittapplikation geschaffen oder SAS genutzt. Diese Projekte war zum einen ein flexibler, modularer RSA.Gruppierungsalgorithmus, der die oben erwähnten 2,5 Mrd. Datensätze durchknetet und durch Parametrisierung verschieden Varianten durchspielen und so die Auwirkungen von Modellen aufzeigen hilft. Zum anderen werden die ca. 400 Festbetragsgruppen ohne Medienbruch komplett in-database ermittelt.
  
  Die Vorteile, die wir daraus ziehen sind vilefältig. Zum einen macht es die Prozesse transparenter, es gibt nur eine Warheit, die Daten sind performanter verknüpfbar und die Gesamtumgebung schlanker und damit einfacher wartbar. Die Performance ist ein weiteres wesentliches Kriterium, welches beim Laden und Analysieren gleichermassen wichtig ist. Beim Laden, weil wir die Daten schnellstmöglich prüfen, Korrekturen anfordern, erneut laden und dann weiterleiten müssen. Beim Analysieren, damit viele Varainten und Simulationen erstellt werden können. Und schliesslich die Flexibilität, die uns die beiden Welten SBX und das eigentliche DWH mit seinen revisionssicheren ETL-Prozessen bietet.
  
  Die Rechnung ging nicht nur auf. Das SBX Konzept hat sich fest etbaliert und niemand in den Fachabtelungen oder der IT will mehr darauf verzichten.
  
  Beste Grüße
  
  Matthias Kleinschmidt
  Gesamtprojektleiter DWH/BI
  
  • 21 Dec 2010, 10:13 am
  Matthias Kleinschmidt wrote: > Hallo! > > als der Spitzenverband der Gesetzlichen Krankenversicherungen ins > Leben gerufen und Mitte 2008 seine Tätigkeit aufnahm, haben wir nach > Sichtung der Aufgaben mit Datenhintergrund eine zu erwartende > Datenmenge von 14 TB in drei Jahre eruiert. Im Herbst 2008 fiel die > Entscheidung für Teradata. > > Insbesonder die Datenannahme, Prüfung und Weiterleitung für den > Risikostrukturausgleich/Gesundheitsfonds, der amtlichen Statistiken > und der gesetzlichen Arzneimittelschnellinformationen mussten rasch > umgesetzt werden. Von Anaylsebedarfen dieser Datenbestände ganz zu > schweigen (immerhin reden wir bim RSA p.a. um 2,5 Mrd. Datensätzen). > Der Bereich der Vertragsanalyse benötigte Analysemöglichkeiten zur > empirischen Unterfütterung der Vertragsverhandlungen mit Ärzte- und > Krankenhausorganisationen. > > So viele ETL-Prozesse wie aus dem Boden zu stampfen waren, konnten > wir als im Aufbau befindlicher Verband mit im Aufbau befindlicher IT > auf einen Schlag nicht bedienen. Wir machten aus der Not eine Tugend > und entwickelten das Konzept der Analytical Sandbox (SBX) für uns > weiter. Vereinfacht ist eine SBX ist eine Terdatdadatenbank, die von > einem Admin in einer Fachabteilung geführt wird. Hier können > eigenständig Daten geladen, analysiert und mit anderen Daten des DWH > verknüpft werden. Nur so war es uns möglich, die nötigen Entwicklung > der ETL-Prozeduren zu priorisieren. Abteilungen, die das Know-How > hatten konnten sich quasi selbst helfen und taten dies auch. Für die > anderen Prozesse wurde mit Teradata zusammen eine eigenes > ETL-Framework entwickelt und darauf dann die revisionssicheren > ETL-Prozesse aufgesetzt. > > Nur durch diese Strategie waren wir handlungsfähig im Sinne der > Bewältigung unserer gesetzlichen datenbezogenen Aufgaben. > > Die Analytiker im Hause sind dezentral aufgestellt. Das SBX-Konzept > unterstützt dies kongenial. Und im Bereich IT werden nicht zu hauf > für temporär genutzte Daten ACCESS-DBs oder SQL-Servcer-DBs > eingerichtet und die Daten von dort mit dem DWH verknüpft (so wiet > das der Datenschützer zulässt versteht sich). Genau dies kannten die > Analytiker aus ihren alten Jobs. Und genau dies wollten wir aus dem > Bereich IT nicht mehr. Die einen, weil es Performanceeinbussen mit > sich brachte, die anderen, weil sie kein Flaschenhals darstellen > wollten. > > Dass das klare Regekn braucht ist auch klar. Aber die gibt es und wir > fahren gut damit. So gut, dass zwei Fachabteilungen in 2010 zwei > größere Projekte auf SBX-Basis und rein auf Teradata-Technologie > aufgesetzt haben. Es wurde also keine Drittapplikation geschaffen > oder SAS genutzt. Diese Projekte war zum einen ein flexibler, > modularer RSA.Gruppierungsalgorithmus, der die oben erwähnten 2,5 > Mrd. Datensätze durchknetet und durch Parametrisierung verschieden > Varianten durchspielen und so die Auwirkungen von Modellen aufzeigen > hilft. Zum anderen werden die ca. 400 Festbetragsgruppen ohne > Medienbruch komplett in-database ermittelt. > > Die Vorteile, die wir daraus ziehen sind vilefältig. Zum einen macht > es die Prozesse transparenter, es gibt nur eine Warheit, die Daten > sind performanter verknüpfbar und die Gesamtumgebung schlanker und > damit einfacher wartbar. Die Performance ist ein weiteres > wesentliches Kriterium, welches beim Laden und Analysieren > gleichermassen wichtig ist. Beim Laden, weil wir die Daten > schnellstmöglich prüfen, Korrekturen anfordern, erneut laden und dann > weiterleiten müssen. Beim Analysieren, damit viele Varainten und > Simulationen erstellt werden können. Und schliesslich die > Flexibilität, die uns die beiden Welten SBX und das eigentliche DWH > mit seinen revisionssicheren ETL-Prozessen bietet. > > Die Rechnung ging nicht nur auf. Das SBX Konzept hat sich fest > etbaliert und niemand in den Fachabtelungen oder der IT will mehr > darauf verzichten. > > Beste Grüße > > Matthias Kleinschmidt > Gesamtprojektleiter DWH/BI
• Post visible to registered members
• 
  Rainer Cockx

  The company name is only visible to registered members.

  Re^2: SQL Server, Informix oder Teradata ? Plattform DWH 10-50 TB

  Zunächst mal denen, die bis jetzt geantwortet haben, vielen Dank. Die Argumente kann ich recht gut nachvollziehen.
  
  Da ich mich primär als Techi mit dem Thema auseinander setze und dementsprechend die betrieblichen Aspekte für mich eine wesentliche Rolle spielen, wäre es schön auch hier vielleicht entsprechende Statements zu bekommen. Bislang hat mich die Implementierung von betrieblichen Verfahren und Prozessen bei Teradata aus heutigem Kenntnisstand nicht gerade überzeugt. Das mag daran liegen, dass wir ein solches System "noch nicht angefasst haben".
  
  Bei Informix XPS und SQL Server kennen wir diese Themen Hier sind Aspekte wie K-Fall, Failover zur Stabilität und Verfügbarkeit implementiert, und wir haben sehr gute Erfahrungen damit gemacht. Wir fahren u.a. unser - mittlerweile - unternehmenskritisches SAP-System auf Basis von SQL Server.
  
  Hat diesbezüglich eventuell jemand Erfahrungswerte ?
  
  Gruß
  Rainer
  
  • 22 Dec 2010, 08:33 am
  Rainer Cockx wrote: > Zunächst mal denen, die bis jetzt geantwortet haben, vielen Dank. Die > Argumente kann ich recht gut nachvollziehen. > > Da ich mich primär als Techi mit dem Thema auseinander setze und > dementsprechend die betrieblichen Aspekte für mich eine wesentliche > Rolle spielen, wäre es schön auch hier vielleicht entsprechende > Statements zu bekommen. Bislang hat mich die Implementierung von > betrieblichen Verfahren und Prozessen bei Teradata aus heutigem > Kenntnisstand nicht gerade überzeugt. Das mag daran liegen, dass wir > ein solches System "noch nicht angefasst haben". > > Bei Informix XPS und SQL Server kennen wir diese Themen Hier sind > Aspekte wie K-Fall, Failover zur Stabilität und Verfügbarkeit > implementiert, und wir haben sehr gute Erfahrungen damit gemacht. Wir > fahren u.a. unser - mittlerweile - unternehmenskritisches SAP-System > auf Basis von SQL Server. > > Hat diesbezüglich eventuell jemand Erfahrungswerte ? > > Gruß > Rainer
• Post visible to registered members
• 
  Christian Schiefer

  The company name is only visible to registered members.

  Re^2: SQL Server, Informix oder Teradata ? Plattform DWH 10-50 TB

  Hallo,
  
  ich bin seit 10 Jahren im DWH/BI Business und habe schon einige Implementierungen und Migrationen mitgestaltet.
  
  Um es kurz zu machen, wenn das Datenvolumen wie geplant steigt, führt kein Weg an Teradata vorbei. Teradata geht mit Datenmengen im PB Bereich genauso um wie im TB Bereich. Durch das Konzept der Objekte bleibt auch der Administrationsaufwand gleich groß - egal welche Datenmengen zugrunde liegen. Datenbankgrößen und Rechte können innerhalb von Sekunden zugeordnet werden. Kein Handling von Raw-Devices, Slices, etc notwendig.
  
  Folgende Punkte möchte ich hervorheben:
  
  Stabilität:
  Hot-Stand-By Nodes sind in den meisten Konfigurationen standardmäßig dabei. Auch eine Dual-Active-Lösung ist verfügbar.
  
  Optimizer:
  Der Teradata Optimizer ist nicht zu schlagen, da man ihn einfach nicht behandeln muß. Er funktioniert einfach - keine Hints, etc, .. notwendig. Auch bei sub-optimal geschriebenen Abfragen werden Resultate in annehmbarer Zeit geliefert. Das macht vor allem bei Migrationsszenarien von anderen Plattformen Sinn, soferne Bereiche vorerst 1:1 migriert werden. Sie funktionieren einfach. Für Optimierung hat man dann später Zeit. Auch das schon erwähnte Sandboxing, bei dem Daten und Applikationen einmal gesichtet werden, liefern durch den Optimizer gute Performance.
  
  Multi-Temperature:
  Dieses Feature funktioniert automatisch. Daten werden, je nach Häufigkeit des Zugriffs auf schnellere oder langsamere Medien geschrieben.
  
  Release-Upgrades:
  Release-Upgrades sind meiner Erfahrung nach innerhalb von 2 Tagen erledigt. Andere Hersteller benötigen hier oft um einiges länger.
  
  • 28 Dec 2010, 12:23 pm
  Christian Schiefer wrote: > Hallo, > > ich bin seit 10 Jahren im DWH/BI Business und habe schon einige > Implementierungen und Migrationen mitgestaltet. > > Um es kurz zu machen, wenn das Datenvolumen wie geplant steigt, führt > kein Weg an Teradata vorbei. Teradata geht mit Datenmengen im PB > Bereich genauso um wie im TB Bereich. Durch das Konzept der Objekte > bleibt auch der Administrationsaufwand gleich groß - egal welche > Datenmengen zugrunde liegen. Datenbankgrößen und Rechte können > innerhalb von Sekunden zugeordnet werden. Kein Handling von > Raw-Devices, Slices, etc notwendig. > > Folgende Punkte möchte ich hervorheben: > > Stabilität: > Hot-Stand-By Nodes sind in den meisten Konfigurationen standardmäßig > dabei. Auch eine Dual-Active-Lösung ist verfügbar. > > Optimizer: > Der Teradata Optimizer ist nicht zu schlagen, da man ihn einfach > nicht behandeln muß. Er funktioniert einfach - keine Hints, etc, .. > notwendig. Auch bei sub-optimal geschriebenen Abfragen werden > Resultate in annehmbarer Zeit geliefert. Das macht vor allem bei > Migrationsszenarien von anderen Plattformen Sinn, soferne Bereiche > vorerst 1:1 migriert werden. Sie funktionieren einfach. Für > Optimierung hat man dann später Zeit. Auch das schon erwähnte > Sandboxing, bei dem Daten und Applikationen einmal gesichtet werden, > liefern durch den Optimizer gute Performance. > > Multi-Temperature: > Dieses Feature funktioniert automatisch. Daten werden, je nach > Häufigkeit des Zugriffs auf schnellere oder langsamere Medien > geschrieben. > > Release-Upgrades: > Release-Upgrades sind meiner Erfahrung nach innerhalb von 2 Tagen > erledigt. Andere Hersteller benötigen hier oft um einiges länger.
• Post visible to registered members