IT -Teststrategien, -umsetzung, -technologien

IT -Teststrategien, -umsetzung, -technologien

Posts 1-10 of 11
  • Markus Zimmer
    Markus Zimmer
    The company name is only visible to registered members.
    Borland SilkTest vs. HP QuickTest Professional
    Hallo zusammen,

    in unserem Testteam sind wir zur Zeit dabei eine Testtool-Evaluierung für die Automatisierung von funktionalen Tests durchzuführen.

    In der "Endausscheidung" sind "Borland (ehemals Segue) SilkTest" und "HP (ehemals Mercury) QuickTest Professional".

    Beide Tools sollen unseren bisherigen Recherchen nach sehr gut sein,
    wobei allem Anschein nach QuickTest noch ein Stück besser sein soll,
    SilkTest aber nicht wesentlich schlechter, dafür aber wesentlich günstiger in den Anschaffungskosten sein soll.
    Dafür soll QuickTest aber wiederrum besser erlernbar und bedienerfreundlicher sein.

    Für welches dieser beiden Tools würdet Ihr euch entscheiden bzw. welche Erfahrungen habt ihr mit diesen beiden Tools?

    Zur Info:
    Wir testen hauptsächlich Web-Anwendungen.
    Das Tool soll aber trotzdem recht viele Technologien unterstützen, damit man vorbereitet für die Zukunft ist.

    Wenn ihr meint "Compuware TestPartner" oder "IBM Rational Functional Tester" seien besser,
    könnt ihr gerne auch noch eure Meinung dazu schreiben,
    aber hauptsächlich bitte Aussagen zu SilkTest und QuickTest.

    Freue mich auf eine rege Diskussion
    und bedanke mich schonmal für jeden nützlichen Beitrag!

    Schöne Grüße
    Markus
    This post was modified on 06 Feb 2008 at 05:51 pm.
    • 06 Feb 2008, 5:50 pm
  • Post visible to registered members
  • Markus Zimmer
    Markus Zimmer
    The company name is only visible to registered members.
    Re^2: Borland SilkTest vs. HP QuickTest Professional
    Hallo Henrik,

    vielen Dank für diese informative Antwort!

    Bis jetzt habe ich auch den Eindruck das HP (Mercury) ne Spur besser ist.

    Aber wie du schon sagtest:
    Es wohl am Besten sich noch mal genau seinen Testprozess anzugucken,
    genau zu definieren, was das Tool können soll, und sich dann dazu die Tool-Hersteller
    mal einzuladen und sich die Software vorführen zu lassen.

    Ich bin zur Zeit dabei eine detaillierte Bewertungsmatrix über die 4 großen Tools in Excel zu erstellen.
    Hast du sowas damals auch erstellt? Wenn ja, könntest du mir die evtl. zukommen lassen?
    Um zu gucken, ob ich evtl. wichtige Berwertungskriterien vergessen habe und wie du die einzelnen Kriterien bewertet hast.

    Nochmals vielen Dank für deine Antwort

    Schöne Grüße
    Markus
    • 07 Feb 2008, 12:12 pm
  • Post visible to registered members
  • Post visible to registered members
  • Michael Böll
    Michael Böll    Premium Member   Group moderator
    The company name is only visible to registered members.
    Re^4: Borland SilkTest vs. HP QuickTest Professional
    Um einen PoC kommt man nicht herum. Teste dabei ob alle Controlls erkannt werden. Bei den Präsentationen läuft immer alles klar, da die Demoversionen der AuT immer optimal auf die Testsoftware abgestimmt sind. Lass typische Testfälle aus deinem Bereich auf Deiner Software Automatisieren. Wer den alle Controls erkannt. Ein Klick auf eine Koordinate ist keine Lösung, obwohl dass immer noch von vielen als Möglichkeit genannt wird

    Weitere Punkte, welche bei meiner Auswahl entscheident waren:
    - Kopplung zu weiteren Testsoftwaren (Bei mir CaseMAker als Aquivalenzklassenanalyse Tool)
    - Wer bedient die Automatisierung, Entwickler? Dann darf es ruhig C-ähnlicher Code in den Skripten sein, sonst sollte es der Einfachheit lieber VB sein.
    - kann man die Arbeitsergebnisse gut mit einer gängigen Versionsverwaltung versionieren. Bei Compuware hängt alles in einem eigenen Repository, was das Versionieren etwas mühsam macht.
    • 08 Feb 2008, 08:47 am
  • Matthias Schmotz
    Matthias Schmotz
    The company name is only visible to registered members.
    Re: Borland SilkTest vs. HP QuickTest Professional
    Hallo Markus,

    ich habe in meinen Projekten in der Vergangenheit hauptsächlich mit SilkTest zu tun gehabt, QuickTest Professional kenne ich nur vom Hören-Sagen, das Urteil eines geschätzen Kollegen fällt jedoch eher schlecht aus. SilkTest hat in den meisten Fällen wegen der besseren Programmierunterstützung den Zuschlag erhalten.
    Allen Anbietern gemein (und man kann es ihnen ja auch nicht verdenken) ist, das die Präsentationen maßgeschneidert auf die Tools zugeschnitten sind. In der Regel wird dann wohl erstmal ein Record-Playback gezeigt, dann die Möglichkeiten der Objekterkennung und wie man Verifikationen einbauen kann, dann der Umbau zu Data-Driven-Tests und dann gibts vermutlich noch Testfernsteuerung, Testauswertung und schließlich ein paar schöne Testauswertungsgrafiken.
    All das mag dann in der Realität funktionieren - muß aber nicht.;-)
    Ich habe bislang kein Projekt von nennenswertem Umfang erlebt, in dem der Einsatz eines Testtools ohne Einsatz eines Frameworks oder Zusatztools den gewünschten Effekt hatte.
    Daher möchte ich empfehlen, im Internet nicht nur nach Success-Stories zu suchen, sondern auch mal nach Testtool-Frameworks + Testkomplettlösungen, kritschen Berichten zur Testautomatisierung usw.
    Wenn man ein Testtool erfolgreich einsetzen will, muß es nicht nur über die notwendigen technischen Fähigkeiten verfügen, sondern die Tests müssen pflegbar sein. Beziehen Sie in Ihre Überlegungen z. B. ein, wie hoch der Aufwand ist, wenn kleine und größere Maskenänderungen vorgenommen werden, wenn sich Dialogfolgen ändern, wenn einzelne Controls oder gar die komplette GUI-Bibliothek geändert wird, usw.

    Mit freundlichem Gruß

    Matthias Schmotz
    • 08 Feb 2008, 09:54 am
  • Markus Zimmer
    Markus Zimmer
    The company name is only visible to registered members.
    Re^2: Borland SilkTest vs. HP QuickTest Professional
    Hallo Henrik,
    vielen Dank für die Anregungen und Tipps. (Natürlich auch Danke an die anderen!)

    Da du vor kurzem erst eine Testtool-Evaluierung durchgeführt hast,
    hast du wahrscheinlich auch Informationen über die Lizenzkosten der großen Vier (HP, Borland, IBM, CompuWare).
    Könntest du mir diese mal zu kommen lassen, wenn du Sie noch parat hast?

    Am Besten sowohl vom jeweiligen Testautomatisierung-Tool (QuickTest, SilkTest, Functional Tester, TestPartner) als auch vom dazugehörigen Testmanagement-Tool (TestDirector, SilkCentral Testmanager, ClearQuest Testmanager, QADirector).

    Vielleicht können mir aber auch die anderen Leute hier diesbzgl. weiterhelfen?

    Schöne Grüße
    Markus
    • 11 Feb 2008, 11:53 am
  • Post visible to registered members
  • Kurt Aigner
    Kurt Aigner    Premium Member
    The company name is only visible to registered members.
    Re^3: Borland SilkTest vs. HP QuickTest Professional
    Hallo Markus,

    wenn ich darf möchte auch ich noch meinen Senf dazu geben.

    Ich kenne sowohl die Hersteller (habe Jahre lang bei der Firma Compuware gearbeitet), als auch das Thema Toolevaluierung.

    Es ist sicher eine gute Idee Meinungen und Erfahrungen zu den Werkzeugen aus deiner engeren Wahl einzuholen. Welches für dich besser ist, kannst du logischerweise nur selbst entscheiden, da es von deinen Anforderungen abhängt. Ein POC ist eine Mindestanforderung, der allerdings von einem Pilot-Projekt gefolgt sein sollte.

    Als kleine Hilfe, kann ich dir eine Tool-Studie empfehlen, bei der ich auch mitwirken durfte. Hier findest du alle bisher erwähnten Tools und auch eine Reihe von Kriterien, wie sie bewertet wurden. Außerdem findest du dort in der Einleitung einiges zum Thema Tool-Evaluierung.

    Du kannst die Studie unter diesem Link anfordern:
    http://www.software-quality-lab.at/swql/tool-center/tool-stu...

    Ach ja sie ist übrigens kostenlos!

    Soltest du sie dir ansehen, wäre ich sehr an einem Feedback interessiert, weil ich gerade den Aufbau und Inhalt der neuen Studie 2009 festlege.

    Zu den (Lizenz)Kosten möchte ich auch noch ein Wort verlieren. Sie stehen deshalb immer im Fokus, weil es ein großer Brocken bei der Anschaffung ist. Bezogen auf die Gesamtkosten (Einführung, Wartung, ROI, ...) sind sie meist ohne Bedeutung. Und ich will dir jetzt nichts verkaufen ;o)

    Beste Grüße aus dem heute leider verregneten Linz,
    Kurt
    • 29 Feb 2008, 12:28 pm