Standardisierte SAP Benchmarks

Feature | 9. April 2008 von Dr. Ulrich Marquard 0

Eine Bank verarbeitet Buchungen in mehr als zwei Millionen Girokonten. Ein Konzern führt über die Nacht die Personalabrechnung für 500.000 Mitarbeiter durch, und ein Pharmaunternehmen ist gesetzlich verpflichtet, Daten mehrere Jahre lang aufzubewahren, was die Datenbank auf mehr als 10.000 Gigabyte aufbläht. Die Anforderungen an Unternehmenssoftware sind so verschieden wie die Anwenderfirmen selbst. Doch alle Kunden erwarten, dass ihre SAP-Lösungen auch bei hoher Systemlast zuverlässig und berechenbar funktionieren.

In den vergangenen 15 Jahren entwickelte SAP gemeinsam mit seinen Technologiepartnern ein umfangreiches Spektrum an SAP Standard Application Benchmarks, um die Skalierbarkeit der Unternehmenslösungen sowie der Hardware, auf der sie laufen, zu testen.

Die Benchmarks belegen, dass die getesteten Software- und Hardwarekomponenten skaliert, das heißt nach Bedarf erweitert oder reduziert, werden können und dass sie weiterhin richtig und zuverlässig funktionieren.

“Lebensnahe” Kennzahlen

IT-Benchmarks sind standardisierte Lasttests, die Kennzahlen für einen quantitativen Vergleich von Hardware und Software liefern. SAP Standard Application Benchmarks messen das Leistungsverhalten einzelner SAP-System-Komponenten, etwa Datenbanksysteme oder Anwendungssoftware, auf einer bestimmten Hardware.

Das Besondere der SAP Standard Application Benchmarks im Vergleich zu anderen Testverfahren ist, dass sie den Systemdurchsatz von SAP-Lösungen messen, wie sie in Kundenimplementierungen produktiv verwendet werden.

Die Benchmarks basieren also auf echten Geschäftsprozessen und liefern daher anwendungsspezifische und geschäftsrelevante Kennzahlen. Dazu gehört die Anzahl der gleichzeitig aktiven Anwender oder die Navigationsschritte und Interaktionen pro Stunde sowie Durchsatzzahlen, etwa vollständig bearbeitete Auftragspositionen pro Stunde.

Der entscheidende Faktor für Durchsatz und Antwortzeit von Produktivsystemen ist die Auslastung der Datenbank-CPU. Alle anderen leistungsrelevanten Komponenten, etwa die CPU-Zeit des Anwendungsservers, Netzwerkbandbreite, Hauptspeicher und Festplatte, können je nach Leistungsanforderung konfiguriert und erweitert werden.

Eine wichtige Leistungskennzahl für die Kunden ist auch der Durchsatz pro Zeiteinheit. Die SAP Standards Application Benchmarks definieren diese Durchsatzzahlen in anwendungsbezogenen Begriffen: Im SD-Benchmark etwa “vollständig bearbeitete Auftragspositionen” oder im BI Data Mart-Benchmark “Navigationsschritte pro Stunde”. Diese sind den wichtigsten Hardwarekomponenten wie CPU, Speicher und Plattengröße zugeordnet. Die Ergebnisse werden im SAP Application Performance Standard (SAPS) dargestellt, einer hardwareunabhängigen Maßeinheit.

Für die Kunden ist die Übereinstimmung der Benchmarks mit realen Implementierungen ein großer Vorteil. Denn die Ergebnisse – die SAP unter www.sap.com/benchmark veröffentlicht – zeigen, wie sich eine bestimmte Software- und Hardwarekonfiguration unter großer Last verhält. Da Benchmarks auch als Basis für das Hardware-Sizing dienen, also die Planung der erforderlichen Hardwareressourcen, helfen sie den Kunden, eine jeweils für ihr Geschäftsumfeld geeignete Systemkonfiguration zu finden.

Ein Instrument zur Qualitätssicherung

Die Benchmark-Skripts dienen außerdem bei SAP zur Qualitätssicherung in der Applikationsentwicklung: Da sie über die Jahre unverändert bleiben, ermöglichen sie eine vergleichende Bewertung unabhängig von Plattformversionen, Releaseständen oder Architekturen. So half der SAP Enterprise Portal-Benchmark, das Verhalten verschiedener Virtual Machines (VM) und die Effekte der Java-Garbage-Collection (GC) in Multi-User-Umgebungen besser zu verstehen.

Auch die Partner verwenden die Benchmarks zur Qualitätssicherung. Ein großer Hardwareanbieter führt mit SAP Standard Application Benchmarks beispielsweise Regressionstests für seine neuen Server durch.

Die Zahl der Benchmarks, die jedes Jahr von Partnern zertifiziert werden, wächst ständig – aktuell sind es mehr als 680. Da SAP-Lösungen zunehmend in virtualisierten Umgebungen betrieben werden, führten die Partner im vergangenen Jahr erstmals SD-Benchmark-Tests auf virtualisierten Plattformen durch. Die Virtualisierung hilft Kunden, die Server-Auslastung zu optimieren und so die Energie- und Personalkosten sowie den Administrationsaufwand zu senken.

Aussagekräftige und reproduzierbare Vergleiche

SAP und seine Hardware- und Technologiepartner begannen bereits Anfang der 1990er Jahre, die Performance einzelner Software-Versionen und Hardware-Plattformen mittels Lasttests zu untersuchen. Dabei wurde rasch klar, dass nur standardisierte Testverfahren zuverlässige Ergebnisse gewährleisten und aussagekräftige Vergleiche ermöglichen. Gemeinsam entwickelte man daher das Konzept der SAP Standard Application Benchmarks.

SAP und die Partnerunternehmen definierten die Benchmark-Werkzeuge und eine standardisierte Benchmark-Umgebung und regelten die zulässigen Konfigurationen und Einstellungen der zu testenden Komponenten. Der Benchmarkprozess wurde genau festgelegt, so dass er auf verschiedene Plattformen oder Betriebssysteme übertragbar ist. Auf diese Weise liefert er reproduzierbare, verlässliche und vergleichbare Ergebnisse.

Ein unabhängiges Steuerungsgremium, das SAP Benchmark Council, wurde ins Leben gerufen. Es besteht aus Mitgliedern von SAP und den beteiligten Partnerunternehmen, überwacht die Zertifizierung der Benchmarks und fördert die kontinuierliche Entwicklung neuer Benchmarks.

Chronologie der Benchmarks

Die ersten standardisierten Anwendungs-Benchmarks, die im Jahr 1995 zertifiziert wurden, waren der Sales and Distribution Benchmark (SD) und der Financial Accounting-Benchmark (FI). Der SD-Benchmark hat sich seitdem zu einem der am häufigsten verwendeten, einflussreichsten und zuverlässigsten Online Transaction Processing (OLTP)-Benchmarks der IT-Industrie entwickelt.

Heute gibt es die verschiedensten Anwendungs-Benchmarks für das gesamte Spektrum der SAP Business Suite, der Branchenlösungen und der Lösungen für die SAP-NetWeaver-Plattform.

Den Anstoß für die Entwicklung neuer Anwendungs-Benchmarks geben meist konkrete oder absehbare Fragestellungen von Kunden. Oder die Notwendigkeit, neu aufkommende Geschäftsprozesse mit hohem Datenvolumen zu verstehen und zu messen. Die Entwicklung der SAP Standard Application Benchmarks in den vergangenen Jahren spiegelt daher die aktuellen Markttrends, die technologischen Herausforderungen und die Top-Themen der IT-Branche zum jeweiligen Zeitpunkt wider.

Kontinuität und Fortschritt im Gleichgewicht

Mit Weitblick und Engagement stellen die Mitglieder des SAP Benchmark Council die Zuverlässigkeit und Integrität der SAP Standard Application Benchmarks sicher. Christian Kowarschick von Fujitsu Siemens Computers, von Anfang an Mitglied des Gremiums, betont: “Die Meetings des SAP Benchmark Council sind insofern faszinierend, weil die Mitglieder, die normalerweise in hartem Wettbewerb miteinander stehen, ein gemeinsames Ziel verfolgen: die Bedeutung der SAP-Benchmarks als Industriestandard zu stärken. Häufig gibt es unterschiedliche Meinungen darüber, wie dieses Ziel zu erreichen ist, so dass die Mitglieder mitunter leidenschaftlich darüber diskutieren. Auch nach 15 Jahren haben diese Diskussionen nichts von ihrem Enthusiasmus verloren und das wird sicherlich auch weiterhin so bleiben.”

Seit 1995 helfen die SAP Standard Application Benchmarks den IT-Unternehmen, immer neue Rekorde zu erzielen und unterstützen Kunden bei der Planung ihrer Produktivsysteme. In diesem Jahr ist es an der Zeit, die Menschen zu würdigen, die hinter den Benchmarks stehen: Aus diesem Grund kamen Anfang März Kollegen von SAP und mehr als 15 Partnerunternehmen zusammen, um das 15-jährige Bestehen des SAP Benchmark Council zu feiern. Das SAP Benchmark Council ist eine fest etablierte Institution in der schnelllebigen Welt der IT, deren Mitgliedern es immer wieder gelingt, Kontinuität und Fortschritt im Gleichgewicht zu halten.

Tags:

Leave a Reply