Performance-Messung für Vertec Umgebungen

1. offizieller Beitrag
    • Offizieller Beitrag

    Eines unserer höchsten Ziele für die Entwicklung unserer Software ist neben Aktualität und Benutzerfreundlichkeit im Besonderen die Performance. In der Anwendung von Vertec sorgt Geschwindigkeit für Frust oder Freude. Da viele unserer Kunden täglich viel Zeit mit Vertec verbringen, ist die Performance der Software umso wichtiger.


    Aus diesem Grund veröffentlichen wir immer wieder unsere Gedanken und Hilfsmittel, um die Performance einer Vertec Umgebung zu bewerten und zu verbessern. So spricht Claudio Pietra an der Anwendertagung im Herbst 2022 über die vier wesentlichen, Performance bestimmenden Ebenen einer Vertec Umgebung - Infrastruktur, Datenbanksystem, Vertec Standardsoftware und Customizing (ab 7 Minuten 21 Sekunden):


    Externer Inhalt www.youtube.com
    Inhalte von externen Seiten werden ohne Ihre Zustimmung nicht automatisch geladen und angezeigt.
    Durch die Aktivierung der externen Inhalte erklären Sie sich damit einverstanden, dass personenbezogene Daten an Drittplattformen übermittelt werden. Mehr Informationen dazu haben wir in unserer Datenschutzerklärung zur Verfügung gestellt.


    Im Folgenden möchten wir Ihnen ein Hilfsmittel in Form einer Vertec Datenbank zu Verfügung stellen, um Ihnen die Bewertung Ihrer Infrastruktur und des Datenbanksystems in Form eines Benchmarkings zu ermöglichen.


    Der Benchmark wird durch die Lade- und Berechnungszeit vorab und fest bestimmter Vertec Objekte und OCL-Expressions definiert. Die Messung und Berechnung ist per Python standardisiert und kann nach dem Öffnen von Vertec gestartet. Durch diese Vorgehensweise werden die Ebenen Customizing und Vertec Standardsoftware egalisiert. Damit bestimmen die Infrastruktur und das Datenbanksystem im Wesentlichen die Lade- und Berechnungszeiten.


    Nun, für alle Interessierten:

    a) gezipptes DB-Backup (Firebird-DB oder SQL-DB) herunterladen und in eine Vertec-Server-Umgebung mit mindestens Version 6.6 einbinden

    b) für eine ggf. notwendige Datenkonvertierung die Desktop App auf dem Server starten, für den Fall, dass Sie eine Version neuer als 6.6.0.1 einsetzen

    c) Web App starten und als "Administrator" ohne Passwort anmelden

    d) Messergebnisse vergleichen und Infos zum Ergebnis inkl. Vertec Umgebung posten


    p.s. Der Upload der beiden DBs erfolgt in wenigen Minuten..

  • Mario Schneider (Vertec Gruppe)

    Hat den Titel des Themas von „Performance-Vergleich für Vertec Umgebungen“ zu „Performance-Messung für Vertec Umgebungen“ geändert.
    • Offizieller Beitrag

    Ich habe den Performance Tests auf einer Azure VM laufen gelassen, mit Firebird, mit folgender Ausstattung:




    Die Performance habe ich mit der Cloud App und Web App getestet, hier die Ergebnisse der Web App (die Cloud App liegt da sehr nahe):


    Das Laden von 33904 Objekt(en) benötigte 28.38 Sekunden.

    Das Berechnen der Expression 15 benötigte 0.72 Sekunden.


    Das ist 66% langsamer als bei uns im Cloud Abo!

    • Offizieller Beitrag
    Zitat von Marco Wohler (Oneconsult AG)

    Wie ist denn das Cloud Abo ausgestattet und aufgebaut, dass es diese doch sehr niedrigen Werte erreichen kann?

    Im Cloud Abo sind unsere Server einerseits mit viel RAM ausgestattet und andererseits nutzen wir NVMe-fähige Storages unserer Hoster, um einen möglichst hohen Durchsatz und kurze Reaktionszeiten zu erreichen. Ausserdem basiert unsere Infrastruktur auf der Windows Container Technologie von Docker. Letztere kostet uns vermutlich sogar etwas Performance, aber wir stellen so sicher, dass die Kundendaten vollständig voneinander isoliert sind.


    Wir führen im Cloud Abo immer wieder Performancemessungen durch. Neben den Messungen, die wir hier mit direkten Datenbankabfragen erzielen, messen wir auch die Dauer für den Start einer Benutzer-Session mit Monitoring Instanzen. Hier liegen wir ca. im Bereich von 2.5-4 Sekunden. Das Starten einer Benutzer Session variiert, denn es hängt stark von der aktuellen Auslastung ab.


    Demnächst werden wir auch wieder aktuellere Zahlen zu Performancemessungen hier im Forum publizieren. Wir werden diesmal über einen längeren Zeitraum messen, damit wir Durchschnittswerte und somit aussagekräftigere Resultate erhalten.

    • Offizieller Beitrag

    Das /monitor_session_start kann ich Dir sehr empfehlen, Marco. Die Frage ist halt, wie man die Resultate rankommt - wir machen das im Vertec Cloud Abo von aussen, via Pingdom, aber dafür muss das Vertec natürlich im Internet stehen (was beim Cloud Abo gegeben ist...).


    Die Performance Messung von Mario ist sehr gut geeignet für eine einmalige Analyse und macht vor allem eine Aussage über die reine I/O Performance der eigenen Infrastruktur. Natürlich kann man in Vertec vieles sehr unperformant konfigurieren, auch wenn die Infrastruktur perfekt ist, siehe z.B. https://www.vertec.com/ch/kb/performance_vertec/. Aber die 500ms welche die Infrastruktur vergibt holt man nie mehr zurück mit cleverem Customizing..

    • Offizieller Beitrag
    Zitat von Ferhat Günes (Vertec Gruppe)

    Demnächst werden wir auch wieder aktuellere Zahlen zu Performancemessungen hier im Forum publizieren. Wir werden diesmal über einen längeren Zeitraum messen, damit wir Durchschnittswerte und somit aussagekräftigere Resultate erhalten.

    Hier die versprochenen Resultate:


    Die tiefsten Werte, welche wir in den letzten zwei Wochen (26.09.2023-09.10.2023) erhoben haben, lagen zwischen 22 und 23 Sekunden. Der Durchschnittswert (Median) in diesem Zeitraum lag bei 26.3 Sekunden.


    Zur Erklärung: Der Messwert aus #2 entstand aufgrund manuell durchgeführter Einzelmessungen. Heute führen wir diese Messung auf allen Cloud Abo Servern viertelstündlich und vollautomatisiert durch. Die Datenbasis für unsere Analysen ist somit um ein vielfaches grösser. Zusätzlich gab es seit der Messung aus #2 viele Infrastrukturumstellungen im Cloud Abo, welche es ermöglichen neue Vertec Sessions auf dem ressourcenoptimalsten Server zu starten. Die Vertec Sessions werden dadurch gleichmässiger über alle Server verteilt. In Zusammenarbeit mit unseren Hostern arbeiten wir stetig daran unsere Systeme zu verbessern.


    Die Ergebnisse der standardisierten Performance-Messung sehen wir weiterhin als guten Indikator. Der Benchmark soll einen Anhaltspunkt zur Bewertung einer Vertec Umgebung liefern. Wir sehen den Informationszugewinn nicht in den Millisekunden, sondern in Ergebnissen mit doppelter oder gar dreifacher Ladezeit.