OpenSolaris

OpenSolaris

Posts 1-10 of 11
  • Dr. Roger Fischlin
    Dr. Roger Fischlin
    The company name is only visible to registered members.
    Cache erhöhen Filesystem Solaris 10
    Hallo,

    ich bräuchte mal Hilfe für einen Mailserver (Sendmail), eine nette T2000.

    Wie kann ich den Cache für ein Standard-Filesystem (UFS) unter Solaris10 erhöhen ( "Logging" ist bereits aktiviert) - oder bietet Solaris 10 'was besseres?

    Vielen Dank im Voraus,

    Roger <><lin
    • 21 Dec 2006, 12:53 am
  • Stefan Hinker
    Stefan Hinker
    The company name is only visible to registered members.
    Re: Cache erhöhen Filesystem Solaris 10
    Hallo Herr Fischlin,

    Ddie Groesse des Filesystem-Cache in Solaris ist nicht einstellbar. Es wird im wesentlichen der gesamte freie Hauptspeicher verwendet. Details zur Architektur (und der historischen Entwicklung) des Filesystem Caches finden Sie z.B. in dem empfehlenswerten Buch von Richard McDougall und Jim Mauro, "Solaris Internals" (Bei Amazon: http://www.amazon.de/Solaris-Internals-Open-Kernel-Architect... )

    Speziell fuer Sendmail (viele kleine Dateien in einem Verzeichnis) empfiehlt es sich, ggf.
    den DNLC (directory name lookup cache) anzupassen. Die aktuelle Trefferrate des DNLC
    finden Sie mit "vmstat -s|grep lookups" heraus. Werte bis zu ca. 95% sind ok. Der entsprechende Parameter in /etc/system heisst "ncsize". Bitte lesen Sie dazu die entsprechende Dokumentation, z.B. auf http://docs.sun.com/

    Viel Erfolg!

    Mit freundlichem Gruss,
    stefan hinker
    • 21 Dec 2006, 11:38 am
  • Dr. Roger Fischlin
    Dr. Roger Fischlin
    The company name is only visible to registered members.
    Re^2: Cache erhöhen Filesystem Solaris 10
    Danke für den Buchtip - liegt auf meinem Schreibtisch ;-)

    einen netter Link zu Performance-Untersuchung unter Solaris:

    http://www.ub.uni-bayreuth.de/SISIS/SSV/SYSTEM/sol_perf.html


    schöne Arbeitswoche, Roger <><lin
    • 08 Jan 2007, 08:51 am
  • Ralph Bogendörfer
    Ralph Bogendörfer
    The company name is only visible to registered members.
    Re^2: Cache erhöhen Filesystem Solaris 10
    Hallo Herr Fischlin, hallo Stefan,

    es stimmt zwar, daß der Filesystem-Cache den gesamten freien Speicher benutzen kann. Aber um die read- und write-Systemcalls zu versorgen, müssen die entsprechenden Pages im "Segmap" File Cache liegen und ggf. aus der Cachelist dorthin übertragen werden (siehe Kapitel 14.8 Solaris Internals).

    Der Segmap File Cache ist standardmäßig mit 12% des Hauptspeichers vorkonfiguriert. Dies kann mit den /etc/system Parametern segmapsize oder segmap_percent verändert werden. Für einen Server, der primär mit Dateien im Filesystem arbeitet (wie eben ein Mailserver) kann es durchaus Sinn machen, diesen Wert zu erhöhen.

    Ansonsten wäre eventuell auch ZFS einen Versuch wert...

    Viele Grüße,
    Ralph Bogendörfer
    • 08 Jan 2007, 10:20 am
  • Dr. Roger Fischlin
    Dr. Roger Fischlin
    The company name is only visible to registered members.
    Re^3: Cache erhöhen Filesystem Solaris 10
    Danke für die Hinweise:

    http://www.sun.com/servers/coolthreads/tnb/faq.jsp

    SUN liefert die T2000 per Default mit Write-Cache disabled aus (Q35)- mal ändern ;-)

    Ups,

    >write_cache enable
    Mode sense failed.

    Kann jemand mir weiterhelfen (Wir betreiben die beiden internen Platten als Mirror)?

    Danke,. Roger Fischlin
    • 09 Jan 2007, 11:53 pm
  • Ralph Bogendörfer
    Ralph Bogendörfer
    The company name is only visible to registered members.
    Re^4: Cache erhöhen Filesystem Solaris 10
    Hallo Herr Fischlin,

    Sun liefert alle internen Platten mit ausgeschaltetem Schreib-Cache aus, nicht nur bei der T2000. Und das aus gutem Grund: Die Daten im Schreib-Cache, die noch nicht auf die Platte zurückgeschrieben worden sind, würden im Falle eines Stromausfalls verloren gehen und mit einer gewissen Wahrscheinlichkeit zu einem inkonsistenten Filesystem führen. Aus diesem Grund möchte ich Ihnen auch davon abraten, den Schreib-Cache einzuschalten.

    Vielleicht sollten wir mal ganz von vorne anfangen:
    Was genau ist denn Ihr Problem, bzw. was wollen Sie erreichen? Haben Sie denn I/O-Probleme?

    Ein erster Ansatz wäre, auf dem Server mit iostat die Plattenauslastung zu messen, z.B. mit "iostat -xnz 1". Wenn sich hier eine Platte mit hoher Auslastung (%b) und/oder hoher Antwortzeit (asvc_t) zeigt, dann kann über Schritte nachgedacht werden, diesen Engpaß zu beseitigen. Zeigt sich hier jedoch nichts auffälliges, so muß weiter analysiert werden, wo das Problem liegt.

    Mit freundlichen Grüßen,
    Ralph Bogendörfer
    • 10 Jan 2007, 10:06 am
  • Dr. Roger Fischlin
    Dr. Roger Fischlin
    The company name is only visible to registered members.
    Re^5: Cache erhöhen Filesystem Solaris 10
    "iostat -xnz 1" liefert:

    r/s w/s kr/s kw/s wait actv wsvc_t asvc_t %w %b device
    7.0 268.4 7.0 2184.8 0.8 9.9 3.0 36.0 20 100 c0t0d0
    extended device statistics
    r/s w/s kr/s kw/s wait actv wsvc_t asvc_t %w %b device
    6.0 271.4 26.9 2170.9 3.7 10.9 13.3 39.3 35 100 c0t0d0
    extended device statistics
    r/s w/s kr/s kw/s wait actv wsvc_t asvc_t %w %b device
    8.0 268.6 15.0 2234.7 1.7 9.5 6.1 34.2 26 100 c0t0d0
    extended device statistics
    r/s w/s kr/s kw/s wait actv wsvc_t asvc_t %w %b device
    10.0 259.1 45.0 2316.6 2.4 10.0 9.0 37.2 26 100 c0t0d0
    extended device statistics
    r/s w/s kr/s kw/s wait actv wsvc_t asvc_t %w %b device
    10.0 220.2 10.0 3254.8 0.1 4.9 0.3 21.2 2 98 c0t0d0

    Wir hatten ähnliche Probleme mit einem T2000-Server (Mail). Als wir über NFS ein flottes Raid mit Write-Cache für die /var-Partition nutzten, fliegt das System....

    Vorschläge? Bin alle Hinweise sehr dankbar,

    Gruß, Roger
    • 10 Jan 2007, 11:51 am
  • Stefan Hinker
    Stefan Hinker
    The company name is only visible to registered members.
    Re^6: Cache erhöhen Filesystem Solaris 10
    Hallo Herr Fischlin,

    iostat beschreibt Ihre Situation eigentlich sehr genau:

    r/s w/s kr/s kw/s wait actv wsvc_t asvc_t %w %b device
    10.0 259.1 45.0 2316.6 2.4 10.0 9.0 37.2 26 100 c0t0d0
    d.h. Sie bekommen ca. 260 IOs/sec. von *einer* Platte, bei durchschnittlich ca. 8k
    pro IO. Die Platte ist zu 100% ausgelastet und liefert eine durchschnittliche Antwortzeit
    von ca. 37ms. Wesentlich mehr werden Sie unter diesen Umstaenden aus einer einzelnen Platte nicht bekommen - mit Cache oder ohne.

    Die Loesung beschreiben Sie letztlich selbst: Wenn Sie mehr IO-Leistung brauchen, muessen sie entsprechend starke IO-Systeme verwenden - z.B. das von Ihnen erwaehnte
    Raid-System. Denkbar ist bspw. eine 3510 oder 6140 aus unserem Portfolio ;-)

    Gruss,
    stefan hinker
    • 10 Jan 2007, 12:13 pm
  • Dr. Roger Fischlin
    Dr. Roger Fischlin
    The company name is only visible to registered members.
    Re^7: Cache erhöhen Filesystem Solaris 10
    Hallo,

    Ich habe nachgesehen, welche Files geschrieben werden:

    Sendmail schreibt hf-Files in der Mail-Queue (Sendmail-Quarantäne). Deswegen hilft es auch nicht, bei dem regulären Sendmail das Schreiben der Files in der Queue zu verhindern.

    Warum hilft es nicht, den Schreibcache zu aktiveren? Es sind viele kleine Files in dem Mqueue-Directory.

    Gibt es neben einem externen RAID weitere Möglichkeiten?

    Vielen Dank (und das meine ich auch so ;-))

    Roger
    • 10 Jan 2007, 12:45 pm
  • Stefan Hinker
    Stefan Hinker
    The company name is only visible to registered members.
    Re^8: Cache erhöhen Filesystem Solaris 10
    Hallo,

    Warum hilft es nicht, den Schreibcache zu aktiveren? Es sind viele kleine Files in dem Mqueue-Directory.
    Ein Cache hilft immer dann, wenn der Engpass die Servicezeit ist, und das Backend,
    in diesem Fall die Platte, weder bzgl. IOPS noch bezgl. Durchsatz ausgelastet ist. Dann, und nur dann, kann ein Cache Servicezeiten reduzieren. IOPS oder Durchsatz nachhaltig ueber die Leistungsgrenze des Backend erhoehen kann ein Cache nicht. In Ihrem Fall ist jedoch die Platte, also das Backend, ausgelastet. Ein Cache koennte hier nur solange "helfen", bis er aufgefuellt ist. Bei einem gemessenen Durchsatz von ca. 3.5MB/sec (iostat bei Ihnen) und einer angenommenen Cachegroesse von 16MB (ich muesste nachsehen, was die Platten tatsaechlich haben...) waere das nach ca. 5-10 Sekunden der Fall - danach sehen Sie wieder die Leistung der Platte selbst.

    Gibt es neben einem externen RAID weitere Möglichkeiten?
    Ja - Sie koennen mehrere Platten zu einem Raid 0 (oder 0+1) zusammenfassen. In einer T2000 haben Sie Steckplaetze fuer bis zu 4 Platten - das ergaebe bei Raid 0 (aus Datensicherheitsgruenden nicht zu empfehlen) und Ihrer Last theoretisch ca. 880 IOPS. Wirklich sinnvoll ist jedoch ein externes Geraet - mit IOPS in der Groessenordnung 2000 und mehr, je nach Geraet...

    Gruss,
    stefan hinker
    • 10 Jan 2007, 12:59 pm