Ich weiß nicht wie es euch geht, aber bei mir werden die Daten laufend mehr
Genügend Speicherplatz muß her!
Mir ist klar, das viele Wege in diese Richtung führen. Deshalb dachte ich mir, ich zeige mal meinen Ansatz her. In meinen beruflichen Anfangsjahren hatte ich immer wieder PCs zusammengeschraubt, dies aber mindestens schon 10 Jahre lang nicht mehr gamacht. Hier gab sich eine gute Gelegenheit, wieder in alten Erinnerungen zu schwelgen.
Meine Anforderungen:
Ein paar grundsätzliche Überlegungen
Die CPU
Alle CPU's haben verschiedene Stromsparmöglichkeiten. Vom Sleep, über den Idle Modus bis zu Full Speed reicht das Spektrum. Intel ist mMn mit der aktuellen CPU Generation einen gewaltigen Schritt in die richtige Richtung gegangen - die 45nm Generation. Durch die Verkleinerung der Strukturen mit gleichzeitigem Verändern der Halbleiterbasis und architektonischen Modifikationen läuft eine moderne Desktop Quad Core CPU im Idle Modus mit 4-5 Watt! Meine Wahl fiel auf den Quad Core Q9450 von Intel. Er ist das kleinste Modell mit 12 MB Level 2 Cache (speed), hat mit seinen 2,6 GHz ungefähr die gleiche maximal Performance wie eine 3GHz Quad-Xeon CPU meines MacPro's und braucht sehr wenig Strom. Kostet ca. 240 Euro.
Motherboard
Externe Grafikkarte war tabu - zu viel Strom - also eines mit integriertem Grafikchip (performance = egal).
DDR3 und FB-DIMM Speicherchips brauchen bis zu 10x so viel Strom wie DDR2 RAMs - also DDR2.
DDR2 Motherboards haben derzeit eine Grenze von 8 GB, die in Zukunft auf 16 GB geht. 4 GB Riegel gibt es schon, sind aber sehr teuer. Also 8GB jetzt, und Möglichkeit auf 16GB aufzurüsten, wenn die Chips billig sind. 8 GByte Kingston HyperX um 150 Euro. Das Motherbaord ist ein kleines ASUS P5K-VM um 75 Euro.
Platten
Wie oben geschrieben - viel Platz war das Ziel. Da die Zuverlässigkeit eines Gesamtsystems mit der Anzahl der Komponenten abnimmt, gilt für die Datenplatten Raid5. Raid6 könnte man auch noch in Betracht ziehen (= 2 Platten können ausfallen), allerdings hat dies massive Auswirkungen auf die Schreibperformannce der meisten Raid Controller. Das Ziel war auch die Plattentemperatur möglichst nieder zu halten (steigt die Zuverlässigkeit). 2 Wege führen dorthin: 1) Kräftige Kühler (Nachteil: Laut und viel Strom), oder 2) energiesparende Platten. Alternative 2 ist die Bessere.
Zum Einsatz kommen 12 x 1.000 GB Platten von WD aus der "Green" Serie. Diese zeichnen sich durch besonders niedrigen Stromverbrauch aus (ca. 50% weniger als normale Platten gleicher Kapazität). Das hat 2 Vorteile: Weniger Stromverbrauch und gleichzeitig weniger Wärmeproduktion. Das Stück um 110 Euro.
Die Systemplatte ist eine einzelne 500GB WD Platte. (Wird noch auf Raid 1 abgeändert)
Plattencontroller
Manche Motherboards bieten zwischen 6-8 SATA Ports an. Diese sind vollkommen ausreichend wenn 5-6 Platten in einem System zusammengebaut werden. Da ich 12 Platten verwenden wollte und die RAID Performance sehr gut sein sollte, kam ein eigener RAID Controller von 3Ware zum Einsatz. Es gibt Modelle von 4-24 SATA Ports. Da mein Gehäuse maximal 13 Platten aufnehmen konnte, wählte ich das 12port Modell. 3Ware hat Treiber für praktisch alle Betriebsysteme, egal ob 32 oder 64bit. Leider sind Raidcontroller keine Massenware und dementsprechend sind die Kosten erheblich. Mit Batteriebackup kostet so ein Ding ca. 720 Euro. Somit sind das ca. 60 Euro pro Platte.
Netzwerk
Speed, Speed, Speed. Ich habe in der Vergangenheit sehr gute Erfahrung mit Server Netzwerkkarten gemacht. Intel bietet eine GBit Karte für vergleichsweise wenig Geld an (ca. 70 Euro). Welchen Unterschied macht das? Bei voller Netzwerkleistung (ca. 100MByte/s) benötigt eine normale Desktop GBit Netzwerkkarte - so wie sie auf vielen Motherboards zu finden ist - die Leistung einer ganzen CPU (25% CPU Last auf einem Quad Core). Das gleiche System mit einer Servernetzerkkarte bleibt bei unter 3%, sodaß die CPU nur sehr selten aus dem stromsparenden Idle Mode herauskommen muß.
Gehäuse
13 Platten wollen untergebracht werden. Statt einem höllisch lauten externen RAID Gehäuse fiel meine Wahl auf ein sehr leise laufendes Cooolrmaster Stacker Gehäuse, daß alles aufnehmen kann, sehr leise ist und nur ca. 100 Euro kostet - Potenzen weniger als üblicherweise RAID Gehäuse kosten.
Netzteil
Da die vielen Platten sehr sparsam sind, die CPU ebenfalls und keine dedizierte Grafikkarte im System ist, reicht ein normales Netzteil mit 400 Watt und hohem Wirkungsgrad. Ich nahm ein Enermax aus der 80+ (= Wirkungsgrad)Serie.
Der Zusammenbau:
Wer schon mal eigene System zusammengebaut hat, steht hier vor keinen großen Problemen. Die Gehäusefirma (CoolerMaster) bietet Plattenkäfige an, wo 4 Platten zusammengeschraubt werden und als eine Einheit in 3 Einschubslots des Gehäuses geschoben werden und noch einen eigenen Lüfter hat. Günstig ( ca 15 Euro) und sehr praktisch.
Klar gab es den befürchteten Kabelsalat. Während professionelle RAID Systeme Strom- uind Datenschienen in ihren Gehäusen aufweisen, gibt es das im Consumerbereich nicht. Netzteile haben auch nicht 15-20 Stromstecker. Die (Bastel)lösung war recht einfach und kostengünstig. Mit Hilfe von kaskadierenden Y-Kabeln und Steckerkonvertern, braucht das Raid System mit seinen 12 Platten nur 3 Elektrostecker. Auch hier macht sich die Wahl der energiesparenden Platten bezahlt. Alle 12 Platten benötigen beim Hochfahren weit weniger Strom als eine moderne Grafikkarte und im laufenden Betrieb benötigen sie nur ca. 60 Watt - kein Problem für das Netzteil.
Mit Kabelbindern wurde das größte Gewirr zusammengefasst, damit der Luftstrom ungehindert durch das System fliessen kann.
Bauzeit: ca. 2 Stunden.
Ergebnisse und Erfahrungen
Der Zusammenbau war ereignislos - keine besonderen Vorkommnisse. Dann der große Moment - wird das System starten oder nicht? Yep, auch diese Hürde war kein Problem.
Bei der Installation
Das System läuft unter Windows Server 2008 mit HyperVisor. Dieses Betriebssytem hat nur 3 Aufgaben - Benutzerverwaltung, Fileserver und mittels Hypervisor virtuelle Maschinen laufen zu lassen. Das erhöht massiv die Stabilität des Systems. Weniger Updates als ein System wo -zig Anwendungen drauf laufen (die alle upgedatet werden müssen), weniger Updates bedeuten auch weniger Reboots. Alle sonstigen Services werden in virtuelle Maschinen verlegt. Die kann man starten, umbauen, herumschieben und beenden ohne das der Basisserver darunter leidet - Highly recommended.
Stabilitätstests
Da habe ich nur 2 gemacht. Um zu testen ob das System thermisch stabil ist, gibt es 2 kleine Programme die ich dabei immer verwende. Das eine ist der Linpack Benchmark von Intel, der so hoch optimiert ist, daß vermutlich jeder Transistor am Chip mitrechnen muß. Ich kenne kein Programm, bei dem der Stromverbrauch eines Systems höher als bei diesem Benchmark. Gleichzeitig schau ich mir mit einer Utility (HWMonitor) die Temperatur im System an, ob sie irgendwo in den roten Bereich geht. Intels Benchmark zeigt auch die Fehlerrate an. Wenn ein System nach 2-3 Stunden mit diesem Benchmark noch immer richtig rechnet, dann ist es meines Erachtens thermisch stabil.
Der zweite Test ist ein Datenintegritätstest. Nach dem Übertragen von ca 4 TB Daten von anderen Maschinen wurden die Kopien nochmals Byte für Byte mit den Originalen verglichen. Es ist für mich immer wieder erstaunlich, wie stabil Netzwerktransfers vs. externen USB und FW Platten sind. Ich hatte vor einiger Zeit den Inhalt von 18 externen USB und FW Laufwerke auf einen anderen Server übertragen, ebenfalls ca. 4 TB - die Bitfehler gingen in die Hunderte.
Ein paar Zahlen
Ich hoffe der kleine Ausflug in die "Serverwelt" war unterhaltsam. Schließlich wollen wir für unsere Bildchen noch lange Platz haben.
Liebe Grüße,
Andy
Ein paar Bilder:
Die von mir oben erwähnten Plattenkäfige - wer nicht Hotplug benötigt, findet hier eine günstige Lösung.
Das kunstvolle Kabelwerk - oder wie reduziere ich die Steckeranzahl?
3 solcher Käfige ergeben ein stolzes Gewicht
und werden zusätzlich von langsam laufenden Ventilatoren gekühlt
Egal wie man es angeht, es bleibt ein Gewirr. Mit Kabelbindern kann das Gröbste verhindert werden. Hauptsache sie sind nicht im Luftstrom.
Das Endergebnis
Genügend Speicherplatz muß her!
Mir ist klar, das viele Wege in diese Richtung führen. Deshalb dachte ich mir, ich zeige mal meinen Ansatz her. In meinen beruflichen Anfangsjahren hatte ich immer wieder PCs zusammengeschraubt, dies aber mindestens schon 10 Jahre lang nicht mehr gamacht. Hier gab sich eine gute Gelegenheit, wieder in alten Erinnerungen zu schwelgen.
Meine Anforderungen:
- Wirklich viel Platz (wirklich viel ...)
- Top Speed im Netzwerk - sollte nicht der USB oder Firewire Bremse ausgesetzt sein.
- Eine leistungsfähige CPU, die auch sparsam ist
- Viel Hautspeicher, damit mehrere virtuelle Maschinen gleichzeitig laufen können (Web Server, Email server, Test Server, KinderServer, Remote Access, etc ...)
- Dauerlauffest (Temperatur!)
- Wegen Dauerlauf möglichst geringen Stromverbrauch (im Verhältnis zum Speicherplatz und Kapazität)
Ein paar grundsätzliche Überlegungen
Die CPU
Alle CPU's haben verschiedene Stromsparmöglichkeiten. Vom Sleep, über den Idle Modus bis zu Full Speed reicht das Spektrum. Intel ist mMn mit der aktuellen CPU Generation einen gewaltigen Schritt in die richtige Richtung gegangen - die 45nm Generation. Durch die Verkleinerung der Strukturen mit gleichzeitigem Verändern der Halbleiterbasis und architektonischen Modifikationen läuft eine moderne Desktop Quad Core CPU im Idle Modus mit 4-5 Watt! Meine Wahl fiel auf den Quad Core Q9450 von Intel. Er ist das kleinste Modell mit 12 MB Level 2 Cache (speed), hat mit seinen 2,6 GHz ungefähr die gleiche maximal Performance wie eine 3GHz Quad-Xeon CPU meines MacPro's und braucht sehr wenig Strom. Kostet ca. 240 Euro.
Motherboard
Externe Grafikkarte war tabu - zu viel Strom - also eines mit integriertem Grafikchip (performance = egal).
DDR3 und FB-DIMM Speicherchips brauchen bis zu 10x so viel Strom wie DDR2 RAMs - also DDR2.
DDR2 Motherboards haben derzeit eine Grenze von 8 GB, die in Zukunft auf 16 GB geht. 4 GB Riegel gibt es schon, sind aber sehr teuer. Also 8GB jetzt, und Möglichkeit auf 16GB aufzurüsten, wenn die Chips billig sind. 8 GByte Kingston HyperX um 150 Euro. Das Motherbaord ist ein kleines ASUS P5K-VM um 75 Euro.
Platten
Wie oben geschrieben - viel Platz war das Ziel. Da die Zuverlässigkeit eines Gesamtsystems mit der Anzahl der Komponenten abnimmt, gilt für die Datenplatten Raid5. Raid6 könnte man auch noch in Betracht ziehen (= 2 Platten können ausfallen), allerdings hat dies massive Auswirkungen auf die Schreibperformannce der meisten Raid Controller. Das Ziel war auch die Plattentemperatur möglichst nieder zu halten (steigt die Zuverlässigkeit). 2 Wege führen dorthin: 1) Kräftige Kühler (Nachteil: Laut und viel Strom), oder 2) energiesparende Platten. Alternative 2 ist die Bessere.
Zum Einsatz kommen 12 x 1.000 GB Platten von WD aus der "Green" Serie. Diese zeichnen sich durch besonders niedrigen Stromverbrauch aus (ca. 50% weniger als normale Platten gleicher Kapazität). Das hat 2 Vorteile: Weniger Stromverbrauch und gleichzeitig weniger Wärmeproduktion. Das Stück um 110 Euro.
Die Systemplatte ist eine einzelne 500GB WD Platte. (Wird noch auf Raid 1 abgeändert)
Plattencontroller
Manche Motherboards bieten zwischen 6-8 SATA Ports an. Diese sind vollkommen ausreichend wenn 5-6 Platten in einem System zusammengebaut werden. Da ich 12 Platten verwenden wollte und die RAID Performance sehr gut sein sollte, kam ein eigener RAID Controller von 3Ware zum Einsatz. Es gibt Modelle von 4-24 SATA Ports. Da mein Gehäuse maximal 13 Platten aufnehmen konnte, wählte ich das 12port Modell. 3Ware hat Treiber für praktisch alle Betriebsysteme, egal ob 32 oder 64bit. Leider sind Raidcontroller keine Massenware und dementsprechend sind die Kosten erheblich. Mit Batteriebackup kostet so ein Ding ca. 720 Euro. Somit sind das ca. 60 Euro pro Platte.
Netzwerk
Speed, Speed, Speed. Ich habe in der Vergangenheit sehr gute Erfahrung mit Server Netzwerkkarten gemacht. Intel bietet eine GBit Karte für vergleichsweise wenig Geld an (ca. 70 Euro). Welchen Unterschied macht das? Bei voller Netzwerkleistung (ca. 100MByte/s) benötigt eine normale Desktop GBit Netzwerkkarte - so wie sie auf vielen Motherboards zu finden ist - die Leistung einer ganzen CPU (25% CPU Last auf einem Quad Core). Das gleiche System mit einer Servernetzerkkarte bleibt bei unter 3%, sodaß die CPU nur sehr selten aus dem stromsparenden Idle Mode herauskommen muß.
Gehäuse
13 Platten wollen untergebracht werden. Statt einem höllisch lauten externen RAID Gehäuse fiel meine Wahl auf ein sehr leise laufendes Cooolrmaster Stacker Gehäuse, daß alles aufnehmen kann, sehr leise ist und nur ca. 100 Euro kostet - Potenzen weniger als üblicherweise RAID Gehäuse kosten.
Netzteil
Da die vielen Platten sehr sparsam sind, die CPU ebenfalls und keine dedizierte Grafikkarte im System ist, reicht ein normales Netzteil mit 400 Watt und hohem Wirkungsgrad. Ich nahm ein Enermax aus der 80+ (= Wirkungsgrad)Serie.
Der Zusammenbau:
Wer schon mal eigene System zusammengebaut hat, steht hier vor keinen großen Problemen. Die Gehäusefirma (CoolerMaster) bietet Plattenkäfige an, wo 4 Platten zusammengeschraubt werden und als eine Einheit in 3 Einschubslots des Gehäuses geschoben werden und noch einen eigenen Lüfter hat. Günstig ( ca 15 Euro) und sehr praktisch.
Klar gab es den befürchteten Kabelsalat. Während professionelle RAID Systeme Strom- uind Datenschienen in ihren Gehäusen aufweisen, gibt es das im Consumerbereich nicht. Netzteile haben auch nicht 15-20 Stromstecker. Die (Bastel)lösung war recht einfach und kostengünstig. Mit Hilfe von kaskadierenden Y-Kabeln und Steckerkonvertern, braucht das Raid System mit seinen 12 Platten nur 3 Elektrostecker. Auch hier macht sich die Wahl der energiesparenden Platten bezahlt. Alle 12 Platten benötigen beim Hochfahren weit weniger Strom als eine moderne Grafikkarte und im laufenden Betrieb benötigen sie nur ca. 60 Watt - kein Problem für das Netzteil.
Mit Kabelbindern wurde das größte Gewirr zusammengefasst, damit der Luftstrom ungehindert durch das System fliessen kann.
Bauzeit: ca. 2 Stunden.
Ergebnisse und Erfahrungen
Der Zusammenbau war ereignislos - keine besonderen Vorkommnisse. Dann der große Moment - wird das System starten oder nicht? Yep, auch diese Hürde war kein Problem.
Bei der Installation
Das System läuft unter Windows Server 2008 mit HyperVisor. Dieses Betriebssytem hat nur 3 Aufgaben - Benutzerverwaltung, Fileserver und mittels Hypervisor virtuelle Maschinen laufen zu lassen. Das erhöht massiv die Stabilität des Systems. Weniger Updates als ein System wo -zig Anwendungen drauf laufen (die alle upgedatet werden müssen), weniger Updates bedeuten auch weniger Reboots. Alle sonstigen Services werden in virtuelle Maschinen verlegt. Die kann man starten, umbauen, herumschieben und beenden ohne das der Basisserver darunter leidet - Highly recommended.
Stabilitätstests
Da habe ich nur 2 gemacht. Um zu testen ob das System thermisch stabil ist, gibt es 2 kleine Programme die ich dabei immer verwende. Das eine ist der Linpack Benchmark von Intel, der so hoch optimiert ist, daß vermutlich jeder Transistor am Chip mitrechnen muß. Ich kenne kein Programm, bei dem der Stromverbrauch eines Systems höher als bei diesem Benchmark. Gleichzeitig schau ich mir mit einer Utility (HWMonitor) die Temperatur im System an, ob sie irgendwo in den roten Bereich geht. Intels Benchmark zeigt auch die Fehlerrate an. Wenn ein System nach 2-3 Stunden mit diesem Benchmark noch immer richtig rechnet, dann ist es meines Erachtens thermisch stabil.
Der zweite Test ist ein Datenintegritätstest. Nach dem Übertragen von ca 4 TB Daten von anderen Maschinen wurden die Kopien nochmals Byte für Byte mit den Originalen verglichen. Es ist für mich immer wieder erstaunlich, wie stabil Netzwerktransfers vs. externen USB und FW Platten sind. Ich hatte vor einiger Zeit den Inhalt von 18 externen USB und FW Laufwerke auf einen anderen Server übertragen, ebenfalls ca. 4 TB - die Bitfehler gingen in die Hunderte.
Ein paar Zahlen
- Speed - Die 2,66 GHz Quad Core CpU rechnet genau so schnell wie der 3 Ghz Xeon von vorigen Jahr (31 GFlop/s beim Intel Benchmark). Bei voller Auslastung, kommt die CPU auf maximal 85 Grad. Das ist erheblich weniger als zBsp die Vorgänger Generation (Q6600) bei diesem Programm hat (100+ Grad). Im Leerlauf tummelt sie sich bei ca. 40 Grad herum - entsprechend langsam läuft der Lüfter - und braucht dabei auch wieder weniger Strom.
- Temperatur - Die Platten kommen im Leerlauf kaum über 30 Grad, bei voller Aktivität kommen sie nicht über 40 Grad - Weit unterhalb der kritischen Temperatur
- Lautstärke - Ich habe meine Server normalerweise im Keller stehen, aber dieser ist so leise, daß er mich nicht stört. Wer den Geräuschpegel des MacPro kennt, und der ist sehr leise, kann sich das Niveau vorstellen.
- Performance - Das GBit Ethernet steht fast immer am Anschlag 100 MByte/s Dauertransferraten von und zum Server sind kein Problem. Es ist weit schneller Daten auf dem Server zu bearbeiten, als dies von den lokalen Platten des MacPro zu tun. Das System ist mit 2 Raid5 Partitionen zu je 5TB konfiguriert. Kopien von einem Raid zum anderen laufen mit 300-400 MByte/s ab.
- Stromverbrauch - Mein Ziel war es ein System zu bauen, daß für 10 TB weniger als 100 Watt im laufenden Betrieb benötigt. Dieses Ziel habe ich nicht erreicht. Derzeit sind es noch 130 Watt im laufendem Betrieb (idle). Ca. 140 Watt wenn viel gleichzeitig gemacht wird. Wird der Prozessor voll gefordert (Linpack), steigt der Gesamtverbrauch auf 210 Watt - das sind ca. 50% der Maximalleistung des Netzteils. Durch die schnelle CPU kann sie früher wieder in den stromsparenden Modus gehen. Wenn nur die Systemplatte läuft und das Raid in den Sleep Modus geht sind es ca. 70 Watt - Nicht schlecht für ein laufendes Quadcore System mit 8 GB Ram.
Ich hoffe der kleine Ausflug in die "Serverwelt" war unterhaltsam. Schließlich wollen wir für unsere Bildchen noch lange Platz haben.
Liebe Grüße,
Andy
Ein paar Bilder:
Die von mir oben erwähnten Plattenkäfige - wer nicht Hotplug benötigt, findet hier eine günstige Lösung.
Das kunstvolle Kabelwerk - oder wie reduziere ich die Steckeranzahl?
3 solcher Käfige ergeben ein stolzes Gewicht
und werden zusätzlich von langsam laufenden Ventilatoren gekühlt
Egal wie man es angeht, es bleibt ein Gewirr. Mit Kabelbindern kann das Gröbste verhindert werden. Hauptsache sie sind nicht im Luftstrom.
Das Endergebnis