Top-Themen

AppleEntwicklungHardwareInternetLinuxMicrosoftMultimediaNetzwerkeOff TopicSicherheitSonstige SystemeVirtualisierungWeiterbildungZusammenarbeit

Aktuelle Themen (A bis Z)

Administrator.de FeedbackApache ServerAppleAssemblerAudioAusbildungAuslandBackupBasicBatch & ShellBenchmarksBibliotheken & ToolkitsBlogsCloud-DiensteClusterCMSCPU, RAM, MainboardsCSSC und C++DatenbankenDatenschutzDebianDigitiales FernsehenDNSDrucker und ScannerDSL, VDSLE-BooksE-BusinessE-MailEntwicklungErkennung und -AbwehrExchange ServerFestplatten, SSD, RaidFirewallFlatratesGoogle AndroidGrafikGrafikkarten & MonitoreGroupwareHardwareHosting & HousingHTMLHumor (lol)Hyper-VIconsIDE & EditorenInformationsdiensteInstallationInstant MessagingInternetInternet DomäneniOSISDN & AnaloganschlüsseiTunesJavaJavaScriptKiXtartKVMLAN, WAN, WirelessLinuxLinux DesktopLinux NetzwerkLinux ToolsLinux UserverwaltungLizenzierungMac OS XMicrosoftMicrosoft OfficeMikroTik RouterOSMonitoringMultimediaMultimedia & ZubehörNetzwerkeNetzwerkgrundlagenNetzwerkmanagementNetzwerkprotokolleNotebook & ZubehörNovell NetwareOff TopicOpenOffice, LibreOfficeOutlook & MailPapierkorbPascal und DelphiPeripheriegerätePerlPHPPythonRechtliche FragenRedHat, CentOS, FedoraRouter & RoutingSambaSAN, NAS, DASSchriftartenSchulung & TrainingSEOServerServer-HardwareSicherheitSicherheits-ToolsSicherheitsgrundlagenSolarisSonstige SystemeSoziale NetzwerkeSpeicherkartenStudentenjobs & PraktikumSuche ProjektpartnerSuseSwitche und HubsTipps & TricksTK-Netze & GeräteUbuntuUMTS, EDGE & GPRSUtilitiesVB for ApplicationsVerschlüsselung & ZertifikateVideo & StreamingViren und TrojanerVirtualisierungVisual StudioVmwareVoice over IPWebbrowserWebentwicklungWeiterbildungWindows 7Windows 8Windows 10Windows InstallationWindows MobileWindows NetzwerkWindows ServerWindows SystemdateienWindows ToolsWindows UpdateWindows UserverwaltungWindows VistaWindows XPXenserverXMLZusammenarbeit

File Server - Hardware Raid Controller - Ubuntu 12.04 x64

Frage Linux

Mitglied: Sizzuu

Sizzuu (Level 1) - Jetzt verbinden

04.12.2012, aktualisiert 20:22 Uhr, 3306 Aufrufe, 1 Kommentar

Guten Abend erstmal,

Ich manage momentan einige File-Server, welche ich neu mit Ubuntu 12.04 x64 aufgesetzt habe.
Bei jedem der Server handelt es sich um das HP ProLiant DL120 G7 Model mit 8GB DDR3 RAM.
Eingebaut als Speicher sind jeweils 4x 2 TB Western Digital SATA3 HDD (7200rpm, 6Gb/s, 64MB cache).
Als FileSystem wird Ext4 verwendet.

Es werden massigweise Files auf die Server hochgeladen und gleichzeitig gestreamt (es handelt sich um Music / Video Streaming inkl. normalem File Download).

Zwei meiner File-Server habe ich mit einem Software Raid (raid0), welches vom Ubuntu System gemanaged wird, eingerichtet und soweit es mir möglich war auch optimiert und habe laut "iotop" bei einer random read speed von ca. 100mb/s kaum eine höhere System Auslastung (peak) als 0.5.

Beim dritten File-Server habe ich nun interessehalber einen Hardware Raid Controller einbauen lassen beim Einrichten, nämlich den HP P212 Smart Array SAS/SATA (256MB, Battery, RAID 0,10,50) und habe die kompletten 8TB Speicher auch mit einer Raid0 Konfiguration versehen.

Auf allen Servern läuft als WebServer "nginx 1.2.5", welcher mir aber keine Probleme bereitet.
Mein eigentliches und zugleich auch merkwürdiges Problem ist, dass der Server mit der Hardware Raid eine viel größere System Auslastung erfährt, als die zwei anderen Servern, welche eine Software Raid Lösung besitzen.

Folgende Modifikationen am System hab ich gemacht:

/etc/fstab (jeder Server):
"discard,noatime,nodiratime" zu jeder HDD hinzugefügt

/etc/rc.local (für die Software Raid FileServer):
for f in /sys/block/sd*/queue/nr_requests; do echo 8192 > $f; done
for f in /sys/block/sd*/queue/read_ahead_kb; do echo 4096 > $f; done
for f in /sys/block/sd*/queue/scheduler; do echo "deadline" > $f; done


/etc/rc.local (für den Hardware Raid FileServer):
echo 256 > /sys/block/sda/device/queue_depth
echo 512 > /sys/block/sda/queue/nr_requests
echo 4096 > /sys/block/sda/queue/read_ahead_kb
echo "deadline" > /sys/block/sda/queue/scheduler

/etc/sysctl.conf (auf jedem Server):

kernel.sysrq = 0
vm.drop_caches = 3
vm.dirty_ratio = 60
vm.dirty_background_ratio = 5
vm.dirty_expire_centisecs = 1500
vm.swappiness = 0
vm.vfs_cache_pressure = 20
fs.file-max = 102400
kernel.hung_task_timeout_secs = 5

net.ipv4.conf.default.rp_filter = 0
net.ipv4.conf.all.rp_filter = 0
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_abort_on_overflow = 1
net.ipv4.ip_forward = 1
net.ipv4.tcp_fin_timeout = 30
net.ipv4.tcp_synack_retries = 3
net.ipv4.tcp_syn_retries = 3
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_tw_reuse = 1

net.ipv6.conf.all.forwarding = 0
net.ipv4.conf.all.bootp_relay = 0
net.ipv4.icmp_echo_ignore_broadcasts = 1
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.all.accept_redirects = 0
net.ipv6.conf.all.accept_redirects = 0
net.ipv4.conf.all.accept_source_route = 0
net.ipv6.conf.all.accept_source_route = 0

net.ipv6.conf.all.disable_ipv6 = 1
net.ipv6.conf.default.disable_ipv6 = 1
net.ipv6.conf.lo.disable_ipv6 = 1

net.core.rmem_default = 8388608
net.core.wmem_default = 8388608
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216
net.ipv4.tcp_rmem = 4096 87380 16777216
net.ipv4.tcp_wmem = 4096 65536 16777216
net.ipv4.tcp_mem = 16777216 16777216 16777216
net.ipv4.tcp_no_metrics_save = 1
net.ipv4.tcp_moderate_rcvbuf = 1
net.core.netdev_max_backlog = 3240000
net.ipv4.tcp_max_syn_backlog = 3240000
net.ipv4.tcp_max_tw_buckets = 1440000
net.core.somaxconn = 3240000

net.ipv4.ip_local_port_range = 1024 65000
net.ipv4.netfilter.ip_conntrack_max = 3240000
net.ipv4.neigh.default.gc_thresh1 = 256
net.ipv4.neigh.default.gc_thresh2 = 4096
net.ipv4.neigh.default.gc_thresh3 = 8192

net.ipv4.tcp_rfc1337 = 1
net.ipv4.ip_no_pmtu_disc = 0
net.ipv4.tcp_sack = 1
net.ipv4.tcp_fack = 1
net.ipv4.tcp_dsack = 1
net.ipv4.tcp_window_scaling = 1
net.ipv4.tcp_timestamps = 0
net.ipv4.tcp_ecn = 0
net.ipv4.route.flush = 1

Ich verstehe nicht, warum der Server mit dem Hardware Raid Controller schlechter läuft (Auslastung geht hoch bis auf 5.0 und noch höher), als die Server mit der Software Raid Lösung. Wahrscheinlich hab ich einige Parameter falsch eingestellt. Hoffe jedoch, dass einer von euch den Fehler findet !

Danke im Vorraus.
Mitglied: AndiEoh
11.12.2012 um 10:22 Uhr
Hallo

Hardware RAID Controller schalten oft aus Sicherheitsgründen den Festplatten internen Schreib-Cache ab. Gerade SATA Platten werden damit je nach Zugriffsmuster seeehr langsam und manchmal lässt sich auch nur der Cache komplett abschalten ohne unterschied ob Schreib- oder Lese. Prüf mal nach ob deine Systemlast unter I/O wait geführt wird. Ein weitere Punkt ist die Stripe-Size die zum Zugriffsmuster passen sollte.

Gruß

Andi
Bitte warten ..
Ähnliche Inhalte
Festplatten, SSD, Raid
gelöst RAID 1 einrichten mit HP Microserver und Hardware RAID Controller (3)

Frage von pinto123456 zum Thema Festplatten, SSD, Raid ...

Festplatten, SSD, Raid
gelöst RAID Controller mit Festplatten in anderen Server verschieben (9)

Frage von vBurak zum Thema Festplatten, SSD, Raid ...

Linux Tools
gelöst Ubuntu Hardware- und Systemtest (4)

Frage von mike7050 zum Thema Linux Tools ...

Neue Wissensbeiträge
Ubuntu

Ubuntu 17.10 steht zum Download bereit

(3)

Information von Frank zum Thema Ubuntu ...

Datenschutz

Autofahrer-Pranger - Bewertungsportal illegal

(8)

Information von BassFishFox zum Thema Datenschutz ...

Windows 10

Neues Win10 Funktionsupdate verbuggt RemoteApp

(8)

Information von thomasreischer zum Thema Windows 10 ...

Microsoft

Die neuen RSAT-Tools für Win10 1709 sind da

(2)

Information von DerWoWusste zum Thema Microsoft ...

Heiß diskutierte Inhalte
Router & Routing
Allnet - VDSL2 Modem - SFP (mini-GBIC) (20)

Frage von Dobby zum Thema Router & Routing ...

Monitoring
Netzwerk-Monitoring Software (18)

Frage von Ghost108 zum Thema Monitoring ...

Windows 10
Seekrank bei Windows 10 (17)

Frage von zauberer123 zum Thema Windows 10 ...

Windows Server
gelöst Kopiervorgang schlägt fehl, weil Datei- und Ordnername zu lang sind (14)

Frage von Schroedi zum Thema Windows Server ...