ARCHIV

AMD Dual-Opteron server (1) - Úvod

Do Linux Shopu jsme zařadili výkonný 64-bitový server, na kterém máme v plánu otestovat stav současných 64 bitových linuxových distribucí.

2.8.2005 06:00 | Ondřej Čečák | Články autora | přečteno 16317×

Volba padla na vlastnoručně sestavený dvoucestný server s procesory AMD Opteron (více o Opteronech a architektuře AMD64 se dozvíte v již vydaných článcích AMD Opteron Server – Hardware a Síla 64 bitů). Teorii tedy směle přeskočíme a můžeme se podívat rovnou na věc.

Jako základní desku jsme nezvolili o něco dražší motherboard od společnosti Tyan, ale levnější desku K8T Master2-FAR od MSI. Důležitá je pro nás samozřejmě podpora dvou procesorů AMD Opteron řady 200 (Socket 940), dvoukanálový Serial ATA (SATA) řadič a integrovaná síťová karta Broadcom BCM5705 10/100/1000. Základní deska obsahuje chipset VIA K8T800 a VIA VT8237. Na desce jsou 4 paměťové banky, ke zprovoznění stačí osadit pouze jeden. Vyžadovány jsou paměťové moduly ECC DDR DIMM (pouze registered), my jsme pamětí nešetřili a použili dva moduly Apacer, každý s kapacitou 1 GB. V případě potřeby lze využít 4 PCI (32-bit/33MHz) a jednoho AGP slotu, kam jsme v současné době připojili grafickou kartu NVIDIA GeForce MX 4000 (ta u serveru není moc důležitá, její výhodou je spíše nízká cena a pasivní chladič).

Srdcem sestavy jsou dva procesory AMD Opteron 244 taktované na 1800 MHz. Kvůli volnému místu jsou docela zajímavě řešeny větráky procesorů – na tom druhém je menší větrák, který se musí rychleji točit, aby bylo chlazení přibližně srovnatelné.

Pro ukládání dat slouží dva SATA disky s 10.000 RPM Western Digital Raptor, každý s kapacitou 34 GB. Disky jsou navíc umístěny v hot-swap cage, která je volitelnou součástí case.

Vlastní case černé barvy má označení Chenbro SR 10569. Mezi zajímavé vlastnosti patří uzamykatelná strana směrem k základní desce, která je navíc vybavena senzorem (takže lze poznat, že case byla otevřena). Na předním panelu kromě několika LED (power, disk, lan, alarm) najdete také uzamykatelná dvířka ke kleci s disky, za kterou jsme vybrali Chenbro hot-swap SATA disc cage.

Parametry stručně

Procesor: 2x AMD Opteron 244 (1,8 GHz, 1 MB L2 cache)
Základní deska: MSI K8T Master2-FAR (dual SATA, dual ATA, Broadcom BCM5705 10/100/1000 NIC, 6x USB 2.0)
Paměť: 2x APACER (CB0) ECC DDR 1024 MB PC3200/400 Registered
Uložení dat: 2x WD Raptor (SATA, 34 GB, 10.000 RPM, 8 MB cache, 5 let záruka); TEAC DVD-RW (DV-W516, černá, 16x16x4xDL)
Grafická karta: NVIDIA GeForce MX 4000 (AGP, pasivní chladič)
Case: FS SERVER SR 10569-001 BLACK bez zdroj + FS SERVER SATA modul pro SR 209 a SR 10 + zdroj Eurocase 480W ATX P4
Rozšiřitelnost: 4x PCI (2.2; 32-bit/33MHz), 1x AGP

Přední panel s LED *** Pohled zpředu – částečně je vidět cage na disky a dva dopředu vyvedené USB porty. *** Hot-swap vozíky na disky.

Funkčnost pod Linuxem

Pokud funguje samotný hardware, měl by na něm běžet i GNU/Linux. Už samotné nabootování live distribuce Knoppix bylo bez potíží; automatické skripty detekovaly vše potřebné a frame-buffer zobrazil hned dva tučňáky Tuxe na znamení, že stroj má dva procesory.

V následujících odstavcích si popíšeme některé specifické věci vzhledem k možnostech hardware, ke kterým se už pak v dalších dílech (které budou pojednávat o jednotlivých 64 bitových distribucích) nebudu věnovat.

Ukládání dat (diskový řadič, disky, USB)

South bridge VIA VT8237 nabízí dva kanály pro SATA a PATA. Pro SATA disky navíc nabízí pseudo-hardwarový RAID, který má ale oproti linuxovému softwarovému linuxovému RAIDu několik nevýhod:

• je potřeba zvláštního ovladače (který je dostupný a mohl by fungovat)
• linuxový softwarový RAID bude pravděpodobně rychlejší
• v případě problému budete mít při použití linuxového RAIDu výrazně lepší možnosti, jak problém řešit (je znám formát ukládaných dat, obslužné programy apod.)

Ukládání dat se také částečně týká podpora USB 2.0, která je naprosto bezproblémová (moduly EHCI pro USB 2.0 a UHCI pro USB 1.1 ). Deska má možnost připojení až 6 konektorů, v našem případě jsou dva vyvedené vzadu a dva na přední straně case (na první pohled je možná neuvidíte, protože jsou schované pod vlastním krytem), takže jejich dostupnost bude třeba v racku bezproblémová i bez prodlužovacího kabelu ať už bude server postavený téměř jakkoli).

SATA disky podporují hot-swap (připojování a odpojování za chodu počítače podobně jako třeba disky SCSI), stejně tak by to měl podporovat také řadič na desce. Disky jsme do case připojili pomocí hot-swap cage, bohužel po odpojení a znovupřipojení disku už není možné na dané zařízení zapisovat. Nepřišel jsem přesně proč, odpojení zařízení a rescan sběrnice funguje bez problémů, ale pokus o přístup na zařízení končí ve stavu D (uninterruptible sleep; usually IO).

opteron:~# mdadm -f /dev/md0 /dev/sdb1 # označíme disk v RAIDu jako chybný
mdadm: set /dev/sdb1 faulty in /dev/md0
opteron:~# cat /proc/mdstat
Personalities : [linear] [raid0] [raid1] [raid5] [multipath] [raid6]
md0 : active raid1 sdb1[2](F) sda1[1]
      4883648 blocks [2/1] [_U]

unused devices: <none>

opteron:~# mdadm -r /dev/md0 /dev/sdb1 # nyní bude mimo pole
mdadm: hot removed /dev/sdb1

opteron:/proc/scsi# cat /proc/mdstat
Personalities : [linear] [raid0] [raid1] [raid5] [multipath] [raid6]
md0 : active raid1 sda1[1]
      4883648 blocks [2/1] [_U]

unused devices: <none>

opteron:~# lsscsi # vypíšeme SCSI zařízení
[0:0:0:0]    disk    ATA      WDC WD360GD-00FL 31.0  /dev/sda
[1:0:0:0]    disk    ATA      WDC WD360GD-00FL 31.0  /dev/sdb

opteron:~# scsiadd -r 1 0 0 0 # odpojíme to na druhé sběrnici
Attached devices:
Host: scsi0 Channel: 00 Id: 00 Lun: 00
  Vendor: ATA      Model: WDC WD360GD-00FL Rev: 31.0
  Type:   Direct-Access                    ANSI SCSI revision: 05

opteron:~# lsscsi # nyní je odpojené, mechanicky odpojíme a znovu připojíme disk
[0:0:0:0]    disk    ATA      WDC WD360GD-00FL 31.0  /dev/sda

opteron:~# scsiadd -s 1 # uděláme rescan druhé sběrnice
Attached devices:
Host: scsi0 Channel: 00 Id: 00 Lun: 00
  Vendor: ATA      Model: WDC WD360GD-00FL Rev: 31.0
  Type:   Direct-Access                    ANSI SCSI revision: 05
Host: scsi1 Channel: 00 Id: 00 Lun: 00
  Vendor: ATA      Model: WDC WD360GD-00FL Rev: 31.0
  Type:   Direct-Access                    ANSI SCSI revision: 05

opteron:~# lsscsi # disk je připojen zpět
[0:0:0:0]    disk    ATA      WDC WD360GD-00FL 31.0  /dev/sda
[1:0:0:0]    disk    ATA      WDC WD360GD-00FL 31.0  /dev/sdb

Bohužel obsah logů moc potěšující není:

ata2: command 0x25 timeout, stat 0xd0 host_stat 0x1
ata2: status=0xd0 { Busy }
SCSI error : <1 0 0 0> return code = 0x8000002
sdb: Current: sense key: Aborted Command
     Additional sense: Scsi parity error
     end_request: I/O error, dev sdb, sector 8
     Buffer I/O error on device sdb, logical block 1
     ATA: abnormal status 0xD0 on port 0xC807

PC Health Monitoring (senzory)

Monitorování teploty a otáček větráků lze velice snadno díky programu lm_sensors.

Nutná je podpora v jádře, zbytek už zařídí program sensors-detect, který proscanuje sběrnice a řekne vám, které moduly (pokud nemáte podporu zakompilovanou staticky) by bylo záhodno zavádět; v našem případě jde o moduly i2c-viapro, i2c-isa, eeprom a w83627hf.

Výstup programu sensors pak vypadá nějak takto:

opteron:~# sensors
w83627thf-isa-0290
Adapter: ISA adapter
VCore:     +1.52 V  (min =  +1.93 V, max =  +1.93 V)
+12V:     +11.61 V  (min = +10.82 V, max = +13.19 V)
+3.3V:     +3.18 V  (min =  +3.14 V, max =  +3.47 V)
+5V:       +5.15 V  (min =  +4.75 V, max =  +5.25 V)       
-12V:     -14.91 V  (min = -10.80 V, max = -13.18 V)
V5SB:      +5.03 V  (min =  +4.76 V, max =  +5.24 V)
VBat:      +3.04 V  (min =  +2.40 V, max =  +3.60 V)
fan1:     5443 RPM  (min = 37500 RPM, div = 2)
CPU1 Fan:  6617 RPM  (min = 12500 RPM, div = 2)
CPU2 Fan:     3358 RPM  (min = 11637 RPM, div = 2)
CPU1 Temp:   +48°C  (high =  +100°C)                     sensor = diode
CPU2 Temp: +46.5°C  (high =  +100°C, hyst =   +95°C)   sensor = diode
SYS Temp:     +28.5°C  (high =  +100°C, hyst =   +95°C)   sensor = thermistor
vid:      +0.000 V  (VRM Version 9.0)
alarms:   Chassis intrusion detection                      ALARM
beep_enable:
          Sound alarm disabled

eeprom-i2c-0-52
Adapter: SMBus Via Pro adapter at 5000
Memory type:            DDR SDRAM DIMM
Memory size (MB):       1024

eeprom-i2c-0-50
Adapter: SMBus Via Pro adapter at 5000
Memory type:            DDR SDRAM DIMM
Memory size (MB):       1024

Teplotu na discích se mi bohužel nepovedlo zjistit, protože momentální ovladač SATA disků v jádře nepodporuje zjišťování hodnot přes S.M.A.R.T. (podpora SMARTu se chystá na blízkou dobu)

opteron:~# hddtemp
/dev/sda: ATA WDC WD360GD-00FL:  known drive, but it doesn't have 
a temperature sensor.

ACPI

Přes informace poskytované moduly ACPI (např. přes /proc/acpi/) se dá zjišťovat mnoho zajímavých věcí (informace a stav procesoru, větráků a podobně), ale bohužel se mi nepodařilo vyvolat ACPI event po otevření case (díky podpoře chassis instrussion detection), takže jedinou možností jak sledovat vniknutí je sledovat výstup lm_sensors.

Síťová karta

Integrovaná síťová karta Broadcom Corporation NetXtreme BCM5705 Gigabit Ethernet je bez problémů podporována modulem tg3. Bohužel zdá se, že je připojena na PCI sběrnici, takže na ní gigabitové rychlosti nepůjde docílit.

Verze pro tisk

DISKUZE Linuxovy softraid je rychlejsi? 2.8.2005 20:29 Jarek Šeděnka   Re: Linuxovy softraid je rychlejsi? 2.8.2005 23:55 Ondřej Čečák   Re: Linuxovy softraid je rychlejsi? 3.8.2005 09:36 o.k.     Re: Linuxovy softraid je rychlejsi? 3.8.2005 13:28 Jan Houštěk       PCI-Express (Was: Linuxovy softraid je rychlejsi?) 4.8.2005 11:11 Aleš Hakl         Re: PCI-Express (Was: Linuxovy softraid je rychlejsi?) 6.8.2005 09:07 Jan Houštěk Zobrazit označené Zobrazit vše Příspívat do diskuze mohou pouze registrovaní uživatelé.