Podívejme se dnes ještě na konverze textu a rovněž na způsob, jak zajistit české řazení v MySQL.
17.2.2006 06:00 | Petr Zajíc | přečteno 25465×
Minulý díl seriálu vzbudil celkem dost ohlasů. Pojďme tedy nejprve
lehce doplnit látku o konverzi textových souborů mezi znakovými sadami
a potom se věnujme českému řazení v MySQL.
Jak jsme uvedli, pokud chceme importovat znaková data do MySQL, musí
nám souhlasit znaková sada v definici sloupce, do něhož data přijdou,
znaková sada klienta, který import zajišťuje (jako je řádkový klient
mysql) a znaková sada souboru, z něhož data čerpáme. Právě v tom
posledním bodě se někdy můžete zaseknout, protože soubor je dodán v
jiném kódování než potřebujete.
Není třeba zoufat. Linuxoví guru nám přece odjakživa vtloukají do hlavy, že Linux se skládá z celé řady malých prográmků, které dělají jednu věc (a dobře). Jedním z nich je utilita na převod kódování zvaná iconv. Její použití je velmi intuitivní, takže to předvedu přímo na příkladu se vstupním souborem v UTF-8, který chceme dostat do ISO-8859-2:
iconv -f UTF-8 -t
ISO8859-2 text_utf.txt -o text_latin2.txt
Volby jsou v tomto případě triviální - vstupní kódování, výstupní kódování, název souboru pro konverzi. Za ním je uveden přepínač -o přikazující programu přesměrovat výstup do souboru (ve výchozím stavu přesměrovává na standardní výstup, což je obrazovka, a to nám ve většině případů moc užitečné nebude). Za zmínku stojí už snad jen příkaz
iconv -l
který vypíše seznam všech dostupných kódování, která pro konverzi můžete použít. A pro našince potěší zpráva, že mezi nimi je jak ISO8859-2, tak UTF-8, tak WINDOWS-1250. Nebudete tedy ponecháni na holičkách, ať už dostanete svůj soubor v jakémkoli kódování. Protože s MySQL laborují dost často lidé kolem webových stránek je třeba se rovněž zmínit o tom, že PHP umí s iconv spolupracovat, takže můžete napsat něco jako:
iconv("UTF-8", "ISO-8859-2", $nejaky_retezec)
A jeden tip nakonec: Pokud nevíte, v jakém kódování je vstupní soubor, můžete použít klasický příkaz linuxu file, který se to pokusí zjistit. Opět malý příklad:
file text_utf.txt
(výstup)text_utf.txt: UTF-8 Unicode text
Jako poněkud robustnější alternativu k iconv můžete použít program recode. Má podstatnou výhodu: Pracuje přímo s konvertovaným souborem. Uvědomte si ale, že to může být i nevýhoda. Další "drobností" je, že recode v systému po instalaci nemusíte mít, kdežto iconv tam nejspíše mít budete. Takže jenom dodám příklad:
recode ISO_8859-2..UTF-8
text_latin2.txt
a téma konverzí textových souborů můžeme opustit. Znovu bych
doporučil důsledně používat UTF-8 všude tam, kde jen je to možné. Proto
ho máme.
V dávných a dávných dobách byl docela problém donutit MySQL česky
řadit. Jak nejspíš víte, je české řazení dost specifické.
Máme písmena s čárkami, háčky a rovněž ch, které tvrdohlavě řadíme mezi h a i. Proto hovoříme o tom, že české
řazení je několikaprůchodové - prosté porovnání znaků nám leckdy k
určení pořadí zkrátka nestačí. Hezky je to rozebráno například tady. S tím vším se
musí databáze nějak vypořádat.
Naštěstí doby temna skončily a současné verze MySQL řadí česky správně. Pochopitelně, že je třeba správně definovat typ sloupce a požadované řazení. Můžeme si to ukázat na příkladu. Vytvoříme tabulku s jedním sloupcem:
create table
test_razeni(polozka varchar(50) character set utf8 collate
utf8_czech_ci not null);
Všimněte si, že je nutné specifikovat řazení pomocí klíčového slova collate. Tabulku teď naplníme nějakými daty:
insert into test_razeni
(polozka) values ('auto'),('cihla'),('česnek'),
('chleba'),('rum'),('ředkvička'),('zlato'),
('židle'),('stůl'),('špička'),('dav'),('ďábel'),('ňouma'),('nestor');
a seřadíme pomocí order by:
select * from
test_razeni order by polozka;
Jak můžete vidět, žádné nepříjemné překvapení se nekoná. Ch je na svém místě a slova s diakritickými znaménky rovněž. Poměrně málo známý je trik se specifikací COLLATE přímo v klauzuli ORDER BY. Můžete si například předchozí sadu záznamů zkusit setřídit podle pravidel pro řazení unicode:
select * from
test_razeni order by polozka collate utf8_general_ci;
Kdy něco takového použít? Vlastně asi nikdy. Vždy je totiž lepší
zadat si výchozí způsob třídění pro daný sloupec nebo tabulku. Dokážu
si nicméně představit třeba nějakou mezinárodní webovou aplikaci, kde
by byl dejme tomu seznam měst a uživatel by mohl dostat tento seznam
setříděný podle svých národních zvyklostí. Uznávám ale, že je to dosti
vykonstruovaný příklad, protože názvy měst se stejně většinou píší i
třídí anglicky.
Ještě poznámka k webovým aplikacím. Autoři stránek se občas v minulosti pokoušeli implementovat několikaprůchodové české řazení přímo pomocí skriptů, jako je PHP. Pokud data pocházejí z databáze, mělo by těmto pokusům zvolna odzvonit, protože obecně jakákoli databáze seřadí data rychleji než skript. Samozřejmě pokud řazená data z databáze nepocházejí, pak asi nezbyde než se pokusit o implementaci vlastního řazení - ale je to úkol pro odvážné.