Jelikož byly předchozí dva díly našeho seriálu dost teoretické (pro
někoho možná až příliš), ukážeme si dnes na něco, co budete potřebovat
při práci s PHP a MySQL téměř určitě. A to bude import dat z
cizích zdrojů do MySQL.
Mějme například následující situaci: Firma provozuje podnikový
informační systém na několika lokálních PC. Součástí systému je i ceník
zboží. Firma má rovněž internetový obchod, běžící pod PHP a MySQL. A
vtom někoho napadne, že by se ceník na internet dal nahrávat z toho
lokálního systému. To je jasná výhoda; při změně cen (sortimentu…)
stačí provést příslušné úpravy jen v jedné sadě dat, nemusí se to dělat
vícekrát. Jsou to vlastně 3 problémy v jednom: data získat, nějak je
zkopírovat na server a nakrmit je do databáze.
Jaká data?
Následující věc se vlastně naší problematiky skoro netýká. Ale
abychom byli úplní, poradíme vám, že je žádoucí připravit exportovaná
data v co NEJJEDNODUŠŠÍM, OTEVŘENÉM a (zejména pokud běží lokální
infosystém na Windows) MULTIPLATFORMNÍM formátu. V praxi to bývají
většinou textové soubory oddělené středníky či tabelátory. Téměř každý
databázový systém má možnost exportovat data do textu; pokud jej
nemá, dá se příslušný kus kódu napsat.
Pozn.: V takovém případě buďte líní a
pokuste se to najít již hotové. Skoro určitě nejste první, kdo daný
problém řešil. Může nastat rovněž problém s kódováním, zejména pokud
text bude ve znakové sadě CP 1250 (Windows) a web na ISO-8859-2.
Pokud mohu poradit – vyhněte se pokusu použít nějakou "transportní"
databázi. Viděl jsem například řešení používající pro výměnu dat
formát dbf. To může fungovat, protože PHP lze nastavit pro práci s
dbf. Toto řešení má však rovněž poměrně významné nevýhody:
- Jste závislí na dalším formátu včetně jeho případných omezení
- Exportovaná data bývají obvykle větší než při použití textu
- Export a import trvá delší dobu (někdy až podstatně)
Pozn. Na druhou stranu textové soubory
mohou být skoro nepoužitelné, pokud jsou součástí exportovaných dat
rovněž binární data, třeba v případě, kdy jsou v databázi uloženy
obrázky.
Další poměrně podstatnou výhodou je fakt, že textové soubory lze
relativně snadno odkontrolovat a většinou se dají velice dobře
komprimovat. Ke komprimaci byste měli použít gzip, protože PHP umí s
tímto formátem bez problémů spolupracovat.
Pozn.: Dají se najít nástroje pro
práci s gzipy i pod Windows. Některé jako freeware.Zcela úmyslně jsem
se nezmínil o fenoménu XML. Budeme mu věnovat
pozornost později
v tomto seriálu.
Jak to dostat na server?
Takže, v této fázi byste měli mít jeden nebo více textových souborů,
lépe ještě komprimovaných. Jejich přenos na server může a nemusí být
realizován pomocí PHP. Například se můžete rozhodnout použít FTP, SCP a
podobně. Ze zkušenosti ale vím, že je dobré mít k dispozici i náhradní
metodu (třeba, když potřebujete dostat data na server z počítače, na
němž nemáte k dispozici FTP klienta). Vzpomínáte si na díl seriálu o přenosu dat
na server? To je přesně ono. Za chvíli si to ukážeme celé v praxi.
Pozn.: Možná budete chtít použít
nějaký jiný postup, který se dá snadněji spouštět pomocí cronu.
Jak dostat data do databáze
A to je to nejdůležitější. Máme textový soubor nebo soubory na
serveru a chceme je dostat do MySQL. Dobrá zpráva je, že na to existuje
v MySQL příkaz; špatná zpráva je, že v závislosti na použité verzi PHP
a/nebo MySQL tento příkaz nemusí fungovat. Takže si ukážeme dvě
varianty:
LOAD DATA INFILE
MySQL disponuje tímto příkazem, který vezme data z textového souboru a
importuje je do dabulky. Příkaz je to jednak dosti mocný a jednak
poměrně rychlý. Nemá smysl tady vypisovat všechny jeho volby, k tomu
slouží manuál.
Zmínil bych se pouze o dvou významných volbách:
- LINES TERMINATED BY slouží k definici znaku, který bude oddělovat
řádky. Pokud importujete z Windows, měli byste nastavit '\r\n'.
- FIELDS TERMINATED BY slouží k definici znaku, jímž se oddělují
sloupce. Pro tabelátor zadejte '\t', je to ostatně výchozí volba.
K tomu všemu co bylo řečeno výše se vztahuje následující ukázka:
<?
function ungzip
($name)
{
$fp = gzopen ($name.".gz", "rb");
$contents = gzread ($fp, 4000);
$fp = fopen ($name,"wb");
fwrite ($fp,$contents);
fclose ($fp);
}
if ($_REQUEST["odeslano"]==1):
if ($_FILES['data']['size']>4000) die ("Soubor je příliš
velký ;-(");
if (!is_file($_FILES['data']['tmp_name'])) die ("Žádný soubor
jste neuploadovali !!!");
if (move_uploaded_file($_FILES['data']['tmp_name'], "./data.txt.gz"))
{
ungzip("data.txt");
// zde je include
souboru s konstantami
mysql_connect(SQL_HOST, SQL_USERNAME, SQL_PASSWORD);
mysql_select_db(SQL_DBNAME);
$soubor=$_SERVER["DOCUMENT_ROOT"]."/data.txt";
mysql_unbuffered_query
("LOAD DATA
INFILE '".$soubor."' INTO TABLE
`moje_tabulka`LINES TERMINATED BY '\r\n'");
};
else:
?>
Nahrání souboru na server
<form method="POST"
ENCTYPE="multipart/form-data" action="<?echo $_SERVER["PHP_SELF"]?>">
<table border="1" >
<tr>
<td>Textový
soubor</td>
<td>
<input
type="HIDDEN" name="MAX_FILE_SIZE" VALUE=4000>
<input
type="file" name="data" ACCEPT="text/*">
</td>
<td>(max. 4
kb)</td>
</tr>
<tr>
<td colspan="3">
<input
type="hidden" name="odeslano" value="1">
<p
align="center"><input type="submit" value="Odeslat">
</td>
</tr>
</table>
</form>
<?
endif;
?>
V tomto poněkud delším kódu jsou patrné dvě věci. Za prvé si
všimněte, že jsme sestavili a použili funkci ungzip. Ta funguje tak, že
vytvoří ze souboru něco.txt.gz soubor něco.txt. A příkaz LOAD DATA
INFILE se postará o zbytek. Ostatní části kódu jsou převzaty z dílu o
nahrávání dat na server.
Ruční způsob
Někdy ovšem LOAD DATA INFILE selže nebo není povolen. V tom případě
nezbývá než data ze souboru postupně načítat a vkládat je do databáze
pomocí série příkazů INSERT. To má následující nevýhody:
- Je to pomalejší než LOAD DATA INFILE (někdy až řádově).
- Je to složitější na napsání kódu.
- Abychom to mohli provést, musíme znát strukturu tabulky.
- Ve vysoce konkurenčním prostředí může dojít k problémům se
zamykáním tabulek
Ovšem má to i výhodu - před vlastním vložením dat můžeme provést
pomocí PHP nějaké výpočty nebo kontroly, což při použití LOAD DATA
INFILE většinou není možné. V takovém případě by se řádek s příkazem
LOAD DATA INFILE uvedený výše musel vyměnit za sadu příkazů, které
soubor rozdělí, načtou jednotlivé hodnoty do příkazu SQL a soustí jej.
Závěr
Vidíme, že importovat data do MySQL není zas až tak složité. Je
možné použít prakticky libovolné zdroje a pomocí konverze na texty
dosáhnout poměrně rychle kýženého výsledku. Pokud by import dat byl pro
běh webu závažný, měly by se naimportované hodnoty nějak odkontrolovat.
Více o tomto tématu bude řečeno v sesterském seriálu
o databázi MySQL.