Diplomová práce

Katalogové vyhledávače jsou postaveny na velké databázi stránek, která má stromovou strukturu. Jednotlivé odkazy jsou roztříděny do několika (řádově deseti) základních kategorií, které se dále dělí na podkategorie a tak dále.

Uživatel může tyto služby využívat dvojím způsobem:

Mezi nejznámější katalogy u nás patří:

V zahraničí jsou asi nejznámější:

Na rozdíl od katalogových vyhledávačů se stránky v jejich databázích nedají sekvenčně procházet. Umožňují pouze nalézt relevantní stránky odpovídající zadanému dotazu.

Většina vyhledávačů tohoto typu používá „Boolovský model“. Jedná se o jeden z nejstarších modelů DIS, jehož základy byly navrženy již v 50-tých letech. Každý dokument modelu obsahuje množinu slov a vyhledávání je založeno na vyhodnocování boolovských výrazů (AND, OR, NOT) jak je uvedeno v 1 a 2.

Například dotazem Z AND (X OR Y) se naleznou dokumenty obsahující slovo Z a alespoň jedno ze slov X nebo Y.

Tento model lze dále rozšířit o operátory vzájemné polohy termů v dokumentu (například term X musí být maximálně ve vzdálenosti 10 slov od termu Y, případně ve stejném odstavci, stránce, kapitole, …).

Hlavní nevýhodou boolovského modelu je nemožnost ohodnotit slova (určit, která slova jsou důležitá a která nikoliv. Typicky běžná slova, jako například „který“, „kolem“ a podobně, jsou v článku o JavaScriptu podstatně méně důležitá než „toString“, „getDate“, …) a to jak v dotazu, tak v samotném dokumentu, což má několik špatných důsledků:

Fulltextové vyhledávací stroje se skládají z několika částí:

Copernic 2001 je klasický desktopový vyhledávač, jenž pro vlastní vyhledávání využívá asi 80 webových vyhledávacích strojů. Aktuálnost je zajišťována automatickým updatem nastavení vyhledávacích serverů při startu aplikace či vyhledávání. Uživatel se tak nemusí o nic starat (případně může to samé provést příkazem z menu).

Vzhled aplikace (Obrázek 4.1.) je víceméně standardní - v levé části seznam kategorií, vpravo seznam dotazů, pod ním přehled nalezených dokumentů k aktuálnímu dotazu a v levém dolním rohu malý náhled vybraného dokumentu.

Při práci je nejdříve třeba vybrat oblast, ve které se bude hledat. K výběru nabízí aplikace více než 40 kategorií. V neregistrované verzi je k dispozici pouze prvních 6 - web, diskusní fóra, emailové adresy, nákup knih, hardwaru a softwaru. Po registraci se nabídka rozšíří o mnoho dalších (aukce, zdraví, humor, obrázky, filmy, MP3, recepty, věda, cestování, sport a podobně), jiné naleznete na stránkách výrobce (http://www.copernic.com/downloads/categories/).

Po zvolení kategorie je nutno zadat vlastní dotaz. To spočívá v zadání několika termů a zvolení vztahu mezi těmito termy a hledanými dokumenty: zda dokumenty musí obsahovat všechna slova, zda postačí alespoň jedno nebo zda se jedná o přesnou frázi. Zajímavou volbou je mód „Odpověď na otázku“, kdy se místo klíčových slov napíše otázka celou větou a program už si to sám převede (například „Where was Albert Einstein born?“). Zde je nutno podotknout, že celý program je anglicky, používá zahraniční vyhledávače a tedy je nutné tuto otázku položit v angličtině. Také lze upravit seznam vyhledávačů, které se pro vlastní hledání použijí.

Plná verze programu umožňuje automatické odstranění nedosažitelných dokumentů. Vyhledávání pak sice trvá déle (kontroluje se existence nalezených dokumentů), ale uživatel má jistotu, že nalezené dokumenty jsou dostupné.

Posledním krokem editace dotazu je zadání maximálního počtu výsledků od jednotlivých vyhledávacích strojů a počet výsledků celkem.

Po potvrzení se program pustí do vlastního vyhledávání. Průběh se zobrazuje v pomocném dialogu, kde se také vypisuje kolik dokumentů bylo nalezeno jednotlivými kontaktovanými vyhledávači. Výsledky (odpovídající dokumenty) se poté zobrazí v přehledném seznamu.

Nalezené dokumenty lze samozřejmě prohlížet - pro zobrazení lze využít jakýkoliv nainstalovaný prohlížeč a nebo interní prohlížeč této aplikace, který dovede navíc ve zobrazovaném dokumentu zvýraznit hledaná slova, snadno přecházet mezi jednotlivými dokumenty a obsahuje i příjemné klávesové zkratky. Ve stejném prohlížeči lze také zobrazit seznam nalezených dokumentů, což se velmi podobá prohlížení výsledků na běžném webovém fulltextu. Vybrané dokumenty lze kromě prohlížení také uložit na disk (včetně obrázků, či bez nich).

Zajímavá je také možnost zobrazit si dokument v jiném jazyce (stačí zadat z jakého do jakého jazyka se má přeložit). K dispozici je angličtina, francouzština, němčina, italština, japonština, portugalština a španělština.

Ve fázi specifikace dotazu sice nelze odfiltrovat nefunkční odkazy (tedy ve freewarové verzi programu), ale po prohledání již toto naštěstí provést lze.

Je-li navrácených dokumentů přespříliš, lze je filtrovat. K tomu slouží příkaz Refine, který zkontroluje, zda vybrané dokumenty opravdu obsahují uživatelem zadaná slova (předtím se automaticky stáhnou na pevný disk). Přitom je možné poupravit slova, která má dokument obsahovat (k dispozici jsou spojky AND, OR, EXCEPT, NOT, NEAR) a tedy dotaz takto doladit.

Přehled nalezených dokumentů odpovídající dotazu se dá vyexportovat v několika různých formátech: čistý text, HTML, CSV (Comma Separated Value - atributy jsou odděleny čárkami - formát podporovaný třeba Excelem), DBF a XML.

Výsledky jednotlivých vyhledávání se ukládají na disk, do speciálních adresářů, které lze snadno editovat. Díky tomu se k nim může uživatel kdykoliv později vrátit a dále s nimi pracovat: pozměnit dotaz, znovu vyhledat (přidají se pouze nově nalezené dokumenty), duplikovat a podobně.

Aplikace lze vizuálně upravovat - od zobrazování/schovávání jednotlivých prvků, přes sloupečky seznamů, nastavení výchozích voleb při editaci dotazu až po vlastní skiny.

Při instalaci (případně později v nastavení) tohoto produktu je možno zabudovat několik rozšíření do Internet Exploreru: Přidání odkazu do nástrojové lišty a menu, nové položky do kontextového menu prohlížeče, nahrazení standardního nástroje pro vyhledávání, přidání volby překladu stránek.

Ačkoliv je freewarový produkt odlehčenou (chybí mu několik příjemných funkcí) verzí placeného produktu, je plně funkční. Placená verze „Copernic Plus“ obsahuje navíc přístup k 1000 vyhledávacích strojů v 93 kategoriích a neobsahuje reklamní proužky. V ještě dražší verzi „Copernic Pro“ je k dispozici několik nových funkcí (automatické odstraňování nefunkčních odkazů, vyhledávácí agenti, e-mailové upozornění na nové dokumenty odpovídající dotazu a mnohé další).

Klady:

Zápory:

Bulls Eye 2 je přímo „Desktopový vyhledávací portál“. Hlavní okno je rozděleno na několik částí (Obrázek 4.2.): Seznam výsledků, náhled aktuálně vybraného dokumentu v tomto seznamu a přehled kategorií, ve kterých je možno vyhledávat - nachází se na levé straně a obsahuje jednotlivé typy vyhledávání: Web, News, Jobs, Books, Software, Health a mnoho dalších.

Po vybrání kategorie při vytváření nového dotazu je třeba zadat hledané termy (k dispozici je přehled dříve zadávaných termů). V pokročilém módu lze využít rozšířené nastavení, kde lze vytvořit podstatně komplikovanější dotazy za pomoci operátorů AND, OR, NOT, NEAR. Je možné si také prohlédnout a případně pozměnit seznam vyhledávacích webových serverů, které se budou používat a nastavit další parametry (kolik maximálně výsledků získat od každého stroje, podle čeho mají být výsledky setříděny).

Podle vybrané kategorie lze blíže specifikovat kde se má hledat (například při vyhledávání knih lze určit, zda se termy týkají názvu, autora, ISBN, zda se hledá knížka v obchodech nebo v knihovnách nebo zda chce uživatel najít volně stažitelnou knihu, …).

Posledním krokem je volba způsobu analýzy dokumentů - žádný, odstraňování neplatných odkazů nebo kontrola, zda dokument opravdu odpovídá zadanému dotazu (v tom případě je samozřejmě nutné dokument nejdříve stáhnout na lokální disk a prozkoumat, což se provede automaticky).

Po potvrzení dotazu začne probíhat vlastní vyhledávání a v seznamu nalezených dokumentů se začnou zobrazovat první výsledky (časem se dotáhnou a správně zařadí zbývající). V seznamu se uvádí základní informace o nalezených dokumentech (relevantnost, adresa, název stránky, jméno vyhledávače, který ji nalezl, …) po přepnutí do detailního módu se zobrazí další informace (datum, velikost a stav dokumentu). Po odkliknutí dokumentu se tento načte a zobrazí pod seznamem s výsledky. Lze nastavit aby rámec s dokumentem případně se seznamem byl přes celé okno nebo aby byly vidět výsledky a dokument zároveň.

Další možností je otevírat výsledky v asociovaném webovém prohlížeči. Samozřejmostí je zvýraznění hledaných slov v prohlíženém dokumentu a tlačítko pro přidání odkazu do záložek.

Za zmínku stojí také informační přehled vyhledávačů, kam se dotaz posílal, ve kterém je uvedeno které servery nic nevyhledaly a hlavně proč tomu tak je (nic nenašly, nepodařilo se na ně připojit, jsou mimo provoz, …).

Z vybraných dokumentů si může uživatel vygenerovat report. Při jeho tvorbě je na výběr několik výsledných formátů (html, čistý text, …). Výsledek se buď uloží na disk, nebo pošle elektronickou poštou.

V levé části okna, kde se vybírá kategorie vyhledávání, se nalézá ještě několik položek. V jedné z nich je seznam právě otevřených projektů (maximálně tři), v další je položka obsahující záložky (a to od obou nainstalovaných internetových prohlížečů - tedy jak Netscape tak MSIE), uložené projekty a již výše zmíněné reporty a historie dotazů.

Další záložka - Track - slouží k automatickému vyhledávání nových dokumentů, které odpovídají zadanému dotazu. Toto je už ale bohužel rozšíření placené verze této aplikace (BullsEye 2 Pro). Odlehčená verze, která je zdarma, zobrazuje reklamní bannery a až na několik náročnějších rozšíření je plně funkční.

Instalace BullsEye 2 přidá několik „zástupců“ do operačního systému pro snazší a rychlejší spouštění aplikace. Konkrétně do nástrojové oblasti hlavní lišty (tool tray), do panelu nástrojů nainstalovaných prohlížečů (MSIE, Netscape) a do Start menu (Start/Search).

Jednou za čas (řádově několik dní) se aplikace zeptá uživatele, zda nemá zkontrolovat výskyt nových aktualizací a případně nabídne jejich stažení a instalaci.

Klady:

Zápory:

Babylon je se od výše uvedených dvou aplikací poměrně liší, ale stále jde o desktopový vyhledávač, který ale využívá encyklopedie, slovníky a glosáře. Je to interaktivní program, který okamžitě po kliknutí na slově v libovolné windows aplikaci zobrazí příslušnou informaci o tomto výrazu („instant information @ a click“).

Po instalaci se aplikace usídlí v nástrojové liště a čeká, až jej uživatel vyvolá kláveso-myší zkratkou - pravé nebo prostřední tlačítko myši plus případný přepínač (Ctrl, Alt, Shift) - nad slovem, které chce objasnit. Může se jednat o zkratku, cizí slovo, neznámý výraz, název a podobně. Toto slovo se může vyskytovat kdekoliv - ve Wordu, Zápisníku, v libovolném dialogu, ba dokonce jako název tlačítka či okna. Po kliknutí se objeví malé okno (Obrázek 4.3.), ve kterém se program pokusí objasnit význam daného slova za použití dostupných glosářů.

Kromě glosářů využívá i slovníky překládající mezi hlavními jazyky. Seznam slovníků a glosářů, se nachází na webu výrobce (http://www.babylon.com/gloss/), kde jsou přehledně roztříděné do jednotlivých kategorií a podkategorií.

Mezi další funkce, kterými tato aplikace disponuje, patří převody jednotek, zahraničních měn, časových pásem (byl-li například vyvolán nad heslem „24 cm“ nabídne ihned konverzi centimetrů na jiné délkové jednotky) a správná výslovnost zkoumaného slova.

Primární glosáře a slovníky (ty, které se použijí při prvním vyhledávání významu zkoumaného slova) lze využívat i bez stahování (stačí si je zaregistrovat). Pokud jsou uložené na disku, pracuje program i bez připojení na Internet - uživatel tím získá rychlejší vyhledávání, ale přijde o nejaktuálnější změny a místo na disku).

Jednotlivé glosáře lze tedy přidávat, ubírat, pokud jsou jen zaregistrované, tak i stáhnout na disk, deaktivovat je a později znovu aktivovat, ohodnotit, případně rovnou napsat autorovi několik poznámek.

Nestačí-li nabízené slovníky, je možnost vytvořit si vlastní a dát jej ostatním k dispozici. K tomu je zapotřebí pouze Babylon Builder, který je zdarma dostupný na stránkách tohoto produktu.

Nebylo -li hledané slovo nalezeno v žádném slovníku (případně není-li uživatel s výsledkem spokojen), může ještě zkusit štěstí v hledání pomocí webových vyhledávačů, které jsou také k dispozici. Výsledkem je zobrazení stránky s výsledky v internetovém prohlížeči.

Nalezené výklady hledaných slov lze pro pozdější použití uložit do speciální složky a snadno se k nim vrátit.

Klady:

Zápory:

Původní návrh aplikace byl poměrně jednoduchý a počítal s tím, že se vlastní program bude skládat z uživatelského prostředí a DLL knihoven, které budou sloužit pro komunikaci s jednotlivými servery (Obrázek 5.1.).

Tyto knihovny budou napojeny na cílové DIS servery, případně webové vyhledávací služby typu Altavista, Google, Serge a další. Propojení mezi vlastním uživatelským prostředím a DLL knihovnami zajišťuje společný interface obsahující základní objekty pro komunikaci.

Aby byl systém dále snadno rozšiřitelný, budou DLL knihovny linkovány dynamicky, tedy pro rozšíření možností aplikace o další cílový server stačí dodat příslušnou DLL knihovnu implementující funkce rozhraní (zejména jde o definici parametrů nastavení serveru, dotazu, vlastní vyhledávání, získání dokumentu, definování způsobu zobrazení dokumentu atd.).

Později se tato architektura ukázala nevýhodná zejména z důvodu dalšího využití. Proto byla vlastní aplikace rozdělena do dvou modulů (Obrázek 5.2.).

Rozhraní (interface) mezi jádrem aplikace (DISEngine) a uživatelským prostředím tvoří knihovna definující objekty, které si tyto moduly předávají.

Prapůvodní interface byl značně jednoduchý a nedomyšlený (Obrázek 5.3.).

  function InheritsFrom(AClass: TClass): Boolean;
    

  function EqualParams (P1, P2: TDISParam;
      OrdSensitive: Boolean): boolean;
    

  FindParam(PrimID, SecID, OrdNum: integer;
      var Prim, Sec: TDISParam): boolean;
    

  GetParamValue (PrimID, SecID, OrdNum: integer;
      var Val: string): boolean;
    

  function EqualParam(AParam: TDISParam; OrdSensitive:
      Boolean = true): TDISParam;
    

  TDISScalarParam.Create (
    gpsidMainQueryAnd,
    gpsidMainQueryAnd,
    'Musí obsahovat',
    'Musí obsahovat',
    'Slova, která dokument musí obsahovat.',
    1,
    NotCheckVal,
    NotCheckVal,
    vtString,
    ''
  );
    

  Scal1 := TDISScalarParam.Create (
    gpsidDocDate_From,
    gpsidDocDate_From,
    'Datum od',
    'Od',
    'Počátek intervalu, kdy byl dokument vytvořen (modifikován)',
    1,
    NotCheckVal,
    NotCheckVal,
    vtDate,
    ''
  );
  Scal2 := TDISScalarParam.Create (
    gpsidDocDate_To,
    gpsidDocDate_To,
    'Datum do',
    'Do',
    'Konec intervalu, kdy byl dokument vytvořen (modifikován)',
    1,
    NotCheckVal,
    NotCheckVal,
    vtDate,
    ''
  );

  TDISScalarGroup.Create (
    gpgidDocDate,
    gpgidDocDate,
    'Datum dokumentu',
    'Datum modifikace dokumentu',
    'Časový interval, kdy byl dokument vytvořen (modifikován)',
    1,
    [Scal1, Scal2]
  );
    

Jádro aplikace (DISEngine) při přihlášení uživatele vytvoří seznam dostupných DLL knihoven (tyto se musí nacházet v podadresáři Servers). Jedna knihovna může obsahovat i několik různých serverů, jejich počet a jednotlivé instance se získá přes potomka objektu TDISServersInfo (viz oddíl nazvaný „Struktura DLL knihovny“). Některé servery mohou mít navíc další kopie (viz oddíl nazvaný „Vlastní server“).

Z těchto serverů se získá jejich pole nastavovacích parametrů (SettingParams), ze kterých se poskládá globální seznam parametrů nastavení všech serverů. Tento seznam neobsahuje žádné hodnoty. Ze sekce Global/ServersSetting ini souboru uživatele (User.ini) se načtou všechny dříve uložené hodnoty tohoto seznamu. Nastavené parametry se překopírují do lokálních polí příslušných serverů. Nyní je aplikace připravena pro vyhodnocování uživatelových dotazů.

Pro vytvoření prázdného dotazu je nutno zavolat metodu CreateNewQuery objektu TDISEngine. Prvním parametrem je identifikátor dotazu, ze kterého se odvozuje (odvození slouží k překopírování hodnot z původního dotazu, dojde vlastně k vytvoření kopie dotazu), případně nil, pokud se jedná o zcela nový dotaz.

Druhým parametrem je seznam serverů, které má dotaz využít. Tyto servery se překopírují do příslušného seznamu QServers v nově vytvořeném objektu TDISQuery. Posledním krokem vytvoření nového dotazu je získání seznamu parametrů. Ten se získá zavoláním metody GetCommonParams.

Nyní je na uživateli, aby vyplnil vlastnosti a další parametry dotazu. Při tom má stále možnost přidávat (TDISQuery.AddServer) a ubírat (TDISQuery.RemoveServer) servery, kterých se bude dotaz týkat. Po každé takovéto změně je třeba přidat do seznamu nové parametry, či naopak odstranit ty přebytečné. Tady je ještě nutno poznamenat, že při přidávání serveru je nejdříve nutné se na tento server připojit voláním jeho metody Login. U některých serverů, kde není potřeba se přihlásit (například webové vyhledávače), je tato metoda prázdná. Pokud je volání neúspěšné, server nebude přidán.

Po ukončení editace se zkontrolují uživatelem zadané údaje metodou TDISEngine.QueryCheck. Jelikož je kontrola parametrů závislá na zvolených serverech, vyplní tato metoda serverové objekty Query parametry dotazu (SetCommonParams) a poté zavolá QueryCheck jednotlivých serverů a získá pole případných chyb (TDISErrMsgList), které zobrazí uživateli.

Vlastní vyhledávání je poměrně jednoduché. Nastaví se parametry dotazu na straně serveru (objekt Query typu TDISServerQuery) a pro každý server se vytvoří hledací vlákno (TDISFindThread) s parametry: pořadí serveru, zpětně volaná funkce pro zobrazení postupu hledání GProgressProc, další zpětně volaná funkce, která se volá při skončení vyhledávání EndThreadProc a odkaz na příslušný server. Hledací vlákno okamžitě po svém vytvoření začne vyhledávat, což spočívá v zavolání metody Find přiděleného serveru a předání funkce na zobrazování průběhu. Při ukončení aktivity vlákna (vyhledávání) se zavolá metoda EndThreadProc. Průběh hledání lze také předčasně ukončit nastavením atributu StopFind = True serveru.

Po ukončení hledání server připraví pole nalezených dokumentů (ne vždy je to tak triviální - viz oddíl nazvaný „Implementace webových vyhledávačů“). Pokud cílový DIS server podporuje ohodnocení, musí být toto ohodnocení převedeno do intervalu 0..100.

Jakmile všechny servery (vlákna) ukončily vyhledávání přichází na řadu další fáze - získání výsledků. Metoda GetQueryResults projde všechny oslovené servery a vytvoří si informační objekt typu TDISQueryServerInfo, který popisuje výsledek vyhledávání daného serveru (počet nalezených dokumentů, počet vrácených dokumentů, počet chyb, dotazovací řetězec, dobu trvání vyhodnocení dotazu a další).

Vrátí-li server nějaké dokumenty, přidá je do seznamu všech nalezených dokumentů. Ale nejdříve zjistí, zda už daný dokument není v seznamu obsažen (pomocí metody TDISDocumentList.EqualDoc). Je-li již v seznamu, spojí dokumenty do jednoho. Tedy přepočítá výsledné skóre a pořadí dokumentu a do pole DocServerInfos dokumentu přidá odkaz na další server.

Není-li v seznamu ještě obsažen, přidá jej tam a do pole DocServerInfos dokumentu vloží odkaz na informující objekt TDISDocServerInfo (kde je uveden odkaz na server, skóre a pořadí dosažené na tomto serveru).

Zde nastal problém se způsobem uspořádávání dokumnetů na výstupu. Jelikož ne každý server vrací ohodnocení dokumentu (míru jeho relevantnosti vzhledem k položenému dotazu), nelze použít skóre (jak by se potom měly zařadit neohodonocené dokumenty?). Jedním z možných řešení (které bylo nakonec použito) bylo využití pořadí dokumentu, které vrací každý server. V přehledu nalezených dokumentů tak přibyl další sloupeček informující o celkovém pořadí. Toto Výsledné pořadí (a stejně tak skóre) se vypočte jako aritmetický průměr pořadí (skóre) dosažených na jednotlivých serverech. Způsob, jak tento problém řeší ostatní metavyhledávače, se bohužel nepodařilo zjistit (jejich výrobci odmítli podat bližší popis z důvodu utajení těchto algoritmů před konkurencí).

Pro zobrazování dokumentů bylo uvažováno o několika alternativách:

Další problém vznikl při řešení zobrazení seznamu parametrů uživateli. Původně se uvažovalo o jednoduchém Layout manageru, který by řídil rozmístění vstupních polí pro jednotlivé parametry v dialogu. Toto se záhy ukázalo jako velmi složité a nepřehledné, protože výsledný seznam může obsahovat až několik desítek parametrů (plus další nově vytvořené kopie).

V konečném řešení (Obrázek 5.9.) jsou parametry reprezentovány jednoduchým stromem, který obsahuje maximálně dvě úrovně - vlastní parametr (TDISScalarParam) a případně skupina (TDISGroupParam), která parametr obsahuje. Komponenty pro zadání dat skupiny parametrů jsou v dialogu umístěny jednoduše pod sebou.

Toto řešení je velmi přehledné a elegantní. Hodnoty nastavených parametrů lze vidět přímo ve stromě a dialog není přeplácaný díky tomu, že se zobrazuje pouze vstupní pole vybraného parametru (případně několik komponent, pokud je parametr součástí skupiny).

Uživatelské prostředí aplikace neobsahuje mnoho dalších zajímavých technik. O možnostech, které uživateli nabízí pojednává spíše uživatelská část dokumentace. Jedinými zajímavými oblastmi je export seznamu dokumentů a formát ukládání dat (nastavení aplikace).

  <#JMENO_TAGU JMENO_ATRIBUTU='HODNOTA'>