Web Articles Downloader 2011

V tomto projektu jsem zúročil několikaleté zkušenosti při stahování informací z webových stránek. Jedná se o sofistikovaný systém, který provádí hledání na několika webech a získané výsledky dále zpracovává. V první fázi se stahují výsledky webového vyhledání dle zadaných klíčových slov a datumů. Výsledek hledání je dále upraven, přefiltrován a pustí se do další fáze, která zařídí stažení detailních informací. Při tomto stažení se odstraňují reklamy, vložené obrázky a další věci. Vše se ukládá do rychlé binární databáze v paměti a následně pak do velké hlavní databáze. Získaná data se obohacují o další informace a pak exportují do textových souborů. Systém disponuje dalším podpůrným systémem na správu databází, správu klientů a v neposlední řadě je také vybaven aktualizačním systémem AUDREY Updater. Při práci na systému bylo třeba řešit řadu záludností a problémů, jako jsou především velmi nekvalitně připravené weby nebo chyby v knihovně jscript.dll.