MarlyBot

MarlyBot je jednoduchý čtecí nástroj, který MARLY používá při auditu online marketingu. Nepracuje jako vyhledávač, nic neindexuje a nesbírá weby na zásobu.

MarlyBot web otevře jen tehdy, když přihlášený uživatel MARLYHO zadá adresu webu ke svému vlastnímu auditu nebo si nechá navrhnout kampaň. Nejdřív přečte soubor robots.txt, potom veřejné HTML úvodní stránky a stránky „O nás“, pokud na ni úvodní stránka odkazuje. Při auditu navíc přečte mapu webu (sitemap) a sestaví seznam až 25 podstránek téhož webu; u nejvýše 8 z nich načte titulek a popis.

Nečte nic za přihlášením, neodesílá formuláře, nespouští JavaScript a nepřistupuje do soukromých ani interních sítí. Z každé stránky se používá jen text a základní údaje (titulek, popis, nadpisy).

MarlyBot se nesnaží obcházet ochranu webů. Pokud váš web odmítne požadavek s hlavičkou User-Agent obsahující „MarlyBot“ (například odpovědí 403) nebo ukáže ověření „nejste robot“, MARLY to bere jako odmítnutí a web nečte. Nejspolehlivější je tedy blokování podle User-Agent na serveru nebo ve firewallu.

MarlyBot respektuje robots.txt: řídí se pravidly Disallow (a Allow) pro „User-agent: MarlyBot“ i pro „User-agent: *“. Záznam „User-agent: MarlyBot“ a „Disallow: /“ mu čtení webu zakáže celé; stránky zakázané jen zčásti nečte. Řádky Sitemap použije jako zdroj podstránek.

Máte-li dotaz nebo chcete, abychom váš web vyloučili, napište nám na social@marlyagent.cz.