Frédéric Dubut, senior program manager z Microsoftu, který právě nyní pracuje na vyhledávání Bing sdělil tuto středu na svém twitteru, že když vytvoříte specifickou sekci ve vašem souboru robots.txt pro procházeče Bingobota, měli byste se ujistit, že jste tam uvedli veškeré výchozí směrnice a příkazy.
 
Specifikujte je pro Bingbota. „Pokud vytvoříte sekci specificky pro Bingbota, všechny výchozí direktivy budou ignorovány (kromě Crawl-delay),“ sdělil. „MUSÍTE okopírovat veškeré direktivy, které chcete, aby se jimi Bingbot řídil v jeho vlastní sekci,“ dodal.
 
Co to vlastně znamená? To pravděpodobně znamená to, že Bing viděl velký počet internetových stránek, které si stěžují na to, že Bingbot prochází oblasti jejich stránek, které nechtějí, aby byly bingbotem procházeny. Je tu velká pravděpodobnost, že někteří správci webů usoudili, že pokud dali Bingbotovi specifické instrukce, následoval by zbytek výchozího nastavení, které ale není explicitně uvedeno v jeho vlastní sekci. Namísto toho, pokud máte tedy vyhrazenou sekci pro Bingbota, bude následovat jenom ty příkazy, které jste explicitně vypsali v této sekci vašeho robots.txt souboru. Pokud nemáte žádnou specifickou sekci pro Bingbota, tak Bingbot bude následovat výchozí nastavení a příkazy.
 
Proč na tom záleží. Ujistěte se, že když nastavujete váš soubor robots.txt, tak všechny internetové prohlížeče a jejich procházeče mohou efektivně procházet vaší stránku. Pokud nastavíte velmi specifické direktivy pro blokaci, zpoždění procházení nebo další příkazy, tak se poté ujistěte, že všechny procházeče internetových prohlížečů jsou v seznamu vypsány. Nemusejí poslouchat tyto příkazy, pokud je tam nějaká chyba v syntaxu či pokud vy nenásledujete ten jejich protokol nebo vy máte problém s přístupem k takovýmto direktivám.