Plik robots.txt – o co właściwie chodzi

Co to są za pliki i na czym polega ich działanie? Google oraz inne wyszukiwarki używają botów indeksujących nasze strony www, które potem umieszczając je w wynikach wyszukiwania na odpowiedniej pozycji po przeanalizowaniu struktury i treści naszej strony, natomiast plików robots.txt używa się aby zarządzać ruchem tych robotów. Pamiętajmy, że nie jest to mechanizm służący do ukrywania strony internetowej przed wyszukiwarką. Używa się go głównie by nie obciążać witryny danymi. Tak więc możemy zabronić indeksowania całej lub tylko części naszej strony, pamiętajmy że jest nam ten mechanizm zbędny jeśli chcemy by cała nasza strona została zindeksowana. Należy wziąć również pod uwagę, że nie wszystkie roboty będą się stosowały do tego zalecenia, oczywiście takie z uznanych wyszukiwarek nie będą ignorować takich zaleceń, jednak musimy się przygotować, że nie wszędzie zostanie to wzięte pod uwagę.

Jak utworzyć plik robots.txt

Gdy tworzymy taki plik musi zawierać on przynajmniej jedną regułę, a każda taka reguła blokuje lub zezwala na dostęp określonego robota do wskazanego pliku w danej witrynie. Pamiętajmy, że nawet małe zmiany w pliku będą skutkowały odmiennymi zachowaniami danego robota. Do stworzenia takiego pliku możemy użyć praktycznie każdego edytora tekstu – dlatego nie jest to zbyt problematyczne. Musimy stosować się do określonych zasad dotyczących lokalizacji i formatowania pliku, a bliższe informacje na ten temat są dostępne w internecie oraz wytłumaczone w przejrzysty sposób, także nawet gdy nie jesteśmy z tym obeznani powinniśmy sobie dać z tym radę.