Plik robots.txt

Do czego służy 'robots.txt'

Plik 'robots.txt' informuje roboty wyszukiwarek o tym, do których adresów URL mogą uzyskać dostęp (nie jest to blokada związana z dostępem do treści). Możesz również za jego pomocą zdefiniować jak często roboty mogą skanować witrynę.

Gdzie znajdę plik 'robots.txt'?

Plik znajduje się w głównym folderze twojego wirtuala. W przypadku naszego hostingu jest to folder '/html'. Dostęp do pliku realizowany jest za pomocą konta FTP.