Многие операторы веб-сайтов обеспокоены. Очевидно, вам абсолютно необходимо иметь файл с именем robots.txt. Что это?
Windows + Linux / английский язык / открытый исходный код. Если у вас есть домашняя страница, вы обычно хотите, чтобы вас нашли. Когда ваша собственная страница не появляется в Google, возникает большое разочарование. Это вполне может быть связано с файлом robots.txt. Но только если он есть. Этот файл может делать только одно: запрещать.
В файле robots.txt вы можете запретить автоматическим программам, которые круглосуточно выходят в Интернет, получать доступ к вашим страницам. Вы можете объявить запрет на всех этих роботов или на некоторых из них. Вы можете заблокировать свои страницы полностью или только в определенных областях.
Если файл не существует, соответственно и запретов нет. Ваши страницы открыты для всех поисковых систем. Если вы все еще не появляетесь в Google, возникает совершенно другой вопрос: вы уже зарегистрировали свои страницы? Лучше всего сделать это прямо сейчас. Просто введите адрес здесь:
https://www.google.com/webmasters/tools/submit-url
Для этого вам необходимо войти в свою учетную запись Google.
Чтобы отсутствующий файл robots.txt был проблемой, сервер также должен быть настроен неправильно. Затем робот может попытаться получить доступ к файлу и столкнуться с необычными сообщениями об ошибках, что приведет к прерыванию процесса. Но это маловероятно.
Если вы хотите создать файл robots.txt, сохраните его в основной папке вашего веб-сервера. Если вы хотите, чтобы все могли делать все, напишите в нем следующее:
Агент пользователя: *
Запретить:
Строка «User-Agent» указывает на кого действует запрет. * означает: для всех. Строка «Disallow» выражает запрет. Если больше ничего нет, значит, все доступы разрешены.
Подробнее по теме:Поднимите занавес, вот и ваш сайт: как создать сайт без особых усилий
