Sitemap.xml — это специальный файл, содержащий информацию о проходящих индексацию страницах сайта. Необходима для того, чтобы сообщать поисковым системам о появлении новых страниц на сайте и для того, чтобы во время индексации не были пропущены нужные страницы.
Sitemap.xml у нас генерируется автоматически, вы можете включать или исключать страницы из него отметив галочкой.
Robots.txt – специальный файл, который используется для регулирования процесса индексации сайта поисковыми системами. Место его размещения – корневой каталог.
Для настройки Robots.txt есть 3 варианта:
1. Генерировать автоматически
2. Указать вручную
3. Закрыть от индексации
Первый вариант самый удобный, вы просто выбираете какие страницы включить или исключить из файла для индексации. Второй вариант используется обычно если вы довольно тонко разбираетесь или у вас уже есть готовый файл Robots.txt.
Вариант под номером 3 позволяет закрыть сайт от индексации, например на время разработки.
Важно: Для одностраничных сайтов заполнять Sitemap.xml и Robots.txt не обязательно, т.к. данные файлы созданы в первую очередь для работы с многостраничными сайтами.
