Настройка файлов Sitemap.xml и Robots.txt

Sitemap.xml — это специальный файл, содержащий информацию о проходящих индексацию страницах сайта. Необходима для того, чтобы сообщать поисковым системам о появлении новых страниц на сайте и для того, чтобы во время индексации не были пропущены нужные страницы.

Sitemap.xml у нас генерируется автоматически, вы можете включать или исключать страницы из него отметив галочкой.

Robots.txt – специальный файл, который используется для регулирования процесса индексации сайта поисковыми системами. Место его размещения – корневой каталог.

Для настройки Robots.txt есть 3 варианта:

1. Генерировать автоматически

2. Указать вручную

3. Закрыть от индексации

Первый вариант самый удобный, вы просто выбираете какие страницы включить или исключить из файла для индексации. Второй вариант используется обычно если вы довольно тонко разбираетесь или у вас уже есть готовый файл Robots.txt.

Вариант под номером 3 позволяет закрыть сайт от индексации, например на время разработки.

Важно: Для одностраничных сайтов заполнять Sitemap.xml и Robots.txt не обязательно, т.к. данные файлы созданы в первую очередь для работы с многостраничными сайтами.

ТЕХНИЧЕСКАЯ ПОДДЕРЖКА

Не можете найти то, что ищете?

Напишите нам. на связи 24/7. Среднее время ожидания ответа: 10-15 минут. Также вы можете вступить в наш Телеграм-чат, где собралось много специалистов и пользователей.

Поддержка Creatium

Агенты ответят через 10 минут

Агенты ответят

Блог, курсы и полезные материалы 

Платформа сайтов любой сложности