Как и зачем необходимо создавать файл robots.txt? Любой сайт включает не только контент для пользователей, но и множество системных файлов. И когда робот поисковика начинает его сканировать, для него нет разницы – системный это файл или какой-то другой. Он проиндексирует все подряд. Чтобы этого не случилось, необходимо отредактировать файл robots.txt.
В видео мы расскажем о работе с основными директивами:
- «User-agent:»;
- «Disallow:»;
- «Allow:»;
- «Host:»;
- «Sitemap:».
___________________
-~-~~-~~~-~~-~-
Обязательно посмотрите: "Как правильно настроить и использовать UTM метки?"
-~-~~-~~~-~~-~-
Не хватает знаний? ПОДПИШИСЬ НА КАНАЛ или зарегистрируйся на бесплатный семинар в