Планирование отдельной страницы
Сегодня мы поговорим о том, как спланировать отдельную страницу. При планировании страницы необходимо учитывать два следующих момента:
во-первых, поисковики любят сайты, на которых значительную часть пространства занимает контент, т.е. статьи и чем больше места на сайте под статьями (в идеале — это 100%), тем лучше для поисковика и,
во-вторых, имея на сайте один лишь контент, без формы подписки, рекламы и т.п., дающие возможность заработать на сайте, теряет всякий смысл сам сайт.
Поэтому, необходимо подойти к этому вопросу рационально и подобрать оптимальный вариант, т.е. баланс между основным и дополнительным содержанием сайта.
На Вашем сайте обязательно должен быть файл robots.txt, который Вы можете создать в простом текстовом редакторе, всем известном, как блокнот.
Затем этот файл необходимо загрузить в корневую директорию Вашего сайта, туда же, где находится индексный файл (index.html, index.php, index.asp и т.д.).
Нужен robots.txt для того, чтобы подсказать поисковым роботам, что и как необходимо индексировать на Вашем сайте. А по сути, в этот файл Вы вносите папки и файлы, которые поисковые роботы НЕ должны индексировать.
Как это помогает поисковой оптимизации?
А очень просто. Вы говорите поисковому роботу, что не нужно тратить время на такие-то файлы. Они не содержат полезной информации. И тогда робот идет и индексирует те файлы, который Вы хотите видеть в индексе поисковой машины и, соответственно, в поисковой выдаче.
Таким образом, индексация Вашего сайта будет проходить быстрее.
Запретите поисковым машинам индексировать файлы и папки, которые не содержат информации по теме сайта. Все исполняемые файлы, дополнительная и вспомогательная информация должны обязательно быть внесены в файл robots.txt.
Не имеет смысла индексировать административный раздел, папки с набором файлов каких-то скриптов, служебные файлы и т.д.
Файл robots.txt должен иметь примерно такой вид (местами директивы не менять! Добавлять и редактировать нужно.):
User-Agent: *
Disallow: /admin/
Disallow: /data/
Disallow: /skin/
Disallow: /FCKeditor/
Disallow: /script.php
User-agent: Yandex
Disallow: /admin/
Disallow: /data/
Disallow: /skin/
Disallow: /FCKeditor/
Disallow: /script.php
Host: www.site.ru
Да, для Яндекса нужно все директивы повторить. Директиву хост понимают не все роботы и если ее указать для всех, то многие роботы просто проигнорируют этот файл и будут «лопатить» все подряд.
Поэтому для всех роботов пишите только запрещающие директивы, а для Яндекса все то же самое плюс директиву host, как в примере.
Если Вы желаете узнать больше о файле , то рекомендую Вам зайти на сайт, целиком посвященный методам работы с поисковыми роботами и в том числе составлению robots.txt: https://robotstxt.org.ru/
Успехов Вам!