Планирование отдельной страницы

Итак, продолжим!

Сегодня мы поговорим о том, как спланировать отдельную страницу. При планировании страницы необходимо учитывать два следующих момента:

 во-первых, поисковики любят сайты, на которых значительную часть пространства занимает контент, т.е. статьи и чем больше места на сайте под статьями (в идеале — это 100%), тем лучше для поисковика и,

во-вторых,  имея на сайте один лишь контент, без формы подписки, рекламы и т.п., дающие возможность заработать на сайте, теряет всякий смысл сам сайт.

Поэтому, необходимо подойти к этому вопросу рационально и подобрать оптимальный вариант, т.е. баланс между основным и дополнительным содержанием сайта.

На Вашем сайте обязательно должен быть файл robots.txt, который Вы можете создать в простом текстовом редакторе, всем известном, как блокнот.

Затем этот файл необходимо загрузить в корневую директорию Вашего сайта, туда же, где находится индексный файл (index.html, index.php, index.asp и т.д.).

Нужен robots.txt для того, чтобы подсказать поисковым роботам, что и как необходимо индексировать на Вашем сайте.  А по сути, в этот файл Вы вносите папки и файлы, которые поисковые роботы НЕ должны индексировать.

Как это помогает поисковой оптимизации?

А очень просто. Вы говорите поисковому роботу, что не нужно тратить время на такие-то файлы. Они не содержат полезной информации. И тогда робот идет и индексирует те файлы, который Вы хотите видеть в индексе поисковой машины и, соответственно, в поисковой выдаче.

Таким образом, индексация Вашего сайта будет проходить быстрее.

Запретите поисковым машинам индексировать файлы и папки, которые не содержат информации по теме сайта. Все исполняемые файлы, дополнительная и вспомогательная информация должны обязательно быть внесены в файл robots.txt.

Не имеет смысла индексировать административный раздел, папки с набором файлов каких-то скриптов, служебные файлы и т.д.
Файл robots.txt должен иметь примерно такой вид (местами директивы не менять! Добавлять и редактировать нужно.):

User-Agent: *
Disallow: /admin/
Disallow: /data/
Disallow: /skin/
Disallow: /FCKeditor/
Disallow: /script.php

User-agent: Yandex
Disallow: /admin/
Disallow: /data/
Disallow: /skin/
Disallow: /FCKeditor/
Disallow: /script.php
Host: www.site.ru

Да, для Яндекса нужно все директивы повторить. Директиву хост понимают не все роботы и если ее указать для всех, то многие роботы просто проигнорируют этот файл и будут «лопатить» все подряд.

Поэтому для всех роботов пишите только запрещающие директивы, а для Яндекса все то же самое плюс директиву host, как в примере.

Если Вы желаете узнать больше о файле , то рекомендую Вам зайти на сайт, целиком посвященный методам работы с поисковыми роботами и в том числе составлению robots.txt: https://robotstxt.org.ru/

Успехов Вам!