Google змінив правила файла robots.txt

На цьому тижні популярна пошукова система Гугл змінила правила для файлу роботс.

Пошукові і інші боти сканують цей файл, щоб знати, до яких адрес у них є доступ, а до яких немає. Файл відомий уже 25 років, але він досі не затверджений офіційно. У файлу є власний протокол, він називається Robots Exclusion Protocol.

Найбільш помітною знімою стало те, що Гугл видалив протокол noindex , який, до речі, тільки він сам і підтримував.

Google вирішив офіційно затвердити протокол REP, і подав офіційну заявку в IETF.

Ось список того, що зміниться в правилах robots.txt:

  1. Тепер директиви можна використати не тільки до протоколів HTTP/HTTPS , а й до FTP / CoAP
  2. Пошукові павуки мають сканувати перші 512 кБ файлу, все інше не сканується і не приймається до уваги.
  3. Директиви в файлі будуть кешуватись. Звичайний кеш становитиме 24 години, витавити інший час кешу можна через заголовок Cache-Control
  4. Якщо файл перестане бути доступним для завантаження, директиви будуть використовуватись з попередньо завантаженого файлу роботс.тхт

Правила, які не будуть опубліковані в офіційній специфікації – не будуть підтримуватись Google. Саме це сталося з директивою noindex , вона перестане підтримуватись з 1.09.2019 року.

Якщо ви користувались цією директивою, вам слід замінити її на інші способи.

Відомо три способи замінити robots.txt noindex:

  1. <meta name=”robots” content=”noindex”>
  2. HTTP header X-Robots-Tag: noindex
  3. Код відповіді сервера 404 або 410

При цьому ваша сторінка гарантовано не буде індексуватись.

Картинка - гугл і робот

Корисні команди MySql

Усі ці запити мають виконуватись в РНРMyAdmin, таблиця b_posts у вас може бути wp_posts , b_ і wp_ це префікси таблиць, які можна довільно вибрати при встановленні WordPress.

Це код, який дозволить замінити посилання в тексті статті на Вордпресс.

UPDATE `b_posts` SET `post_content` = replace(post_content, 'blohher.xofportal.ru', 'salomoon.info')

А цей код дозволяє видалити параметри ширини і висоти картинок в тексті (в мене на старій системі всі картинки такого розміру, які потім розтягувались за допомогою скріпту джаваскріпт.

UPDATE `b_posts` SET `post_content` = replace(post_content, 'width="200" height="150"', '')

UPDATE `b_posts` SET `post_content` = replace(post_content, 'height="150" width="200"', '')

А цей код дозволить включити коментарі на всі пости. Точніше при створенні скрипту на мові РНР для експорту даних в файл CSV, я помилково для коментарів встановив дозвіл як 1, а треба ‘open’.

UPDATE `b_posts` SET `comment_status` = replace(comment_status, '1', 'open')