Как найти и исправить неработающие ссылки на вашем сайте (с помощью Xenu, test)?

Если у вас есть веб-сайт, я уверен, что вы потратили много тяжелой работы и много часов на то, чтобы сделать его ценным ресурсом. Но если ваши ссылки не работают, это может сорвать всю вашу тяжелую работу. Неработающие ссылки на вашем веб-сайте могут нанести вред двумя способами:

• Они создают плохой пользовательский опыт — когда пользователи нажимают на ссылки и достигают тупиковых ошибок 404, они разочаровываются и могут никогда не вернуться.

• Они обесценивают ваши усилия по поисковой оптимизации. Неработающие ссылки ограничивают поток ссылок на вашем сайте, что негативно влияет на рейтинг.

Чтобы избежать этих потенциальных ловушек, вам следует периодически проверять неработающие ссылки на всем своем веб-сайте, например, программой Xenu.

Бесплатный инструмент, который я рекомендую — Xenu Link Sleuth.

После того, как вы установили программное обеспечение Xenu и открыли инструмент, перейдите в Файл — Проверить URL и введите домен своего веб-сайта. Снимите флажок «проверять внешние ссылки» и нажмите «ОК», чтобы запустить анализ.

Обратите внимание: если вы впервые используете Xenu, заполнение отчета может занять некоторое время. Так что наберитесь терпения.

После проверки Xenu предоставляют нам список ссылок, которые могут быть повреждены. Но прежде чем фактически исправлять их, вы должны сначала проанализировать страницы и причины, по которым они могут работать некорректно.

Отчет Xenu имеет то преимущество, что все ссылки, показанные в Xenu, на самом деле являются существующими ссылками, которые находятся на сайте в данный момент.

Исправьте битые ссылки или запретите их для индексации (для этого необходимо их будет найти на сайте, определить откуда они).

Пример, на этом сайте были найдены битые ссылки и вы можете видеть на фотографии. Вроде их не особо много, но при анализе выяснилось, что они создатся динамически на каждый добавленный материал. Другими словами сколько будет статей (добавленных через URL, например), столько будет битых ссылок.

В шапку сайта добавлялись подобные конструкции:

<link rel="canonical" href="/1ps.ru">
<meta property="og:url" content="/1ps.ru">

Что давало битую ссылку — раз. И что еще хуже, подобные вещи говорили поисковым системам, что это страницу не стоит индексировать, она находится по другому адресу, а по другому адресу 404 ошибка.

Была пропущена папка domain (в этой ошибке).

Подправил: см. на GitHub

Пока 100 статей это не страшно, хотя… на 100 статей почти 10 ссылок, ИМХО, много. А если статей будет больше?

В общем, скачиваем эту простую прогу и проверяем свой сайт. Далее анализируем почему получилось так и устраняем.

Удачи!

P.S. Там остались ещё 2 битые ссылки и они говорят о многом. Это 2 поста для TL больше нулевого, т.е. они должны быть закрытыми. Но робот нашел их. Вот это серьезней. В сами посты сканеру зайти не получилось (уже хорошо), но что где-то есть открытые ссылки для скрытых постов, плохо.