Усё пра WordPress і файле robots.txt

1. Што такое robots.txt? Пошукавыя сістэмы рэгулярна адпраўляюць так званыя сканеры (таксама званыя...
2. Robots.txt вызначае, што не трэба сканаваць
3. Як аптымізаваць robots.txt на Wordpress?
4. Стварыце файл robots.txt з дапамогай убудоў WordPress
5. Націснуўшы на кнопку "Рэдактар ​​файлаў", вы можаце змяніць robots.txt у WordPress
6. Выснова: Аптымізацыя robots.txt для WordPress ўручную, калі гэта неабходна

Што такое robots.txt?

Пошукавыя сістэмы рэгулярна адпраўляюць так званыя сканеры (таксама званыя пошукавыя робаты або павукі) на пошук вэб-сайтаў для новых запісаў і старонак. Выкарыстоўваючы файл robots.txt, вы можаце кантраляваць, якія подстраницы вашага сайта не павінны адсочвацца сканерамі і не павінны быць уключаны ў індэкс Google. Адпаведныя старонкі не адлюстроўваюцца ў выніках пошуку. Вядома, вы можаце не толькі ўсталяваць гэта для Google, але і для іншых пошукавых сістэм, такіх як Bing, Yahoo і Co.

• Файл robots.txt вызначае, што павінна адлюстроўвацца ў пошукавых сістэмах, такіх як Google, з вашага ўласнага сайта.
• WordPress стварае сябе robots.txt віртуальнай, якая аўтаматычна прайграваецца.
• Для большасці вэб-майстроў уласныя дапаўненні маюць сэнс.

Google Crawler перыядычна скануе сайты на новыя паведамленні пра індэксаванне

WordPress аўтаматычна стварае файл robots.txt?

WordPress створыць уласны файл robots.txt, пакуль вы не ствараеце асобны файл самастойна. Robots.txt WordPress вельмі вузкі і мае наступны змест:

• Карыстальнік-агент: *
• Забараніць: / wp-admin /
• Забараніць: / wp-includes /

WordPress вызначае, якая пошукавая сістэма адпраўляе сканеры (карыстальнік-агент) на ваш сайт (зорачка паказвае на ўсе пошукавыя сістэмы ў прыкладзе) і што яна індэксуе ўвесь вэб-сайт, за выключэннем каталогаў / wp-admin і / wp-includes / дапускаецца. Каманда "disallow" блакуе бота доступ да двух названых каталогаў. Вышэйзгаданыя налады па змаўчанні маюць сэнс у прынцыпе, таму што яны гарантуюць, што сканер можа выклікаць усе старонкі . Тым не менш, звычайна мэтазгодна наладзіць robots.txt ўручную для WordPress. Таму што такія старонкі, як адбітак, не павінны быць уключаны ў Google. Акрамя таго, убудовы не павінны з'явіцца ў выніках пошуку. Таму што, калі ўбудова мае ўразлівасць, зламыснікам лёгка знайсці сайты, у якіх уключана пашырэнне. Таму robots.txt павінен заблакаваць усё, што не прызначана для грамадскасці, і прапаноўваць карыстачу ў рэкламе Google без дадатковай кошту.

Robots.txt вызначае, што не трэба сканаваць

Што Wordpress у файл robots.txt?

Кожны вэб-майстар вызначае файл robots.txt для WordPress па-рознаму, у залежнасці ад структуры старонкі і іх уласных пераваг. Аднак наступны прыклад дае добрую арыентацыю, паколькі ён ахоплівае найбольш важныя выпадкі:

• Карыстальнік-агент: малюнак Googlebot
• Забараніць: Дазволіць: / *
• Карыстальнік-агент: Mediapartners-Google
• Забараніць: Дазволіць: / *
• Карыстальнік-агент: duggmirror
• Забараніць: /
• Карыстальнік-агент: *
• Забараніць: / cgi-bin /
• Забараніць: / wp-admin /
• Забараніць: / wp-includes /
• Забараніць: / wp-content / убудовы /
• Забараніць: / wp-content / кэш /
• Забараніць: / wp-content / themes /
• Забараніць: / trackback /
• Забараніць: / feed /
• Забараніць: / каментары /
• Забараніць: / катэгорыя /
• Забараніць: / дзень /
• Забараніць: * / trackback /
• Забараніць: * / feed /
• Забараніць: * / каментары /
• Забараніць: / *?
• Дазволіць: / wp-кантэнт / запампоўкі /

У першых радках пад user-agent вызначаецца, якія боты доступ доступ. Адпаведна, пошук малюнкаў Google і Google Ads дазволены, але duggmirror цалкам заблакаваны. У радку user-agent: * выказваецца, што наступныя абмежаванні распаўсюджваюцца на ўсе пошукавыя сістэмы. Ніжэй прыведзены радкі, у прыватнасці, вызначаюць, што каталог адміністратара ( / wp-admin / ), а таксама убудовы ( / wp-content / plugins / ) і тэмы ( / wp-content / themes / ) не пералічаны. Каментары, архівы і каналы таксама выключаюцца, каб паменшыць рызыку паўтарыць змест . Паколькі паведамленні пералічаныя як на вашым сайце, так і ў дадатковым архіве, Google можа пакараць вас за паўторнае змест, так што, напрыклад, ваш рэйтынг пагоршыцца. Зорачка ў апошніх камандах гарантуе, што ўсе файлы з трэкаў "trackback", "feed" і "comments" не скануюцца. У перадапошняй радку зорачка паказвае, што ўсе URL-адрасы, якія ўтрымліваюць знак пытання, не павінны быць праіндэксаваны. Каб паказаць Google Crawler структуру вэб-старонак, вы таксама можаце ўвесці карту сайта ў файле robots.txt.

Як аптымізаваць robots.txt на Wordpress?

Robots.txt, створаны WordPress, ствараецца і выходзіць праз файл wp-functions.php . Змены могуць быць унесены з рэдактарам, напрыклад Notepad ++. Аднак гэтыя змены перазапісваюцца падчас абнаўлення WordPress, робячы гэта аднаўленне Налады па змаўчанні прыходзіць. Больш сэнсу стварыць новы файл з імем robots.txt у рэдактары і захаваць яго ў каранёвым каталогу (таксама званы каранёвай каталог) вашага дамена. Калі ваш дамен - http://www.your-example.com , шлях robots.txt павінен выглядаць наступным чынам: http://www.your-example.com/robots.txt . Пасля таго, як такі файл быў створаны, ён заўсёды мае прыярытэт перад аўтаматычна створаным файлам robots.txt з WordPress.

Стварыце файл robots.txt з дапамогай убудоў WordPress

Стварэнне robots.txt з дапамогай WordPress яшчэ прасцей, чым убудовы . Ёсць некалькі SEO Убудовы, якія дазваляюць ствараць або змяняць robots.txt непасрэдна ў бэкэнд. Адзін з найбольш правераных убудоў - Yoast SEO . Калі вы паспяхова ўсталявалі і актывавалі пашырэнне, вы можаце перайсці ў пункт меню "SEO => Інструменты", а затым націсніце кнопку "Рэдактар ​​файлаў", дзе вы можаце рэдагаваць файл robots.txt непасрэдна ў WordPress. Націснуўшы на кнопку "Ужыць змены ў robots.txt", змены будуць захаваны і адразу ж актыўныя.

Націснуўшы на кнопку "Рэдактар ​​файлаў", вы можаце змяніць robots.txt у WordPress

Увага: Не ўсе роботы прытрымліваюцца robots.txt

Правілы паводзінаў, устаноўленыя ў файле robots.txt для WordPress, служаць толькі кіраўніцтвам па пошуку пошукавых сістэм, але гэта не з'яўляецца абавязковым . Хоць боты з Google і іншых аўтарытэтных пошукавых сістэм заўсёды прытрымліваюцца іх заяваў, іншыя сканеры не заўсёды робяць гэта. Так што, калі вы хочаце пераканацца, што некаторыя часткі вашага сайта нідзе не індэксуюцца, вам варта падумаць пра іншыя метады блакавання - напрыклад, файлы і тэчкі, якія абараняюцца паролем на вашым серверы.

Выснова: Аптымізацыя robots.txt для WordPress ўручную, калі гэта неабходна

Выкарыстоўваючы файл robots.txt, вы можаце дакладна вызначыць, якія часткі вашага сайта могуць атрымліваць доступ да сканераў пошукавай сістэмы і якія застаюцца заблакаванымі. З дапамогай індывідуальных налад вы можаце адаптаваць паводзіны пошукавых сістэм да ўмоў вашага сайта.

• Вызначце, якія старонкі павінны быць паказаны для Google і іншых пошукавых сістэм.
• Файл robots.txt заўсёды павінен быць захаваны ў каранёвым каталогу вашага дамена.
• Убудовы WordPress SEO дазваляюць лёгка ствараць і рэдагаваць robots.txt.