SEO Слоўнік: robots.txt і пошукавая аптымізацыя

1. змест
2. Што такое robots.txt?
3. Навошта мне патрэбен robots.txt?
4. Як стварыць файл robots.txt?
5. robots.txt генератары ў Інтэрнэце
6. Табліца: каманды для robots.txt
7. Як рэагаваць на пошукавай блякаваны зьмест?
8. SEO: Што рабіць, калі ўтрыманне ўжо ў індэксе Google?
9. Што адбудзецца, калі выключыць старонкі толькі ў файле robots.txt?
10. Калі robots.txt гарантыі, што старонкі не трапляюць у індэкс Google?
11. Інструменты для вэб-майстроў Google: Check блякаваны зьмест

Robots.txt з'яўляецца важным інструментам для вэб - майстроў і інтэрнэт - маркетынгу для кіравання пошукавымі сістэмамі і выключыць пэўныя старонкі. Гэтая вікі артыкул мы разглядаем robots.txt: Што робіць гэты файл, як я ўсталяваў robots.txt і што яна павінна ўздзейнічаць на пошукавых сістэмах?

змест

robots.txt асновы

robots.txt і SEO

Калі не пазначана іншае, мы будзем падыходзіць да пошукавай сістэме Google і яе Googlebot для прыкладаў у гэтым артыкуле.

Што такое robots.txt?

Robots.txt (вымаўляецца «Robots Text») уяўляе сабой файл у каранёвым каталогу вэб - сайта. Хоць гэта не з'яўляецца афіцыйным міжнародным стандартам (напрыклад, HTML 5), файл і яго змест стала фактам, стандарт.

Мэта ў robots.txt, каб даць гусенічным хаду і боты інструкцыі аб тым , як паводзіць сябе на сайце. У прыватнасці, выключэнне бот з розных каталогаў і файлаў рэгулююцца ў файле robots.txt. Напрыклад, пошукавыя сістэмы, як Google нагадваюць, што яны не павінны наведваць пэўныя вэб-сайты і іншыя матэрыялы або прызначаныя.

Навошта мне патрэбен robots.txt?

Як ужо згадвалася вышэй, robots.txt з'яўляецца важным сродкам, каб пошукавыя сістэмы ад выкліку пэўнага ўтрымання. Такім чынам, мы блакуем пошукавыя сістэмы , як Google , пры спробе атрымаць доступ да важным старонках. Да іх адносяцца:

• Адміністрацыйнае кіраванне (фонавы)
• Старонкі з браніраваннем маршрутаў і здзелкамі пакупкі
• часовыя файлы і каталогі
• Рэгістрацыя і кантактныя формы,
• Вынікі пошуку старонкі
• а таксама любога тыпу вэб-сайта або файлаў, якія мы не хочам бачыць у індэксе Google і Ко відавочна.

Як стварыць файл robots.txt?

Стварэнне robots.txt лёгка.

• Крок 1: Адкрыйце тэкставы рэдактар.
  • САВЕТ: Мы рэкамендуем праграму → Notepad ++ Але і нармальны рэдактар ​​(Нататнік) на Windows, працуе выдатна для гэтага.
  • Заўвага: Microsoft Word і іншыя праграмы для стварэння дакументаў (напрыклад , OpenOffice Writer) не падыходзіць для стварэння файла robots.txt!
• Крок 2: Дадайце адпаведныя каманды, да якой мы крыху ніжэй → Табліца: каманды для robots.txt ўваходзіць
• Крок 3: Захавайце яго з пад назвай robots.txt.
• Крок 4: Спампаваць файл robots.txt высока ў каранёвай вашага сайта.
  • Прыклад: https://nextlevelseo.de/robots.txt
  • УВАГА: robots.txt не ўлічваецца ва ўкладзеных папках. Загрузіць файл robots.txt не мае сэнсу тут. (Прыклад:

robots.txt генератары ў Інтэрнэце

Каб стварыць файл robots.txt для Google і іншых пошукавых сістэм лёгка і хутка, мы рэкамендуем тут два Web-генератары з дапамогай файлаў robots.txt можна стварыць даволі проста:

Табліца: каманды для robots.txt

Цяпер мы падышлі да каманд, якія можна размясціць у файле robots.txt. Яна пабудавана па паслядоўнай схеме. Калі ласка, заставайцеся ў дакладнай стылі напісання (адчувальна да рэгістра), і ў кожнай радку каманды можа быць абложаны. Ніжэй у табліцы вы знойдзеце прыклады Як усё гэта выглядае ў канцы.

SMARTPHONE УВАГА Вы ў цяперашні час адлюстроўваюцца толькі самыя важныя апісання. Калі вы заблыталіся, бок спрабуе адкрыць на вашым кампутары. Там, вы будзеце атрымліваць зводную табліцу, у якой лягчэй зразумець. 😉

Каманда Апісанне # Алмаз сімвалізуе запіску. Для бот, гэта азначае, што яны ігнаруюць усё, што ў гэтай лініі ад знака фунта. Дык няхай вашыя ўласныя нататкі прытрымлівацца каманд у адпаведных месцах, каб finden.Ist хутка абложваецца алмаз ў пачатку радка са зменамі, уся радок ігнаруецца. Прыклад: # Гэта заўвага. * Зорка сімвал (або знак множання) з'яўляецца падстаноўных .Wildcard азначае , што што - то можа быць размешчана ў яго становішчы замест зоркі знака. Такім чынам, любая частка URL. Агент карыстальніка: * Запусціць радок з User-Agent: *, гэта азначае , што ўсе боты з гэтага радка разгледзім каманды ніжэй яго sollen.Das значок зорак (або знак множання) уяўляе сабой падстаноўных ўсе Боты , так што ўсе боты адрасаваныя. User-Agent: Googlebot Beginnnt лінія з User-Agent: Googlebot, гэта толькі Google Bot імя. Толькі ён павінен разгледзець наступныя радкі, пакуль новы User-Agent: занесеная ў спісы - да з'явіцца новая радок з User-Agent: пачынаецца. Іншыя сканары і боты разглядаць інструкцыі, якія змяшчаюцца ў ім nicht.Anstelle Googlebot можа камандаваць іншыя боты а менавіта:

• User-Agent: Googlebot-Image
• Агент карыстальніка: BingBot
• Агент карыстальніка: Yahoo! чмякаць
• Агент карыстальніка: YandexBot

Спіс пошукавых робатаў і робатаў можна знайсці тут: useragentstring.com

Disallow: / Запуск лініі з Disallow: гэта азначае, што вышэйзгаданыя боты і сканары не могуць прымацаваны шлях або URL прастору. Гэта свайго роду знак прыпынку для кожнага адрасу бот. УВАГА: Калі падстаноўныя (зорачка / знак множання) не ўсталяваны, заўсёды:

• Гэта для ботаў старонкі забароненыя атрымаць пачатак (у дадзеным прыкладзе) , с /.
• Гэта не азначае , што забаронена робаты загрузку старонкі , якія дакладна роўныя , што захоўваецца. Акрамя таго, трэба выкарыстоўваць наступную каманду са знакам даляра:

Disallow: /index.php$ Знака даляра ў канцы шляху альбо выяву кажа , што разгляд бот заканчваецца знакам даляра. У гэтым выпадку index.php знаходзіцца ў каранёвым каталогу не berücksichtigt.Steht ў URL пасля index.php нешта іншага - напрыклад, у URL /index.php?id=123 - а затым разгледзець боты гэтай старонкі wieder.Funktioniert з Googlebot , Yahoo! Slurp, MSNBot Disallow: / Temp / У гэтым выпадку забаронена адпаведныя боты, в / TEMP / і усе файлы і змесціва ў crawlen.Also ў ёй тэчцы: структуры могуць быць заблякаваны трафік з пошукавых сістэм. Disallow: Файл /admin.php Замкі для ўсіх ботаў і сканараў admin.php файл і ўсе падставы, што бок generiert.Beispiel: Disallow: /*.doc Гэтая каманда паказвае на тое, што гэта боты і сканары не дапускаюцца файлы з тыпу .DOC ў lesen.Weitere прыкладах:

• Disallow: /*.pdf
• Disallow: /*.jpg
• Disallow: /*.mp4
• Disallow: /*.xls

Disallow: /
Дазволіць: / сайт / Боты праверыць robots.txt звычайна зверху ўніз. Быў раней вобласць заблякаваны (напрыклад, поўны вэб - сайт), але ніжэй, Allow: папка з'яўляецца агульным, так што боты і сканеры тэчку / сайт / тэст і ў індэксе aufnehmen.Funktioniert з: Googlebot, Ask.com, Yahoo! Slurp MSNBot (іншыя робаты могуць ігнараваць парадак!) Карта сайта: <URL> The robots.txt Акрамя таго, XML можа захоўваць Sitemap. Такім чынам, боты і сканеры, каб ведаць той жа самы сціплы і XML Sitemap будзе правяраць, каб запісаць іх змесціва хутчэй у індэксе. Прыклад: Crawl-Delay: <СЕКУНД> Спецыяльна для Yahoo! і MSNbot:
Іх робаты могуць даручыць толькі пасля таго, як пэўныя інтэрвалы часу, каб прасканаваць новую старонку. прыклад:

• Абыход затрымкі: 300 # 300 секунд = кожныя 5 хвілін

Па-першае, файл robots.txt без тлумачэння прычын, а затым адзін з тлумачэннямі, якія пазначаныя як ноты.

SMARTPHONE УВАГА: Пераўтварыце ваш тэлефон у альбомную, каб убачыць Datstellung файлы robots.txt без памылак. Калі гэта апавяшчэнне па-ранейшаму існуюць, шукаць старонкі на вашым кампутары з поўнай шырынёй на зноў.

Агент карыстальніка: *
Аб кампаніі:
Disallow: / Temp /
#
User-Agent: Googlebot
Disallow: / дадання /
Дазволіць: / дадання / малюнка /
#
Агент карыстальніка: discobot
Disallow: * / спіс.
#
Агент карыстальніка: MSNBot
Disallow: /.js$

А зараз тое ж robots.txt з нотамі тлумачэнні. Адзначае таксама могуць быць уключаны ў robots.txt, таму што боты і сканараў ігнараваць ноты.

# Robots.txt для сайта
#
# Аладка ў пачатку радка
# Кажа, што гэта
# Каментар ставіцца і да ботам
# Ня гэтая вобласць
а таксама зважаць на #.
#
Агент карыстальніка: *
# Усе ботамі
#
Аб кампаніі:
# Захоўвае карта сайта для
# Паўзуны і ботаў
#
Disallow: / Temp /
# З TEMP / папкі / для ўсіх
# Блакаваў ботамі
#
User-Agent: Googlebot
Disallow: / дадання /
# Googlebot не ў
# Спампаваць / папка /
Дазволіць: / дадання / малюнка /
# Googlebot можа яшчэ ў
# Папка / дадання / малюнка /
#
Агент карыстальніка: discobot
Disallow: * / спіс.
няма # травеньскага discobot ніякіх файлаў
Адкрыць і старонкі, якія пералічваюць.
# Уключыць у URL.
# Wildcard (зорачкі *) кажа,
# Тое, што гэта не мае значэння, што права
# Спіс. размешчаны.
#
Агент карыстальніка: MSNBot
Disallow: /.js$
# Bot MSN павінен Javascripte
не адкрыта #. Тым не менш, толькі
# Калі файлы сканчаюцца .js.
# Размешчаны ззаду яшчэ
# Нешта такое, як у
# Дата Skript.js? = 20141220 тады,
# MSN Bot з'яўляецца файл
Агляд #.
#
# END

Як рэагаваць на пошукавай блякаваны зьмест?

Стоп знак. Фота: Мішэль Кінсі Брунс (CC BY 2.0)

Заблакаваны кантэнт, як стоп - знак для Google і іншых пошукавых сістэм, а таксама ў межах кожных мэтавых бот і пошукавых робатаў. Вы не можаце наведаць гэтыя сайты, і гэта таксама звычайна не робяць. Такім чынам, няма, сайты, заблякаваныя ў файле robots.txt, больш не выклікаецца Googlebot і іншымі пошукавымі робатамі і ботамі.

Аднак robots.txt хутчэй варта разглядаць як асабліва важная заўвага для любога тыпу робатаў і робатаў. У той час як буйныя вытворцы, такія як Google, каб выконваць правілы дарожнага руху (сімвалічны знак прыпынку), іншыя дробныя хуліганы робяць гэта аўтаматычна.

Акрамя таго, блякаваньне кантэнту не з'яўляецца гарантыяй для неўключэння ў індэксе пошукавых сістэм. Калі старонка звязаная ўнутрана, пашукавікі любяць ўзяць тэкст спасылкі ў якасці выніку пошуку загалоўка. Паколькі старонкі ня поўзалі пошукавую irgnorieren ўтрымання такіх як метатек noindex. Чым больш вы можаце знайсці ў артыкуле → SEO Тэст: Чытанне з Google праз robots.txt заблякаваны ўтрыманне?

Тым не менш, важныя і асноўныя пошукавыя сістэмы трымаць яго.

SEO: Што рабіць, калі ўтрыманне ўжо ў індэксе Google?

Ці з'яўляюцца старонкі трапляюць у індэкс Google, вы б хутчэй не ў індэксе, вы павінны закрыць з файлаў і каталогаў непасрэдна ў файле robots.txt. Паколькі выключэнне бот і пошукавыя робаты не азначае, што пошукавыя сістэмы аўтаматычна выдаліць змесціва з індэкса.

Лепш тады ў наступным парадку:

• Крок 1: Усталюйце патрэбныя старонкі ў метатега noindex.
• Хай патрэбныя старонкі з дапамогай інструментаў Google для вэб - майстроў → паўзе → Fetch , як Google поўзаць зноў: другі крок.
  • Неабавязковы крок: зрабіць тое ж самае пра Інструменты для вэб-майстроў Bing
• Крок 3: Дазволіць выдаліць URL - адрасы ў інструментаў Google для вэб - майстроў: Пад індэксам Google → Выдаліць URL
• Крок 4: Пачакайце , пакуль адрасы не былі фактычна выдаленыя
• Блок шляхоў і файлаў праз robots.txt Крок 5:

Што адбудзецца, калі выключыць старонкі толькі ў файле robots.txt?

Вынік пошуку можа працягваць з'яўляцца. Аднак, ні адно апісанне не з'яўляецца больш прадукцыі, але заўвага:

У сувязі з robots.txt гэтага сайта няма апісання гэтага выніку не даступна. дадатковая інфармацыя

Вынік пошуку Google быў заблякаваны ў файле robots.txt

Калі robots.txt гарантыі, што старонкі не трапляюць у індэкс Google?

Няма . Боты і шукальнікі не павінны прытрымлівацца інструкцыям у файле robots.txt знаходзіцца. Яны так жа, як знак прыпынку, каб большасць бот і сканеры трымаць. Рэальны бар'ер не хоць.

Тым не менш, большасць буйных інтэрнэт-паслуг прытрымліваецца гэтага інтэрнэт-трафіку правілаў.

Інструменты для вэб-майстроў Google: Check блякаваны зьмест

Для таго, каб праверыць, калі Google ацэньвае robots.txt правільна і правільна ацаніць абложаны файл robots.txt, вы можаце перацягнуць Google для вэб-майстроў Інструменты дапамогі.

Інструменты для вэб-майстроў Google: robots.txt Tester

Пад Crawl → robots.txt Tester з'яўляецца robots.txt , як яна ў апошні раз праверыў Google. Калі вы хочаце, каб зрабіць новыя змены ці ўжо зрабілі, вы можаце дадаць поле новых карэкціровак.

Пасля гэтага вы можаце URL - адрасы могуць быць пратэставаны з рознымі ботамі ў інструмент Google для вэб - майстроў.

• Калі URL заблакаваны, таксама адлюстроўваюцца на якую лінію ён заблякаваны.
• Калі URL ня заблакаваны, то кнопка «Тэст» на зялёны «Approved» кнопка.

спасылкі