Back to Question Center
0

Semalt: Како да го блокирате Darodar Robots.txt

1 answers:

Датотеката Robots.txt е типична текстуална датотека која содржи инструкции за тоа како веб роботите или ботови треба да индексираат веб-страница. Нивната примена е очигледна во ботови на пребарувачот кои се вообичаени во бројни оптимизирани веб-страници. Како дел од протоколот за исклучување на роботи (REP), датотеката robots.txt претставува суштински аспект на индексирање на содржината на веб-страницата, како и овозможување серверот да ги автентицира корисничките барања соодветно.

Јулија Вашнева Селталт Високи менаџер за успех на клиентите, објаснува дека поврзувањето е аспект на оптимизација на пребарувања (SEO), што подразбира добивање на сообраќај од други домени во рамките на вашата лажат. За "follow" линковите за пренос на линк сок, од суштинско значење е да вклучите датотека robots.txt на вашиот веб-хостинг простор за да дејствувате како инструктор за тоа како серверот комуницира со вашиот сајт. Од оваа архива, инструкциите се присутни со дозволување или забрана како се однесуваат одредени специфични кориснички агенти.

Основниот формат на датотеката robots.txt

Датотеката robots.txt содржи две основни линии:

Корисникот-агент: [корисничко-посредничко име]

Забрана: [URL низа да не се запиша]

Целосна датотека robots.txt треба да ги содржи овие две линии. Сепак, некои од нив може да содржат повеќе линии на кориснички агенти и директиви. Овие команди може да содржат аспекти како што се дозволи, забрани или лази-одложувања. Обично постои прекин на линијата што го одделува секој сет на инструкции. Секоја од дозволите или забраната на инструкцијата е одделена со оваа пауза за линии, особено за robots.txt со повеќе линии.

Примери

На пример, датотеката robots.txt може да содржи кодови како што се:

Корисникот-агент: darodar

Забрана: / додаток

Забрана: / API

Disallow: / _comments

Во овој случај, ова е блок-датотека robots.txt што го ограничува веб-роботот Darodar од пристапот до вашата веб-страница. Во горенаведената синтакса, кодот ги блокира аспектите на веб-страницата како што се приклучоци, API и делот за коментари. Од ова знаење, можно е да се постигнат бројни придобивки од ефикасно извршување на текстуална датотека на роботот. Роботи..txt датотеките можат да бидат способни да вршат бројни функции. На пример, тие можат да бидат подготвени да:

1. Дозволете содржината на сите веб-страници да се прелистува на веб-страница. На пример,

Корисникот-агент: *

Забрана:

Во овој случај, на сите кориснички содржини може да се пристапи од кој било веб-пребарувач кој се бара да стигне до веб-страница.

2. Блокирајте одредена веб-содржина од одредена папка. На пример,

Корисничко средство: Googlebot

Забрана: / пример-подпапка /

Оваа синтакса која содржи корисничко име агент Googlebot припаѓа на Google. Тоа го ограничува бот од пристап до било која веб страница во стрингот www.ourexample.com/example-subfolder/.

3. Блокирајте специфичен веб-пребарувач од одредена веб-страница. На пример,

Кориснички агенти: Bingbot

Забрана: /example-subfolder/blocked-page.html

Корисникот агент Бинг бот му припаѓа на веб-роботите на Бинг. Овој тип на датотека robots.txt го ограничува Bing веб-пребарувачот да пристапува до одредена страница со низата www.ourexample.com/example-subfolder/blocked-page.

Важни информации

  • Не секој корисник ја користи вашата датотека robts.txt. Некои корисници може да одлучат да го игнорираат. Повеќето од таквите веб-пребарувачи вклучуваат тројанци и малициозен софтвер.
  • За да биде видлива датотеката Robots.txt, таа треба да биде достапна во директориумот на веб-страниците на највисоко ниво.
  • Карактерите "robots.txt" се осетливи на големи букви. Како резултат на тоа, не треба да ги менувате на каков било начин, вклучувајќи капитализација на некои аспекти.
  • "/robots.txt" е јавен домен. Секој може да биде во можност да ги пронајде овие информации кога со додавање на содржината на која било URL. Вие не треба да индексирате суштински детали или страници за кои сакате да останат приватни.
November 29, 2017
Semalt: Како да го блокирате Darodar Robots.txt
Reply