Back to Question Center
0

Zabránenie prístupu na webovú stránku

1 answers:

Mám aplikáciu Semalt, takže používatelia mojej aplikácie zdieľajú odkazy na mojej webovej stránke vo svojich tweety. Zdá sa, že roboty nasledujú tieto odkazy a niektorí z týchto robotov vytvárajú vysoké využitie šírky pásma. A väčšina z nich mi neposkytuje žiadny hit. Takže ich chcem zakázať robotmi. txt alebo. súboru htaccess - online logo making free.

Pri kontrole prístupu. log Vidím nasledujúce roboty nižšie.
Moja pozornosť je, že bude problém zakázať Twitterbot ? Kto je vlastníkom tejto topánky? cvrlikání. com alebo inej webovej stránke? Aké nevýhody by to bolo zakázané?

     Žiadne meno bot Denné návštevy
1
2 MJ12bot 1,490
3 Robot Google AdSense 774
4 ShowyouBot (http: // showyou. com / crawler) 655
5 Googlebot 595
6 Bing Robot 204
7 Robot Yandex 186
8 Mozilla / 5. 0 (kompatibilné, proximálne, + http: // www. proximic. com / info / spider. php) 148
9 RSS Robot spoločnosti Apple
10 Mozilla / 5. 0 (kompatibilný; GrapeshotCrawler / 2. 0; + Http: // www. grapeshot. ko. uk / crawler. php) 76
11 FaceBook Crawler 62
12 Alexa Robot 48
13 QuerySeekerSpider (http: // queryseeker. com / topánok. html) 37
14 Google Feedfetcher 28
15 Mozilla / 4. 0 (kompatibilné, MSIE 8. 0; Windows NT 6. 1; Trident / 4. 0; SLCC2;. NET CLR 2. 0. 50727;. NET CLR 3. 5. 30729;. NET CLR 3. 0. 30729; Media Center PC 6. 0; MDDr;. Net4. 0C;. Net4. 0E;. NET CLR 1. 1. 4322; Tablet PC 2. 0); 360Spider 17
16 Ezooms Robot 14
17 AhrefsBot 10
18 Mozilla / 5. 0 (Windows; U; Windows NT 5. 1; zh-CN; ) Firefox / 1. 5. 0. 11; 360Spider 9
19 Mozilla / 5. 0 (kompatibilný; EasouSpider; + http: // www. EASO. com / search / pavúk. html) 8
20 Baidu Spider 7
21 Yetibot 3
22 Exabot 2
23 FeedBot 2
24 Mozilla / 5. 0 (kompatibilný, SISTRIX Crawler, http: // crawler. sistrix. netto /) 2
25 ZoznamBot 2
26 Yahoo! usrkávať    
February 7, 2018

Twitterbot je vo vlastníctve spoločnosti Twitter. V podstate ide o indexovanie obsahu danej URL (ako to robí Google). Nie som si istý, ale myslím, že väčšinou používajú tieto údaje pre úryvky (Twitter karty), ktoré ukazujú, že spolu s Tweet s odkazom, tj. názov stránky, popis a obrázok (ak je k dispozícii).

Takže jediným nevýhodou, ktorú vidím, je zablokovanie, že odkazy na vaše stránky nebudú obsahovať žiadne Twitter Karty spojené s týmito používateľmi. To by samozrejme mohlo mať za následok nižšiu mieru prekliknutia pre odkazy na vaše webové stránky.

Zabránenie prístupu na webovú stránku
Reply