投稿说明
导航

主页 > 值得一看 >

禁止不需要的爬虫提升网站速度

 小伟娱乐网    2019-10-04    值得一看  

提供一些爬虫信息,反正我自个觉得没必要对它们开放网站权限。大家服务器如果好的话可以不做要求。如果只是一般的服务器。我建议屏蔽国外的爬虫。因为它们会占用网络资源。

 YandexBot/3.0

 YisouSpider/5.0

 AhrefsBot/6.1

 Googlebot/2.1

 YandexTurbo/1.0

 DotBot/1.1

 MJ12bot/v1.4.8

 BLEXBot/1.0

 Ezooms/1.0 

 AhrefsBot/4.0 

 DoCoMo Spider 

常用的有

360Spider

Baiduspider

Googlebot

sogou spider

我建议大家只对百度开放,毕竟做的百度优化。

希望对大家有帮助。