神马搜索蜘蛛-Yisouspider相关信息

近日收到不少站长的问题反馈，希望了解神马蜘蛛的基本情况，在这里把大家关心的问题做一下统一回复。

Yisouspider是神马搜索的网页爬虫，同时也在为CNZZ云推荐提供服务。网页爬虫是搜索引擎访问互联网，自动化抓取网页内容的程序。

Yisouspider的网站访问频率
神马搜索根据网站规模、服务能力、页面质量、更新速度等因素决定对网站的访问频率。通常更新快、质量高的网站Yisouspider访问频率相对较高。如果您发现Yisouspider非正常抓取您的网站，请反馈至service@shenma-inc.com，并请尽量给出Yisouspider的访问日志便于我们跟踪处理。

关于robots协议
robots.txt是搜索引擎访问网站时要访问的第一个文件，以确定哪些网页是允许或禁止抓取的。Yisouspider遵守robots.txt协议。如您希望完全禁止神马访问或对部分目录禁止访问，您可以通过robots.txt文件来设置内容，限定Yisouspider的访问权限。
如果您开通了CNZZ云推荐服务，协议中默认支持Yisouspider抓取，会忽略robots.tx文件协议的限制。

robots协议的写法
robots.txt必须放在网站根目录下，且文件名要小写。
具体写法：
1) 完全禁止Yisouspider抓取：
User-agent: Yisouspider
Disallow: /
2) 禁止Yisouspider抓取指定目录
User-agent: Yisouspider
Disallow: /update
Disallow: /history
禁止抓取update、history目录下网页

查询最新优惠券可加微信号：jlzy696

省钱网快报：大家都在抢什么？点此查看>>>