新手开发者可通过robots文件声明小程序中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。仅当您的小程序中包含不希望被视频搜索引擎收录的内容时，才需要使用robots.txt文件。 新媒体老师了解到……

2013年2月8日北京市第一中级人民法院正式受理了百度诉奇虎360违反“Robots协议”抓取、复制其网站内容的不正当竞争行为一案，索赔金额高达一亿元，这可以看做2012年下半年“3B大战”的继续。在此次索赔案件中，百度称……

robots协议对每个网站来说都至关重要，想要写好自己网站的robots协议就需要明白以下这些内容： 1、什么是robots协议？ robots协议全称“网络爬虫排除标准”，又称爬虫协议、机器人协议等，它规定着……