我公司是专门做网络服务的，有专业的技术团队和专业的克服为客户解决网站被攻击，服务器被攻击问题，公司技术全面，服务周到细致，克服网站任何攻击大部分都能防得住，现在年的促销10G防御一月2000元，价低服务好，获得多数企业赞赏和好评。网站建好了，当然是希望网页被的越多越好，但有时候我们也会碰到网站不需要被的情况。 比如，要启用一个新的域名做，主要用于PPC 的推广，这个时候就要想办法屏蔽抓取和索引我们的所有网页。因为如果也被的话，很有可能会影响官网在搜索引擎的权重。 以下列举了屏蔽主流搜索引擎爬虫（蜘蛛）抓取/索引/收录网页的几种思路。注意：是整站屏蔽，而且是尽可能的屏蔽掉所有主流搜索引擎的爬虫（蜘蛛）。 1、通过 robots.txt 文件屏蔽 可以说 robots.txt 文件是最重要的一种渠道（能和搜索引擎建立直接对话），给出以下建议： User-agent: Baiduspider Disallow: / User-agent: Googlebot Disallow: / User-agent: Googlebot-Mobile Disallow: / User-agent: Googlebot-Image Disallow:/ User-agent: Mediapartners-Google Disallow: / User-agent: Adsbot-Google Disallow: / User-agent:Feedfetcher-Google Disallow: / User-agent: Slurp Disallow: / User-agent: Slurp China Disallow: / User-agent: -AdCrawler Disallow: / User-agent: YoudaoBot Disallow: / User-agent: Sosospider Disallow: / User-agent: Sogou spider Disallow: / User-agent: Sogou web spider Disallow: / User-agent: MSNBot Disallow: / User-agent: ia_archiver Disallow: / User-agent: Tomato Bot Disallow: / User-agent: * Disallow: / 2、通过 meta tag 屏蔽 在所有的网页头部文件添加，添加如下语句： 3、通过服务器（如：Linux/nginx ）配置文件设置 直接过滤 spider/robots 的IP 段。 小注：第1招和第2招只对“君子”有效，防止“小人”要用到第3招（“君子”和“小人”分别泛指指遵守与不遵守 robots.txt 协议的 spider/robots），所以网站上线之后要不断跟踪分析日志，筛选出这些 badbot 的ip，然后屏蔽之