华为云Web应用防火墙：通过配置反爬虫防护策略

小提示：您能找到这篇{华为云Web应用防火墙：通过配置反爬虫防护策略}绝对不是偶然，我们能帮您找到潜在客户，解决您的困扰。如果您对本页介绍的华为云Web应用防火墙：通过配置反爬虫防护策略内容感兴趣，有相关需求意向欢迎拨打我们的服务热线，或留言咨询，我们将第一时间联系您！

< ">网络岳阳网站建设爬虫为网络信息收集与查询提供了极大的便利，但同时也对网络安全产生以下负面影响：

< ">网络爬虫会根据特定策略尽可能多的“爬营销策划排行榜过”网站中的高价值信息，占用服务器带宽，增加服务器的负载

< ">恶意用户利用网络爬虫对Web服务发动DoS攻击，可能使Web服务资源耗尽而不能提供正常服务

< ">恶意用户利用网络爬虫抓取各种敏感信息，造成网站的核心数据被窃取，损害企业经济利益

< ">Web应用防火墙可以通过Robot检测（识别User-Agent）、网站反爬虫（检查浏览器合法性）和CC攻击防护（限制访问频率）三个反爬虫策略，全方位帮您解决业务网站遭受的爬虫问题。

< ">前提条件

< ">域名已成功接入WAF。

< ">开启Robot检测（识别User-Agent）

< ">开启Robot检测后，WAF可以检测和拦截恶意爬虫、扫描器、网马等威胁。

< ">1.登录管理控制台。

< ">2.进入网站设置页面入口，能家居市场如图1所示。

< ">图1网站设置入口

< ">3.在您需要防护的域名（网站）所在行的“防护策略”栏中，单击“配置防护策略”，进入“防护配置”页面，确认“Web基础防护”的“状态”为，如图2所示。

< ">图2 Web基础防护配置框

< ">4.单击“高级设置”，确认Robot检测开关为打开状态，如图3所示。

< ">图3打开Robot检测开关

< ">当WAF检测到恶意爬虫、扫描器等对网站进行爬取时，将立即拦截并记录该事件，您可以在“防护事件”页面查看爬虫防护日志。

< ">开启网站反爬虫（检查浏览器合法性）

< ">开启网站反爬虫，WAF可以动态分析网站业务模型，结合人机识别技术和数据风控手段，精准识别爬虫行为。

< ">1.登录管理控制台。

< ">2.进入网站设置页面入口，如图4所示。

< ">图4网站设置入口

< ">3.在您需要防护的域名（网站）所在行的“防护策略”栏中，单击“配置防护策略”，进入“防护配置”页面，在“网站反爬虫”配置框，单击< ">开启网站反爬虫，如图5所示。

< ">图5开启网站反爬虫

< ">开启该防护后，非浏览器的访问将不能获取业务页面。

< ">配置CC攻击防护（限制访问频率）

< ">开启CC攻击防护，限制单个IP/Cookie/Referer访问者对您的网站上特定路径（URL）的访问频率，缓解CC攻击对业务的影响。

< ">1.登录管理控制台。

< ">2.进入网站设置页面入口，如图6所示。

< ">图6网站设置入口

< ">3.在您需要防护的域名（网站）所在行的“防护策略”栏中，单击“配置防护策略”，进入“防护配置”页面，确认“CC攻击防护”的“状态”为< ">，如图7所示。

< ">图7 CC防护规则配置框

< ">4.在“CC防护”规则配置页面左上角，单击“添加规则”。以IP限速和人机验证为例，添加IP限速规则，如图8所示。

< ">图8配置IP限速模式

< ">设置成功后，当用户访问超过限制后需要输入验证码才能继续访问。