新站上线后，最让站长揪心的莫过于搜索引擎爬虫不抓取页面。尤其是360搜索，其爬虫行为与百度存在差异，若服务器配置不当，极易触发拦截机制。本文结合笔者3年SEO实操经验，从服务器配置、日志分析、爬虫白名单设置等维度，深度解析360爬虫拦截的修复方法，并附真实案例与踩坑指南。
一、360爬虫拦截的3大核心原因
1. 服务器防火墙误判
360爬虫的User-Agent（如`360Spider`）可能被服务器防火墙（如WAF、云盾）识别为恶意扫描工具，直接拦截请求。笔者曾遇某企业站因启用阿里云盾的“高频访问防护”，导致360爬虫连续3天无法抓取首页。
2. IP访问频率限制
部分服务器配置了Nginx/Apache的`limit_req`模块，对单IP的访问频率进行限制。360爬虫的抓取频率较高，若阈值设置过低（如每秒1次），会触发限流，返回429错误码。
3. Robots协议屏蔽
新手常犯的错误是在robots.txt中误写`Disallow: /`，或未明确允许360爬虫访问。360搜索官方文档明确要求：若需被收录，必须显式声明`User-agent: 360Spider`并设置`Allow: /`。
二、5步实操修复方法（附配置代码）
#步骤1：检查服务器防火墙规则
- 操作路径：登录服务器控制台 → 防火墙/安全组 → 查看拦截日志。
- 关键点：
- 确认是否有针对`360Spider`的拦截记录。
- 若使用云服务商（如阿里云、腾讯云），需在“Web应用防火墙”中添加爬虫IP白名单。
- 独家技巧：通过`grep -i "360Spider" /var/log/nginx/access.log`命令快速定位拦截日志（Linux服务器）。
#步骤2：调整IP访问频率限制
- Nginx配置示例：
```nginx
limit_req_zone $binary_remote_addr zone=one:10m rate=5r/s; 允许每秒5次请求
server {
location / {
limit_req zone=one burst=10; 突发流量允许10次
proxy_set_header User-Agent $http_user_agent; 传递原始User-Agent
}
}
```
- 踩坑提醒：
- 避免将`rate`设置过低，360爬虫的合理抓取频率约为3-8次/秒。
- 修改配置后需重启Nginx：`systemctl restart nginx`。
#步骤3：优化Robots协议
- 正确写法：
```
User-agent: 360Spider
Allow: /
Disallow: /admin/ 可选：屏蔽后台目录
```
- 验证工具：
使用360站长平台的【Robots检测】功能（路径：站长工具 → 网页抓取 → Robots检测），实时查看爬虫解析结果。
#步骤4：提交网站到360站长平台
- 操作流程：
1. 注册360站长账号并验证网站所有权。
2. 在【数据提交】→【URL提交】中手动提交首页URL。
3. 使用【自动推送】功能生成JS代码，嵌入网站底部（触发页面访问时自动推送）。
- 效果对比：
笔者实测，提交后360爬虫的抓取频率提升3倍，首页收录时间从7天缩短至2天。
#步骤5：检查服务器返回状态码
- 关键状态码：
- 200：正常抓取。
- 403：防火墙拦截。
- 429：频率限制。
- 502：服务器过载。
- 排查工具：
使用`curl -I http://你的域名`命令查看返回头信息，或通过浏览器开发者工具（Network面板）分析请求。
三、真实案例：某电商新站的修复过程
问题描述：
2023年6月，某电商新站上线后，360搜索仅收录首页，商品页完全不抓取。通过日志分析发现：
- 360爬虫的IP（如`123.125.67.*`）被WAF拦截，返回403错误。
- Nginx的`limit_req`模块将爬虫请求限流，返回429错误。
解决方案：
1. 在阿里云盾中添加360爬虫IP段白名单（路径：安全中心 → WAF → 访问控制 → IP白名单）。
2. 修改Nginx配置，将`rate`从`1r/s`调整为`5r/s`，并增加`burst=20`。
3. 在robots.txt中显式允许360Spider访问所有页面。
4. 通过360站长平台提交商品页URL（每日500条）。
效果：
修复后3天内，360搜索抓取商品页数量从0增至1200+，7天后收录量突破5000条。
四、FAQ问答板块
Q1：360爬虫的User-Agent是什么？
A：360爬虫的User-Agent包含`360Spider`、`360Spider-Image`（图片爬虫）、`360Spider-Video`（视频爬虫）等变体，需在防火墙和Robots中完整匹配。
Q2：服务器返回503错误怎么办？
A：503表示服务器过载，需检查：
- 服务器资源（CPU、内存）是否耗尽。
- 是否启用了CC攻击防护（如Nginx的`limit_conn`模块）。
- 临时解决方案：重启服务器或升级配置。
Q3：修改Robots后多久生效？
A：360爬虫通常每24小时重新抓取robots.txt，但可通过360站长平台的【刷新Robots】功能强制立即生效（路径：站长工具 → 网页抓取 → Robots检测 → 刷新）。
Q4：如何确认360爬虫是否抓取页面？
A：
1. 查看服务器访问日志，筛选`360Spider`的请求。
2. 在360站长平台的【网页抓取】→【抓取诊断】中输入URL，模拟爬虫抓取并查看返回结果。
Q5：新站被360降权了怎么办？
A：
- 检查是否大量采集内容（360对低质量站惩罚严格）。
- 提交网站地图（Sitemap）到360站长平台。
- 增加原创内容比例，持续3-4周后申请恢复权重。
