网络威胁与对策

机器人 (Bot)

约 5 分钟阅读

什么是机器人

机器人 (Bot) 是无需人工操作即可自动执行任务的软件程序的统称,源自「Robot」的缩写。根据 Imperva 的年度报告 (2025 年版),2024 年自动化访问占 Web 流量的 51%,已超过人类访问;恶性机器人的访问占全部流量的 37% (前一年为 32%)。

机器人既有搜索引擎爬虫和客服聊天机器人等有益的类型,也有用于数据抓取和非法登录的恶意类型。对网站运营者而言,在接受良性机器人的同时排除恶性机器人,在安全和用户体验两方面都是需要处理的课题。

良性机器人的种类与作用

良性机器人有以下几种。

  • 搜索引擎爬虫: Googlebot、Bingbot 等遍历网页构建搜索索引。据 Google 的说明,Googlebot 等通用爬虫在自动抓取时始终遵守 robots.txt 规则。
  • 聊天机器人:利用自然语言处理自动化客户支持和常见问题解答。可在任何时间自动回答用户的问题。
  • 监控机器人:定期检查网站运行状态、响应时间和 SSL 证书有效期等,检测到异常时发送警报。
  • Feed 爬虫:遍历 RSS 源和新闻网站收集内容更新,用于新闻聚合器和社交媒体预览生成。

良性机器人通常通过 User-Agent 头部正确标识自身并遵守 robots.txt。但 User-Agent 可以伪造,因此 Google 说明了核实其爬虫的方法:对 IP 地址进行反向 DNS 查询 (googlebot.com、google.com 或 googleusercontent.com),再用正向查询确认一致,或与其公开的 IP 地址列表对照。

恶性机器人的威胁

恶性机器人被用于多种攻击,对网站和服务造成损害。

  • 抓取机器人:自动大量收集价格信息、内容和个人数据。被竞争对手用于监控电商价格,也被用于未经授权的内容转载。
  • 凭证填充:使用泄露的账户信息列表,对多个服务进行自动登录尝试。在多个服务中重复使用密码时,一处泄露就可能波及其他服务。
  • 垃圾信息机器人:在评论区、联系表单和社交媒体上大量发布垃圾信息。用于 SEO 垃圾 (嵌入非法链接) 和钓鱼网站引导。
  • 抢购机器人:在限量商品和活动门票开售时大量购买用于转售牟利,导致普通消费者无法购买。
  • DDoS 攻击机器人:作为僵尸网络的一部分,向目标服务器发送大量请求使服务瘫痪。

恶性机器人中,有些使用无头浏览器模拟人类浏览行为,有些利用机器学习突破 CAPTCHA。

机器人检测技术

为检测和阻止恶性机器人,通常组合使用多种技术。

通过图像识别或简单谜题区分人类和机器人。据 Google 的说明,reCAPTCHA v3 无需用户操作即可为每个请求返回分数。但 CAPTCHA 农场和机器学习突破仍是挑战。
行为分析
分析鼠标移动、滚动模式、按键节奏和页面停留时间,判断行为是否像人类。直线鼠标移动和等间隔点击等机械化模式可作为判断的线索。
速率限制
限制来自同一 IP 地址或会话的请求频率。阻止短时间内发送大量请求的机器人的基本措施。通过 WAF 或反向代理实现。
JavaScript 挑战
要求执行 JavaScript,过滤无法运行脚本的简单机器人。同时验证浏览器环境特征 (DOM 结构、API 可用性) 以检测无头浏览器。
设备指纹识别
应用浏览器指纹技术检测来自同一设备的大量访问。即使更换 IP 地址,指纹匹配也能识别同一机器人。

托管服务也组合使用多种技术。AWS WAF Bot Control 的文档列举了浏览器询问、指纹识别和行为启发式方法,并说明检测是概率性的;Cloudflare 称其 Bot Management 使用机器学习和行为分析。

与僵尸网络的关系

有些恶性机器人并非独立运作,而是作为被称为僵尸网络的大规模网络的一部分运行。僵尸网络由大量感染恶意软件的设备组成,在攻击者的指令下统一行动。

单个机器人被设计为不被设备所有者察觉,仅在收到攻击指令时才活动。它们作为 DDoS 攻击、大规模垃圾邮件发送和凭证填充等大规模攻击的执行基础设施被滥用。

从网站运营者的角度来看,僵尸网络的访问来自大量不同的 IP 地址,呈分散式分布,简单的基于 IP 的封锁难以应对。因此会使用行为分析和设备指纹识别等不依赖 IP 地址的检测方法。

常见误解

所有机器人都是恶意的
搜索引擎爬虫和监控机器人等用于网站运营的良性机器人也存在。封锁搜索引擎爬虫后,页面内容就无法反映到搜索结果中。
安装 CAPTCHA 就能完全防御机器人
CAPTCHA 是基本措施,但可以通过 CAPTCHA 农场 (人工代解) 和机器学习来突破。对付高级机器人会使用组合行为分析、速率限制和设备指纹识别等多种技术的多层防御。
robots.txt 可以完全阻止机器人
robots.txt 的规范 (RFC 9309) 把其规则描述为请求爬虫遵守的内容,并说明它不是一种访问授权。是否遵守取决于各个机器人,因此阻止恶性机器人会使用 WAF 和速率限制等技术手段。
分享

相关术语

相关文章