AI爬虫让“价格战”变成“算法战”，利润正在被看不见的流量吞噬 AI 爬虫程序流量在短短一年内暴增 300%

2025 年 11月6日，负责支持和保护网络生活的云服务提供商阿卡迈技术公司宣布发布了新一期的《互联网现状》(SOTI) 报告——《2025 年数字欺诈与滥用报告》。该报告表明，自动化流量出现了令人担忧的急剧增长，而这一现象很大程度上是由 AI 驱动的、以各行业网站为攻击目标的爬虫程序所引发。

《2025 年数字欺诈与滥用报告》显示，如今 AI 爬虫程序在自动化流量中所占的比例急剧增长，过去一年间其活动量更是暴增了 300%。这些爬虫程序能够生成数十亿个请求，严重扰乱了数字运营和分析工作。目前，它们在 Akamai 平台的爬虫程序总流量中所占比重已接近 1%。

这种急剧增长，究其原因是由大规模的内容抓取引发的，这也凸显出 AI 爬虫程序正在积极地破坏传统的网络商业模式。随着爬虫程序流量日益增多，内容发行商及相关企业正面临着分析数据失真和广告收入下滑的困境，因为爬虫程序正在榨取其内容价值，却不会带来任何回报。

除了内容抓取外，该报告还显示，随着 AI 赋能工具的迅速发展，无论是经验丰富的攻击者，还是技术门槛较低的新手，都比以往更容易发起仿冒、社会工程学、网络钓鱼等攻击，并利用 AI 生成的虚假文档和图像实施身份欺诈。

该报告的主要调查结果如下：

• 在庞大的数字媒体行业当中，发行业所遭受的冲击最为严重，其中由 AI 爬虫程序触发的流量占到了 63%。
• 在线业务正受到有益和有害爬虫程序的双重夹击。虽然某些爬虫程序能够改善搜索引擎索引编制和无障碍访问等功能，但 FraudGPT、WormGPT、广告欺诈爬虫程序和退货欺诈爬虫程序等恶意爬虫程序正在不断抬高运营成本、降低网站性能并扭曲关键指标。
• 商业行业是 AI 爬虫程序活动的重灾区，在为期两个月的观察期内，所记录到的爬虫程序请求数量超过了 250 亿次。
• 在医疗保健行业，超过 90% 的 AI 爬虫程序活动都源于内容抓取，而实施这类活动为的大多是搜索和训练用爬虫程序。

为了抵御这些威胁，该报告倡导各企业培养与三个 OWASP 十大安全风险框架（分别针对 Web 应用程序、API 以及大语言模型 (LLM)）相应的安全能力。借助这些框架，安全团队能够将诸如权限控制失效、注入缺陷和数据泄露等已知漏洞与其企业对欺诈风险的承受能力关联起来，以便更明智地确定防御措施的优先顺序。

此外，该报告还包含以下内容：

• 对爬虫程序如何规避检测进行了深入剖析
• 由 FS-ISAC首席信息安全官撰写的特邀专栏文章。FS-ISAC 是一家致力于提升全球金融系统的网络安全水平和恢复能力的非营利组织。
• 地区性以及特定行业的攻击数据
• AI 爬虫程序分类入门指南
• 关于如何在法规合规性与 AI 安全策略之间实现平衡的指导

Akamai 应用程序安全部高级副总裁兼总经理 Rupesh Chokshi 表示：“AI 爬虫程序的兴起，已不再仅仅是安全团队所关注的问题，而是上升为董事会必须应对的战略要务。业务负责人必须立即行动起来，构建能够确保 AI 落地、管理动态风险并保障数字运营安全的框架，否则就会陷入被动。”

如今，Akamai 的 SOTI 报告已迈入第 11 个年头，该报告基于其承载着全球超过三分之一网络流量的基础架构，持续为网络安全趋势与 Web 性能领域提供着至关重要的见解。