打开网站时,常常会看到“正在验证您的浏览器”的提示,并需等待几秒钟才能正常访问。这并非是技术故障,而是网站在您和AI爬虫之间设置了防护机制,名为Anubis。这个防护手段的推出源于一个日益严重的问题:AI公司频繁抓取网站内容,导致服务器负担过重,正常用户反而无法顺利访问。
Anubis采取一种名为工作量证明的机制,其原理与Hashcash相似。Hashcash最初设计用来抑制垃圾邮件,其基本思路是让发送者承担一定的计算成本。对个别用户而言,这种等待几秒的过程并不会造成太大困扰,但对于大规模爬虫而言,成本却会急剧上升。Anubis将这一逻辑引入到网页访问中,从而提高了对爬虫的访问门槛。
Anubis的主要目的在于为网站管理员争取时间,以研究更精准的识别爬虫的技术。未来可能会转向浏览器指纹识别,比如通过用户设备的字体渲染特征来辨别访问者是否为无头浏览器。如果能够准确区分真实用户和机器请求,网站将无需对所有用户弹出工作量验证的页面。然而,在此之前,所有用户都需要通过这道验证,这就是它被称为妥协方案的原因。 龙8头号玩家
此外,Anubis的运作依赖于现代JavaScript的特性。因此,如果使用像JShelter这样的插件禁用相关功能,验证就无法通过。网站直接建议用户在此域名下禁用这种插件。若JavaScript被禁用,页面同样会提示需要开启JavaScript才可完成验证。其背后的原因是,AI公司的行为改变了网站与用户之间的基本约定:过去网站默认向所有访问者开放的原则如今被打破。
虽然不依赖JavaScript的替代方案仍在开发中,短期内,开启JavaScript依然是访问这些受保护网站的必要条件。对于普通用户而言,影响有限:等待几秒后依然能正常访问。但这一变化反映了网站对访问权限和获取内容代价的重新定义。爬虫与反爬虫之间的竞争不断升级,而Anubis只是当前阶段的一种解决方案,且它自身承认这只是一个临时措施。