站点加了 JS 防护之后,导航站的收录核验还能做什么
核验货源站时偶尔会碰到一种情况:无论请求哪个路径——首页、商品接口、sitemap、robots——返回的都只有一行脚本引用。最近就遇到一家,换百度、Google、Bing 的爬虫 UA 去请求,结果完全一样。这说明它挂了一道 JS 防护,所有非浏览器的访问都会被挡在门外。
先说站长为什么要这么做。最直接的原因是防爬货:商品库和价格是这类站的核心资产,被同行整批抓走就等于白干。第二是防采集比价:有些站不愿意被导航站或比价工具抓取,宁可牺牲曝光。第三是防恶意请求:低价商品容易被脚本扫货、被黄牛抢库存。这三种动机都能理解,加防护本身不是缺点。
但对导航站来说,问题很实际:我们没法像对别的站那样,验证「有真实商品、有公开报价、有售后渠道」这三条硬门槛。那还能核验什么?
第一,域名与证书。证书是谁签的、什么时候到期、是不是免费证书,能看出投入程度;域名注册时间能在 WHOIS 查到,新域名配新站要更谨慎。
第二,备案信息。国内站点多数会在页脚或关于页写备案号,即使首页被挡,也可以通过备案系统反查主体。有主体、有备案的站,跑路成本明显更高。
第三,第三方交叉验证。看有没有人在这家站下过单、有没有公开的售后纠纷记录、有没有在其他平台开分店。这类信息零散,但比站内自述可信。
第四,站长自述的一致性。提交收录时填的简介、分类、联系方式,和能查到的信息是否对得上。对不上就是信号。
第五,也是最简单的一条:亲自用浏览器打开一次。防护只挡脚本,不挡人。能看到商品、能下单、能看到售后说明,就说明站是活的;看不到,才需要进一步怀疑。
还有一个判断小技巧:看防护的实现方式。只挡浏览器标识的,多半是轻量配置;连站点地图和爬虫协议一起挡、并且对各家爬虫返回同一段脚本的,通常是专门做过反采集加固的。前者可能只是顺手装的插件,后者说明站长明确不想被索引——两种态度,对收录的期待完全不同,这一点值得写进评测。
这套方法能得出什么结论?通常是「暂缓」而不是「拒绝」。我在评测里给这类站 2 分,并在文字里写清楚:不是判定它不好,是当前证据不足,请补三样东西——公开可达的商品列表页(哪怕是截图)、至少一个客服联系方式、备案主体。补齐了再评一次。
这里有个容易被忽略的原则:读不到不等于有问题,读得到也不等于没问题。有些站页面做得漂亮、商品齐全,实际是盗图搬货;有些站防护严密,反而说明它在认真做资产保护。核验的价值不在于「能不能抓到数据」,而在于「抓到或不抓到之后,你怎么向读者交代」。
顺带说一个现实影响:这类站在比价工具里也是不可用的。实时查价需要接口能返回结构化数据,防护一挂,自动抓取全部失效。所以对这类站,我们只做文字收录,不做比价接入——这不是惩罚,是技术上做不到。
对读者的提示就一句:看到「暂缓收录」或低分的站,不代表它一定坑,而是我们没拿到足够证据替它背书。你自己打开看一眼,往往比我们隔着防护猜更准。
先说站长为什么要这么做。最直接的原因是防爬货:商品库和价格是这类站的核心资产,被同行整批抓走就等于白干。第二是防采集比价:有些站不愿意被导航站或比价工具抓取,宁可牺牲曝光。第三是防恶意请求:低价商品容易被脚本扫货、被黄牛抢库存。这三种动机都能理解,加防护本身不是缺点。
但对导航站来说,问题很实际:我们没法像对别的站那样,验证「有真实商品、有公开报价、有售后渠道」这三条硬门槛。那还能核验什么?
第一,域名与证书。证书是谁签的、什么时候到期、是不是免费证书,能看出投入程度;域名注册时间能在 WHOIS 查到,新域名配新站要更谨慎。
第二,备案信息。国内站点多数会在页脚或关于页写备案号,即使首页被挡,也可以通过备案系统反查主体。有主体、有备案的站,跑路成本明显更高。
第三,第三方交叉验证。看有没有人在这家站下过单、有没有公开的售后纠纷记录、有没有在其他平台开分店。这类信息零散,但比站内自述可信。
第四,站长自述的一致性。提交收录时填的简介、分类、联系方式,和能查到的信息是否对得上。对不上就是信号。
第五,也是最简单的一条:亲自用浏览器打开一次。防护只挡脚本,不挡人。能看到商品、能下单、能看到售后说明,就说明站是活的;看不到,才需要进一步怀疑。
还有一个判断小技巧:看防护的实现方式。只挡浏览器标识的,多半是轻量配置;连站点地图和爬虫协议一起挡、并且对各家爬虫返回同一段脚本的,通常是专门做过反采集加固的。前者可能只是顺手装的插件,后者说明站长明确不想被索引——两种态度,对收录的期待完全不同,这一点值得写进评测。
这套方法能得出什么结论?通常是「暂缓」而不是「拒绝」。我在评测里给这类站 2 分,并在文字里写清楚:不是判定它不好,是当前证据不足,请补三样东西——公开可达的商品列表页(哪怕是截图)、至少一个客服联系方式、备案主体。补齐了再评一次。
这里有个容易被忽略的原则:读不到不等于有问题,读得到也不等于没问题。有些站页面做得漂亮、商品齐全,实际是盗图搬货;有些站防护严密,反而说明它在认真做资产保护。核验的价值不在于「能不能抓到数据」,而在于「抓到或不抓到之后,你怎么向读者交代」。
顺带说一个现实影响:这类站在比价工具里也是不可用的。实时查价需要接口能返回结构化数据,防护一挂,自动抓取全部失效。所以对这类站,我们只做文字收录,不做比价接入——这不是惩罚,是技术上做不到。
对读者的提示就一句:看到「暂缓收录」或低分的站,不代表它一定坑,而是我们没拿到足够证据替它背书。你自己打开看一眼,往往比我们隔着防护猜更准。