首页科技快讯新闻里那些“死掉”的超链接，是如何被灰产给占用的？

新闻里那些“死掉”的超链接，是如何被灰产给占用的？

来源：晰数塔互联网快讯时间：2021年06月16日 10:41

编者按：本文来自微信公众号“全媒派”（ID:quanmeipai），作者：法夏，36氪经授权发布。

在网页新闻中，超链接时常作为一种补充资料出现，用户能够点击超链接阅读媒体所引用的资料原文。

但随着信息数据的不断堆积，网络上的许多超链接其实已经失效了，比如有时候点击一个十几年前的文章链接，会反馈一个类似于“页面已消失”的提示。

大部分用户并不会特别关注一个超链接是否还有效，但在网络上，有一些人却像盗墓者一般搜寻着这些沉睡已久的超链接并用其牟利。

超链接怎么了？谁在利用那些已经“死去”的超链接？

本期全媒派（ID：quanmeipai）将聚焦于那些已经无效的超链接，汇编并分析国外媒体所经历的无效超链接被篡改的困扰，试图揭示当下新闻归档存在的问题以及无效超链接背后巨大的灰色利益。

超链接之“死”

根据哈佛大学法学院一个团队对于《纽约时报》的调查，他们发现在该报553,693篇文章中的一百七十多万个深度链接（Deeplink）已经有25%完全无法使用。当用户点击这些深度链接，曾经的页面已经变成一片空白。[1]

这样的情形被称为链接无效（linkrot），页面会出现“404”的提示。

图片来源：公众号提供

深度链接是指能够导向外部网站页面的渠道，使用者能够通过该链接进入某个特定的外部页面。如果没有采用深度链接技术，则使用者需要自行搜寻相关的内容。深度链接大大缩短了用户的使用路径，在图文内容消费场景里，基本上可以将深度链接理解为我们更为熟悉的超链接。

而超链接变无效链接，主要原因则是原有内容消失、变更或者位置改变，这使得服务器无法返回有效的页面。

如《好莱坞报道》曾为前华特·迪士尼CEO罗伊·迪士尼的妻子发表一篇讣告，并附上了一个纪念网站的链接，读者可以在该网站中向慈善机构捐款以纪念逝者。之后，其家人关闭了该网站。尽管网站不复存在，但《好莱坞报道》所引用的超链接依然能够跳转，这样的超链接就成了无效链接。

微信公众号中的超链接呈现形式

无效的情况会随着超链接年份的累积变得更为普遍，因为随着时间的流逝，当初所引用的大量网站都可能已经不再被使用。

在对《纽约时报》的这项调查结果显示，发表于2018年的文章有6%的超链接已经无效；而2008年的文章则有43%的无效超链接；到了1998年，这一指标竟达到72%之高。在整体上，53%的文章中至少存在一个无效的超链接，也就是两篇文章中至少有一篇文章有一个无效的链接。

超链接的失效也与文章类型有关，不同板块的文章在无效链接的比例上也存在差异。

例如，健康板块的无效比例最低，比平均的超链接无效比例低17个百分点；而旅游板块的无效比例则是最高的，比平均比例还要高出17个百分点。

其实话说回来，这种超链接失效的情形在网络生活中并不少见。全媒派往期文章探讨过“数字仓鼠”的现象，即很多网友喜欢把各种资料囤着，这其中也包括各种链接。你一定也有过这样的经历，当你打开自己所收藏的文章时，其中总有一些已经被作者或者平台删除。

在微博中，这一现象更为常见，笔者惊奇地发现自己曾经点赞或转发的内容几乎一半以上都已经成为无效的链接，只显示“此微博已被删除”。

“抱歉，此微博已被作者删除。”

另一种与链接无效相似的情形是内容转移（Content Drift）。

当一个超链接的内容被转移则意味着，当用户点击该超链接，服务器所返回的页面并非原本所连接的内容。

同样，内容转移的情况也会随着文章时间愈渐久远而变得更为频繁。调查中提到，在2019年所发表的文章中，仅有4%的超链接内容发生了变化；而2009年的文章中则有四分之一的超链接内容发生了变化。

这样的情况是否仅为个例？尽管该团队仅对《纽约时报》这一家机构长达13年的文章进行调查，但素以存档专业而著称的《纽约时报》，其所属文章超链接失效或内容转移的情况都如此普遍，其他规模更小的新闻机构中的情况恐怕更不乐观。

保存新闻并不只是保留原有的新闻文本或者音视频资料，因为这些内容往往都保存于新闻机构自己的服务器中，相比之下，更为棘手的是保留文章中所引用的外部信息，也就是超链接。

超链接所导向的外部网站并不受相关新闻机构的管理，这些网站的内容能够被第三方所修改或者删除。其带来的后果不只是新闻失去参考的信息来源或者新闻情境丧失，更严重的影响是，这些超链接可能会被用来导向无关的内容，或被用于一些不正当的牟利行为。

凯瑟琳·汉森和诺拉·保罗在他们《给未来的新闻：保留历史的第一稿》中表现出对于当前新闻存档现状深深的担忧。

在他们看来，新闻所发挥的作用远不仅仅只是传递当下的信息，更为重要的是完整表现出时代的特征和人们的生活。[2]但随着新闻行业数字化进程不断深入，新闻业大力推进革新向前进的同时却忽视了往后面看一看。

占用“死去”的超链接成灰色产业

超链接之“死”暴露出两个问题：一是新闻的储存无法得到百分百妥善处理，另一方面则是超链接背后隐藏着巨大的地下市场。

因为版权问题，新闻网站需要用超链接标注所引用的资料来源，但这使得新闻网站对于超链接所指向的内容缺乏控制，这就为投机者利用无效超链接埋下了隐患。基于内容转移等原理，非法供应商可以将原本失效的超链接进行偷换，重新连接到新的网站中，以此来吸引流量、谋取利益。

储存新闻的困境

相较于报纸、录像带等传统的信息储存形式，电子新闻的储存无疑更加具有便利性。那为什么新闻储存在电子时代反而会成为一个问题？

要回答这个问题，我们必须首先了解在传统媒体时代新闻是如何进行储存的。

在数字化流行之前，新闻的主要形式是报纸、广播以及电视。广播和电视节目主要由新闻机构自行进行储存，一般媒体都会设有专职人员对这些新闻原件进行归档，其作用类似于图书管理员。

报纸的保存则涉及到更为复杂的过程。由于各种机构和个人都会订阅报纸，人们在购买报纸的过程中也同时保留了新闻原件。虽然个人可能出于兴趣保存有一定量的报纸，但这样的行为往往也并不具有系统性。

主要的第三方保存机构是大大小小的图书馆。图书馆具有更为宽敞的空间以及专业的图书管理员，因此可以相对更为完整地保存报纸。可以说，报纸的储存更为弥散化，除了新闻机构本身，第三方机构也会有所参与。

但随着新闻业数字化程度不断提高，互联网成为新闻传播的重要途径。电子化的新闻似乎不再需要归档，因为它原本就被安放在服务器的不同文件夹中。

但实体的文档和数字文档毕竟存在差异，一份报纸一旦发行就难以再做改动，而数字文档则始终保持着可变动性。尤其是诸如超链接等导向外部网站的渠道，其是否进行修改或删除取决于第三方机构，媒体无法对其进行直接管理。

另一方面，对于新闻归档的忽视也显示出新闻业整体的发展趋势——追求速度。正如周睿鸣老师在论文中指出那样，新闻业陷入与自我赛跑的泥淖，新闻生产成为不断提速的过程。[3]在这样不断往前看的过程中，重视过去的新闻似乎有些不合时宜。

尽管人们开始意识到问题所在，但对于新闻机构而言，完整、独立地保存新闻依然存在诸多问题，版权问题无疑位于核心。如何既能够尊重第三方资料来源的版权，同时又能够防止其不被居心叵测者所利用，这成为解决问题的关键。

一种可能的处理方式是备份第三方机构的超链接页面，如果无法一比一复制，还可以考虑截图的形式。但这可能赋予新闻媒体过大的权力，使其能够直接复制其他内容来源；再者，这也促成了独立、封闭的网络生态体系的形成，使得流量始终在新闻网站内部循环。

第三方机构一般不会允许媒体借用它们所生产的内容来增强媒体的用户黏性。而一旦超链接导向外部网站，媒体就无法对其内容进行控制。因此，这一切处理起来并不容易。

超链接背后的灰色市场

如果媒体发布文章中的超链接导向的是一个完全无法控制的网站，那对于媒体公信力而言是存在风险的，美国的媒体正饱受这种无效超链接被篡改之苦，而这背后就有一片巨大的灰色市场。

通常这些超链接的地址会被导向某些具有盈利性质的网站，大多类似于广告引流。

其运作逻辑大致如下：正如前文提到的，新闻网站中大量的超链接内容已然失效，但这些链接依然存在且可点击；某些供应商则将此作为契机，寻找到新闻网站中的无效链接，将其替换成为客户所需要的网站内容。

这些被篡改的外部网站大多具有广告性质，诸如推销廉价酒店、在线咨询、在线支付甚至包括网络赌博等。

虽然人们对于过去新闻的兴趣会逐渐下降，但互联网中的新闻并不会因此完全被遗忘。通过搜索引擎，用户能够随时调用过去的新闻报道。当过去的“记忆”被唤醒时，伴随着这些旧新闻一起重建天日的还有那些已经被偷偷掉包的超链接。

当用户第一次发现超链接被篡改为毫无相关的广告时，他也许只会感慨互联网中的广告真是无孔不入。但第二次、第三次呢？他可能就会对新闻网站的专业性产生质疑了。更何况无效超链接的比例如此之高，谁也不知道下一个被点开的链接是否是其原本的内容。

BuzzFeed新闻对于美国各大主要新闻网站以及BBC的调查发现，这些新闻网站都深受超链接内容篡改之苦，其中福布斯新闻所受影响尤其明显。[4]

福布斯发言人在一次公开声明中表示，网站已经删除这些被修改内容的超链接，并且积极寻找能够规避超链接被篡改的措施。BBC则在其网站上发布免责声明，称其对外部网站的内容不承担任何责任。

提供这些篡改服务的供应商大多避开了来自美国或欧洲国家的直接监管，其服务费往往十分高昂，替换一条超链接内容的服务费从200到500美金不定。

替换超链接的行为是诸多黑帽SEO技术中的一种。SEO（Search Engine Optimization）指的是搜索引擎最优化技术，它主要用于分析搜索引擎如何进行排名的规律，通过了解搜索引擎如何抓取互联网页面、怎样确定特定关键词等技术来提高网页在搜索引擎中的排名已增加浏览量。[5]而黑帽SEO则是通过作弊的方式来提高网站的浏览量，以图谋取短期、快速的经济效益。

为了以假乱真，供应商有时甚至会模仿原有网站发布者的身份以图迷惑用户。例如，位于德里的一家SEO机构曾替换了福布斯网站中梅根·梅森（Megan Mason）于2015年所发表文章中的某些无效链接。替换者用梅根·马特（Megan Matt）的名义重新发布了一篇文章，并将其连接到圣地亚哥一家地毯清洁公司的网站。

新闻网站并非这些非法牟利者的唯一受害者，各大搜索引擎网站也饱受其苦，毕竟黑帽SEO会使得搜索结果无法满足用户的需求。当用户在搜索引擎中搜索某个关键词所返回的都是无关的广告甚至垃圾信息，用户势必会对搜索引擎所能提供的服务产生质疑。