首页科技快讯与谷歌斗了十年仍活着，这个搜索引擎是怎么做到的？

与谷歌斗了十年仍活着，这个搜索引擎是怎么做到的？

来源：晰数塔互联网快讯时间：2020年06月12日 16:00

本文来自微信公众号：腾讯科技（ ID: qqtech），题图来自：DuckDuckGo创始人Gabriel Weinberg

从今年夏天开始，当用户在欧洲设置新买的Android手机或平板电脑时，他们将看到一个额外的步骤，即在屏幕上选择默认搜索引擎。屏幕界面很简单，在搜索图标和简短的格式回复信息下面有四个选项，除了谷歌，其他搜索引擎选项根据用户所在的国家而有所不同。选择谷歌的竞争对手，结果将出现在主屏幕搜索窗口和Chrome浏览器中，该应用程序也将被下载到设备上。

这种变化是如此微妙，以至于许多人可能根本没有注意到。但在整个欧洲大陆，这标志着一个根本性的转变。选择默认搜索引擎出现在欧盟委员会，因谷歌违反其反垄断规则而对其处以43.4亿欧元（约合49亿美元）罚款之后。2018年7月18日，欧盟竞争事务专员玛格丽特·维斯特格（Margarethe Vestager）决定对谷歌处以罚款，这是她对谷歌开出的三张罚单中数额最高的一张，原因是谷歌滥用Android操作系统的主导地位。

事实上，公司规模扩大并不违法，但欧盟委员会表示，占主导地位的公司负有“特殊责任”，不能通过限制竞争来滥用其强大的市场地位。在长达三年多的调查结束时，欧盟委员会得出结论，谷歌使用Android平台来确保流量流向谷歌搜索，而不是其竞争对手，这属于非法行为。

欧盟委员会指控谷歌采取了三种不公平的策略：

1. 如果制造商想要获得谷歌应用商店Google Play的许可，就必须预装谷歌搜索和Chrome应用；

2. 谷歌已经付钱给移动网络运营商和手机制造商，让他们独家预装谷歌搜索服务；

3. 如果制造商想预装任何谷歌应用，就不能在没有谷歌批准的情况下创建Android的替代版本。

欧盟委员会表示，谷歌的行动帮助其巩固了在移动搜索行业的主导地位。在欧洲，超过95%的移动搜索是通过谷歌完成的。市场上绝大多数是Android设备，但谷歌也向苹果支付了数十亿美元，以成为iOS上Safari浏览器的默认搜索引擎。根据维斯特格的说法，谷歌在Android平台上的做法“剥夺了竞争对手创新和在优点上竞争的机会”。谷歌正在对这一决定提出上诉。

许多欧洲反垄断罚款的运作方式将解决问题的责任推给了有罪的一方。谷歌已经重新起草与手机制造商签订的合同，并放宽了对其他公司如何开发Android系统的限制。在发货到欧洲经济区的新手机和平板电脑上，谷歌推出了搜索引擎选择屏幕。这让谷歌的竞争对手首次光明正大地出现在Android设备上。规模较小的公司从未有过这样的机会，可以直接接触到世界上最大的移动操作系统用户。

DuckDuckGo成为欧洲反垄断行动的最大受益者

最大的受益者就是DuckDuckGo，这是一家总部位于美国的搜索引擎，由首席执行官加布里埃尔·温伯格（Gabriel Weinberg）于2008年创立。当DuckDuckGo首次推出时，它将出现在欧洲所有国家的选择屏幕上，这个数字只有Info.com能与之匹敌。

十多年来，DuckDuckGo始终在与谷歌竞争，致力于提供强调隐私、不收集用户数据的搜索服务。但与拉里·佩奇（Larry Page）和谢尔盖·布林（Sergey Brin）的发明相比，DuckDuckGo却仍然微不足道。

现年40岁的温伯格说：“我们不是要推翻谷歌，我们的目标是针对那些想要选择保护隐私的消费者，他们应该能够更轻松地保护自己的隐私。”

温伯格创办DuckDuckGo的想法部分来自于一门彩色玻璃课。2007年，在麻省理工学院完成技术政策硕士学位几年后，温伯格已经以1000万美元的价格出售了社交网络初创公司Opobox，温伯格于是决定尝试新的爱好。讲师分发了一份打印出来的最好网站清单，以让学员了解更多关于制作彩色玻璃的知识。当温伯格试图在谷歌上搜索信息时，推荐的网站都没有出现在排名靠前的结果中。

这导致了名为“I've get a Fang”的创建，这是一个众包网站，人们可以在这个网站上提供关于特定主题的权威URL。当时住在费城的温伯格认为，人们头脑中的知识可能比谷歌的算法更好。“I've get a Fang”是个失败的尝试，几乎没有人添加链接到这个网站上，它也没有获得任何吸引力。

但是人类管理的想法被坚持了下来，温伯格将这一想法与另一次失败的尝试结合起来，也正因为这次尝试导致期与谷歌发生了嫌隙。

Tldscan是一系列网站，它们收集结构化信息，并将其发布到网络上，就像获得完整的体育统计数据那样。温伯格在2010年的博客文章中写道，他从Tldscan获得了50000名访问者和每天500美元的收入，然后谷歌把我所有的网站都列入黑名单。

“I've get a Fang”上的人类专业知识和Tldscan提供有用信息的努力结合在一起，成为DuckDuckGo的主要支柱。DuckDuckGo于1年后的2008年9月推出。戴着眼镜、胡子刮得干干净净的温伯格在3月份说：“我最初的想法是，在搜索领域能有更好的用户体验吗？”

虽然随着新冠疫情蔓延到世界各地，许多公司不得不从根本上改变自己的工作方式，但DuckDuckGo几乎没有什么变化，它的89名员工始终在远程工作，而且没有设立总部。

起初，温伯格开始自己构建爬行、索引和排序网络所需的技术，但当雅虎推出了名为Build Your Our Search Service（BOSS）的服务后，他停止了这种费时费力的工作。他专注于改进雅虎的结果，并在上面增加额外的服务。

如今，DuckDuckGo将400多个来源的数据整合到其搜索结果中：微软的必应（Bing）主要用于显示相关页面，但维基百科（Wikipedia）、苹果地图、TripAdvisor和DuckDuckGo自己的网络爬虫也做出了贡献。在DuckDuckGo的搜索结果中，有1000多个不同来源的“即时答案”片段。

以不追踪用户为最独特卖点

直到2010年，这家搜索公司才提出了自己独特的卖点：它不打算跟踪用户。该公司承诺丢弃IP地址信息，不存储人们搜索的细节。温伯格说：“一开始，保护隐私并不是最主要的吸引力，这并不像现在那样广为人知。”

最初的增长是缓慢的。2010年4月，DuckDuckGo每天收到大约30000到40000次搜索请求，与谷歌完全无法相比。温伯格直到2011年才雇佣了首位全职员工，在那之前，他主要专注于为他的第一个孩子做全职父亲，这个孩子是在DuckDuckGo推出后的一年出生的。

温伯格说，在早期的投资者会议上，他不得不偶尔把第二个孩子从他的网络摄像头视野中推出去。该公司在2011年由联合广场风险投资公司（Union Square Ventures）牵头的首轮融资中筹集了300万美元资金。

DuckDuckGo取得真正突破要归功于爱德华·斯诺登（Edward Snowden）。这位美国国家安全局（NSA）前雇员在2013年爆料的政府监控丑闻中，重点将谷歌列入了英国和美国间谍机构使用的数据来源之列。人们对寻找隐私优先的替代方案产生了新的兴趣，在一年的时间里，DuckDuckGo的日搜索量从每天150万次膨胀到了每天410万次。

当时，许多从谷歌转过来的人对他们的新搜索引擎提供的体验感到不满意，而且很可能很多人很快就重新回到谷歌上。温伯格说，直到2014年，DuckDuckGo才真正能够与它的硅谷竞争对手展开竞争。

对该公司来说，这是关键的一年：它雇佣了第十名员工；将新闻、视频和图像等垂直领域纳入了重新设计中；并被作为替代搜索引擎选项纳入了苹果iOS上的Safari浏览器上。温伯格说：“苹果实际上是我们的主流代言人。”

DuckDuckGo也是在2014年首次实现盈利。从那以后，该公司就一直在盈利，该公司预计2020年将首次突破1亿美元的收入门槛，尽管这可能会受到新冠疫情的影响。DuckDuckGo的赚钱方式和谷歌一样，主要是打广告。用户每次点击搜索结果旁边显示的广告，该公司就会赚一笔小钱。但两者的不同之处在于，DuckDuckGo使用情境广告，而不是帮助谷歌每季度赚取数十亿美元收入的数据密集型行为广告。

情境广告根据用户进行的搜索显示给用户：如果你在DuckDuckGo上搜索“梅赛德斯”，你将在该页面上看到汽车广告。然而，在谷歌上搜索“梅赛德斯”，汽车广告将始终跟随你，即使你已经离开页面并在网络上转悠，因为谷歌将这些数据添加到它知道的其他关于你的信息中。行为广告更有利可图，因为每点击一条广告，该人购买的可能性就会更高。谷歌在知道用户最有可能点击什么方面的专业知识方面仅次于Facebook。

人们对隐私问题意识的提高继续推动了DuckDuckGo的发展。与斯诺登的爆料一样，2018年剑桥分析公司滥用数据丑闻将温伯格和DuckDuckGo推入了主流。大约在同一时间，该公司推出了停止网络跟踪的桌面浏览器扩展，以及自己的Android和iOS移动网络浏览器。

累积效应非常显著。2018年3月17日，也就是《观察家报》首次报道剑桥分析公司丑闻的那一天，DuckDuckGo的日搜索量达到了1700万次。两年后，每天的搜索量达到5700万次。温伯格说，DuckDuckGo的主要用户是那些既关心自己隐私又愿意为之采取行动的人。他说：“在斯诺登之后，人们对隐私的关注程度真的提高了。剑桥分析公司丑闻爆发之后，这种关注更加明显。”

谷歌新的Android选择屏幕可能会给DuckDuckGo带来另一次提振：随着数百万人在未来几年更换旧手机，DuckDuckGo最终将进入主流。温伯格说：“如果做得对的话，这真的是一种竞争的拉平。”

谷歌拍卖屏幕位置惹众怒

但温伯格和其他搜索引擎对谷歌为缓解垄断处罚而实施的举措心存忧虑。多家欧洲搜索初创公司表示，他们支持屏幕选择机制。他们认为，应该允许用户选择他们使用的搜索工具，即使他们最终选择了谷歌（大多数情况下他们会选择）。但谷歌对选择屏幕机制的执行激怒了其竞争对手。

要想出现在选择屏幕上，搜索公司必须通过每三个月举行一次的拍卖向谷歌支付费用。出价足够高，你就能赢得一个令人垂涎的位置，成为与谷歌并驾齐驱的三个搜索选项之一。2017年欧盟围绕谷歌购物（Google Shopping）的反垄断案也引入了类似的拍卖方式，作为解决方案。在搜索领域，这些公司认为拍卖不是鼓励竞争或创新的公平方式。

谷歌辩称，拍卖是小公司能够参与竞争的一种“公平、客观”的方式，它允许它们决定“他们认为出现在选择屏幕上的价值是什么”。每当Android用户选择要使用的搜索引擎时，即使他们在几分钟后切换回谷歌，该搜索引擎都是要收费的。谷歌每月向这些公司开具发票，这笔钱将重新投入Android的开发中。

在接近2019年底的第一轮竞标之前，谷歌设定了最低出价。多位无法公开发言的消息人士表示，谷歌为某些欧洲国家设定了每个用户20美元以上的价格，这个数字对小公司来说是不现实的。一位知情人士表示：“事实上，谷歌认为这是一个我们很容易支付的价格。但我认为，这种想法过于荒谬。”

最终，最低出价的要求被取消，取而代之的是一种制度，即所有中标者都要支付首个竞标失败者设定的价格。谷歌表示，在收到反馈后，它改变了格式，以便竞争对手更容易参与。

一位消息人士说，公司现在将支付“最低归零”的竞标价格。另一家公司表示，它参与这一竞标过程的唯一原因是因为它比Facebook上的广告便宜。这位公司首席执行官表示：“我们的名字将比我认为直接从选择屏幕上获得的用户更多。”

DuckDuckGo是此次拍卖的大赢家之一，可以出现在所有欧盟31个国家的屏幕上。但它对此并不高兴。温伯格说：“你会受到激励去竞标利润。”他预测，拍卖价格将继续上涨，直到搜索引擎更难赚钱。他说：“谷歌正在夺走这些搜索引擎的所有利润，并从中获利。他们实际上是在运行其他人的搜索，拿走其他人的利润。”

德国搜索引擎Ecosia的首席执行官克里斯蒂安·克罗尔（Christian Kroll）说：“这让竞争对手相互激烈竞争。因此，我们现在面临的不是协作，而是规模较小的搜索引擎之间的有毒环境。”Ecosia决定抵制拍卖。克罗尔说，从长远来看，他不相信该公司能获胜，因为该公司80%的利润都花在了植树上。

DuckDuckGo曾大声批评谷歌的努力。温伯格和DuckDuckGo总法律顾问、曾在美国联邦贸易委员会（FTC）从事消费者保护工作的梅根·格雷（Megan Gray）认为，谷歌的流程存在缺陷。他们说，应该向用户显示四个以上的选项，并且应该向人们提供更多关于他们正在做出选择的信息。如果有其他解决办法的话，应该“摆脱该死的拍卖”。

谷歌产品管理总监保罗·根奈（Paul Gennai）表示，Android“为每个人创造了更多选择，而不是更少”，该操作系统的开放性意味着“与谷歌竞争的应用开发商拥有与谷歌完全相同的接触用户的能力”。

根奈还说：“从成立第一天起，谷歌开发的Android就是开放的，既对制造设备的制造商开放，也对购买设备的人开放，我们认为两者都应该有灵活性，可以按照自己的意愿设置设备。十多年来，这需要数十亿美元的投资。”

他补充说，谷歌还投资了其应用商店，该商店包括扫描应用程序是否有恶意软件等安全漏洞。他说：“随着欧洲所需的变化，我们实施了拍卖，以确保谷歌继续在开放的Android生态系统中进行投资。”

欧盟委员会的一名发言人表示，该机构正在密切关注选择屏幕的引入方式及其背后的机制。这位发言人说：“根据市场的相关反馈，我们一直在与谷歌讨论选择屏幕机制，特别是关于选择屏幕的呈现和机制，以及竞争对手搜索提供商的选择机制。”

自本文发稿以来，第二届Android选择屏幕拍卖结果已经出炉，被列为赢家的公司较少，微软的必应也没有出现。DuckDuckGo说价格也上涨了。

谷歌的主导优势已经根深蒂固

除了围绕拍卖的争议外，还有一个问题是，选择屏幕会带来多大的不同。在2010年欧盟的一项反垄断调查中，微软推出了一款适用于网络浏览器的选择屏幕。欧盟委员会曾表示，微软利用Windows操作系统的主导地位，将人们引导到其IE浏览器上，后者是Windows的默认浏览器。

微软的选择屏幕运行了四年，但在这段时间结束时，较小的浏览器并没有获得任何显著的市场份额。最大的市场变化是谷歌Chrome浏览器的崛起，这款浏览器最近才推出，而且无论如何人气都在上升。

而在搜索领域，谷歌几乎总是胜券在握。一个主要的例外是俄罗斯，Yandex在那里占据着主导地位。Yandex成立于1997年，比谷歌还早一年，它将俄罗斯本土Uber、Spotify、亚马逊以及搜索引擎等服务整合起来。2015年初，在台式机上搜索网络的俄罗斯人极有可能使用该公司的服务，约63%的搜索通过Yandex完成。但在手机上则是另一回事。在一个Android占主导地位的国家，情况发生了逆转，62%的移动搜索是通过谷歌完成的。

Yandex的工作人员发现谷歌与手机制造商达成协议，禁止他们接受预装其他搜索引擎的费用，即使他们想使用Android操作系统，这让他们感到震惊。

与欧盟一样，俄罗斯的监管机构也在仔细审查Android赋予谷歌搜索的权力。2017年3月，俄罗斯联邦反垄断局（FAS）对谷歌处以438067400卢布（约合560万美元）的罚款，然后与该公司达成和解协议，谷歌同意Android将为搜索引擎提供选择屏幕。在这种情况下，新设备和现有设备都可以使用该功能。

从2017年8月开始，俄罗斯的智能手机用户开始看到选择屏幕出现。当月，Android上的搜索量谷歌占60%，差距缩小了。一年后，谷歌与Yandex各占搜索市场的半壁江山。截至2020年3月初，Yandex在所有Android搜索中占据56%的份额，谷歌的份额降至42%。

但是，虽然Yandex也是欧盟Android拍卖中较大的赢家之一，出现在16个国家的设备屏幕上，但Yandex的高级副总裁普雷斯顿·凯里（Preston Carey）表示，他预计不会看到任何重大的市场变化。他表示：“在英国或德国安装可选屏幕的效果不会与在俄罗斯安装的效果相同。”他认为，没有其他搜索公司拥有Yandex在俄罗斯和其他国家那样的品牌认知度，这意味着人们不太可能转而离开谷歌。

在自己的测试中，DuckDuckGo创建了一个有18个不同选项的选择屏幕，并将谷歌放在了列表的末尾。调查发现，人们仍然会一直滚动到底部，寻找他们最熟悉的那个搜索引擎。

力推“不追踪”设置任重而道远

虽然Android的新选择屏幕不太可能结束谷歌在搜索领域的主导地位，但对于DuckDuckGo这样的公司来说，即使在几年内市场份额发生1%的变化，也会是巨大的增长。温伯格预测，他的公司有朝一日可能会拥有10%的市场份额（目前占全球市场份额的0.32%）。与谷歌相比，这仍然相形见绌，但对于DuckDuckGos来说是个巨大的推动。

对于DuckDuckGo来说，搜索之战只是一场更大斗争的一小部分，这场斗争的主题是网络广告是如何运作的，以及这对个人数据和隐私意味着什么。

Facebook和谷歌庞大的广告网络提供的是通过网络收集的个人数据。这两家公司的跟踪器从几乎所有最受欢迎的网站收集有关人们在线活动的信息。通过收集数十亿个数据点，这些公司能够每三个月创造超过200亿美元的收入。这些钱的绝大部分来自广告，特别是行为广告。

几乎所有网站都有跟踪器和cookie，它们监控和跟踪人们的在线活动，并将其记录在与个人相关的唯一标识符下。但在今年4月初，负责监管总部设在爱尔兰的所有美国大型科技公司的爱尔兰数据保护监管机构发布了一份报告，称许多网站未能向访问者提供“基本信息”，“大多数普通用户没有意识到他们可能被跟踪的程度”。

这种跟踪使公司能够收集关于人们兴趣和活动的数据，它们可以将这些数据输入广告模型，并用来向人们提供与他们的兴趣相关的行为广告。例如，Facebook的Pixel出现在800多万个网站上。

温伯格说：“从战略上讲，谷歌和Facebook拥有所有的用户数据。”DuckDuckGo的网络浏览器和它的搜索引擎一样，不存储个人数据。此外，它还屏蔽了隐藏在网页上的隐形跟踪器，该公司也希望在其他地方看到更少的跟踪。

2009年，安全研究人员提出了针对浏览器的“不跟踪”(Do Not Track)设置。从理论上讲，这是一个复选框，或浏览器设置菜单中的一个选项，允许用户在网络上移动时选择不被跟踪。火狐、IE、Opera和Chrome都在使用它，但基本上效果不佳。苹果的Safari在2019年停止使用它。

网络上的网站也不一定要遵守这种设置，Medium和Pinterest是其中最突出的两家。Twitter最初支持该设置，但现在不再支持了，网络标准机构的努力也未能使其更有效。尽管Chrome有这一功能，但谷歌的支持页面称，当“不跟踪”功能开启时，该公司自己的网站“不会改变他们的行为”。

2018年，咨询公司Forrester发现，大约四分之一的美国人打开了基本上无效的设置。一年后，DuckDuckGo的律师提出了“2019年不跟踪法案”，这是一项旨在使“不跟踪”设置得到法律支持的立法草案，即网站必须尊重用户的意愿，不让他们的行为在网上被记录下来。

这一想法在美国任何地方都没有付诸实践，但在欧洲，类似的概念更接近现实。在过去的三年里，欧洲立法者一直在就《电子隐私条例》（ePrivacy Regulation）进行辩论，这是一项对《通用数据保护条例》（GDPR）的补充法律，其中可能包括不跟踪条款。该规定一直受到激烈游说，目前处于停滞状态。但这是世界上最接近限制人们在线追踪方式的努力。

温伯格认为，该法案的颁布将促进在线广告市场变得更开放，从而潜在地削弱Facebook和谷歌在该领域的主导地位。如果四分之一的网络突然使用了一种设置，这意味着向他们提供针对他们兴趣的广告变得更加困难，传统的情境广告将再次崛起。

温伯格表示，这将有利于隐私，但也有助于开放竞争。如果谷歌和Facebook没有这样的数据优势，或许规模较小的公司可以在更公平的基础上竞争。他说：“如果每个人都在情境广告上竞争，现在突然之间，他们实际上不得不与许多其他参与者竞争。”谷歌已经在进一步试验情境广告，其产品经理在一篇博客文章中写道，这是为了帮助保护用户隐私。

竞争监管机构也在将重点转向大型科技公司如何使用数据。在大西洋两岸，对Alphabet、亚马逊、苹果、Facebook和微软如何收购规模较小的公司的审查正在进行中。

欧盟还在更广泛地研究谷歌和Facebook如何收集数据及其对竞争的影响。归根结底，温伯格希望人们明白，他们不需要为了最大限度地利用技术而泄露个人信息。他说：“我们真的想与人们在隐私方面的无助感作斗争。每个人都很担心，并认为自己对此无能为力，但我们想证明你可以做些事情来改变。”

本文来自微信公众号：腾讯科技（ ID: qqtech），题图来自：DuckDuckGo创始人Gabriel Weinberg