首页科技快讯 A/B测试成为字节跳动投入toB市场的法宝

A/B测试成为字节跳动投入toB市场的法宝

来源：晰数塔互联网快讯时间：2021年04月27日 13:46

编者按：本文来自微信公众号“中欧商业评论”（ID:ceibs-cbr），作者：孙梦遥，36氪经授权发布。

一直以来，业界普遍把字节成功要素归纳为两个因素，一是OKR，二是A/B测试。如果说OKR是飞书的重要组成部分，强调组织管理机制的设计理念，A/B 测试则是火山引擎的重要一环，强调数据驱动，智能激发增长。

CBR精华抢先看：

01. 快速扩张通常意味着愿意为提高增长率而牺牲效率。但是，当快速扩张发生在确定环境中，可以充分了解和预测成本，这一过程能够体现出经典的公司管理方法。

02.A/B测试提供的是科学决策的一种可行性路径，通过快速小流量的试错实验，效规避了经验系统的不准确性和思维系统的不及时性，以此帮助企业完成可模仿可衡量的洞察式增长。

03.对于擅长快速增长的字节跳动而言，今日头条、抖音等消费级互联网产品不过是一座火山喷发出来的火焰，其根本价值在于火山底部的根基——组织能力和技术能力。

从2012年至今，字节跳动的确越来越成长为一个Super Company，业务遍及新闻资讯、文娱、电视、教育、游戏等诸多领域，尤其擅长以数据驱动、内容推荐等机制打造现象级产品。

业界内外太多人对字节跳动的高效增长法则充满好奇。2021年4月20日，字节跳动副总裁杨震原在火山引擎技术开放日上提到了一个词——“A/B测试”，或许提供了答案。

作为字节跳动组织内部管理决策的工具，A/B测试拥有可量化、可拆解、可衡量等诸多特点，本世纪初在硅谷被广泛用于网页开发，更多地应用在数据部门。20年后的今天，不止互联网企业，几乎所有行业、所有部门都在讨论如何利用完整的数据驱动体系来明确企业内部决策，从而获得业务的高速有效增长。

面对不确定的商业环境，提高决策的水平和质量是每个企业的刚需。管理学大师彼得·德鲁克曾指出：企业有效决策必然建立在“各种意见”的基础上，甚至从多种不同且相互冲突的见解中产生。没有人能完全克服自己处理信息时的固有偏见。

字节跳动旗下的B端产品火山引擎把A/B测试植入到产品模块之中，通过验证每一步决策的合理性，为组织内部的增长决策补充有效信息，从而帮助企业管理者克服自利性偏差，达成科学决策。

“唯快不破”的背后

那么如何从科学决策的层面，看待原本用于网页开发的A/B测试所贡献的价值？以抖音起步阶段，字节跳动内部的决策为例。

2016年4月，字节跳动决定进军短视频领域，先后推出了三款短视频App。

火山小视频，对标快手，以下沉市场的UGC为主；头条视频（西瓜视频），对标是秒拍，与今日头条深度绑定，以PGC/OGC为主；另外一款是抖音，种子用户是大城市白领、海归、大学生，囊括了UGC/PGC。

在上线初期，字节跳动对这三款产品都没有明显的资源倾斜，甚至西瓜视频由于今日头条的流量输送，崛起得更快。但从2017年开始，每隔几个月，抖音的流量都会剧烈攀升：从大学生、城市白领到二三线城市居民，抖音覆盖了不同年龄段、不同收入层次的用户。

结合上述对比，字节决定对抖音进行资源倾斜。从某种程度上说，抖音的胜利正是依靠A/B测试所作出的科学决策。

在国外，类似Facebook、Google、亚马逊等互联网公司也在很早前就开始使用A/B测试。

早期，亚马逊在自己的电商网站上推广信用卡广告时，将广告放在购物页面里，几乎无人问津，浪费了宝贵的广告位资源。当业务经理尝试把这条广告放在结算页面时，用户就会发现这张信用卡的好处。业务经理通过A/B测试的实验数据发现，将广告改为放在结算页后，用户就会发现这张信用卡的好处，从而带来显著的营收增长。

不要小看这种方法带来的商业价值。此前，回国创业增长公司、原Google广告质量控制部门工程师王晔在接受媒体采访时也曾表达：仅用A/B测试优化带来的增长收益，每年就能为Google带来100亿美元营收。

在国内字节跳动以擅用A/B测试知名，对此，张一鸣并不否认，“我们跟踪一个个Bug，做用户访谈，做A/B测试是务实，但我们也有想象力，也浪漫。信息创造价值是我们的务实，记录美好生活是我们的浪漫。”

一个成功的故事总是会轻易打动读者的心，因为它提供了一个简单的关于成功的热血信念。人们热衷于津津乐道于成功背后的轶闻趣事，将其简化为某种极致理念的胜利，却忽略了其背后各种因素的权衡、取舍。

实际上，A/B测试不是唯数据论，也不是数据至上，更多的是为了让企业快速增长的战略有迹可循，有法可依。在《闪电式扩张》一书，里德 · 霍夫曼（Reid Hoffman）在复盘了苹果、谷歌、亚马逊等高速增长公司的秘诀后指出，仅有增长称不上闪电式扩张。快速扩张通常意味着愿意为提高增长率而牺牲效率。但是，当快速扩张发生在确定环境中，可以充分了解和预测成本，这一过程能够体现出经典的公司管理方法。

A/B测试正是通过设置对照组，提供相对确定的环境，为企业增长提供获得市场份额或试图实现收入里程碑的良好策略。

或许可以这样讲，对于擅长快速增长的字节跳动而言，今日头条、抖音等消费级互联网产品不过是一座火山喷发出来的火焰，其根本价值在于火山底部的根基——组织能力和技术能力。这两大能力分别产品化为了飞书和搭载A/B测试功能的火山引擎。

“洞察式”的增长战术

比起字节跳动在TOB市场的明星产品飞书，火山引擎颇有些“养在深闺人未识”的味道。但实际上火山引擎隐含着巨大的潜能。火山引擎脱胎于字节跳动多年来的技术积累，并沉淀出一套完整、体系化的字节跳动增长战术。

火山引擎负责人肖默在2020年就曾表示：“字节跳动作为一家全球化互联网公司，在过去8年中迅速成长，在这一过程中，不断积累的技术能力、增长理念和运营工具起着至关重要的作用。推出火山引擎，是希望将服务字节跳动从0到1、从1到N的能力与工具产品化、服务化，并开放给更多行业与合作伙伴，帮助大家的业务快速发展、提升竞争力。”

那么火山引擎提供的A/B测试模块是怎样利用洞察式的技术能力、体系化的增长理念与完善的运营工具赋能其他企业的呢？以坚果云的用户裂变文案为例。

作为一款在业内颇具辨识度的专业网盘产品，坚果云为做品牌宣传在产品页上设计了红包裂变活动，但在敲定分享页面文案时，企业内部在文案风格上产生了分歧。

现金吸引OR夸奖用户？哪种风格的文案能够激发用户的分享欲望，最大化市场活动ROI？坚果云没有选择经验主义式的内部拉群投票，而是与火山引擎数据优化师携手合作，通过A/B测试模块分出小流量进行两种风格文案的快速试错。最后根据用户数据结果为决策依据，在95%的置信水平下，“夸奖用户”文案胜出，活动参与投票人数指标正向提升36%，活动分享人数指标正向提升117%。最终，坚果云在此次推广活动中全量上线了「夸奖用户」文案。

和坚果云类似，悟空租车团队也是在搭载了火山引擎A/B实验产品后，设计了对照组实验，在押金支付前置OR后置的对比中明确了用户感知成本，从而在提升用户体验的同时，也为平台带来了7%的收入增长。

2001年诺贝尔经济学奖得主丹尼尔·卡尼曼，致力于研究如何在不确定状况下做出科学决策。他在《思考，快与慢》一书中阐述了两种思维模式：反应迅速的经验系统和深思熟虑的思维系统。前者基于模式识别，仅仅需要有限信息，即可做出快速决策，快速但不准确，适合解决极端和突发的问题。后者基于分析推理，往往需要大量信息和推演，才能获得答案，准确但不及时，适合解决抽象和复杂的问题。

A/B测试正是通过快速小流量的试错实验，依据信息推演，拆解决策步骤，有效规避了经验系统的不准确性和思维系统的不及时性。从这个角度来看，火山引擎的A/B测试模块提供是科学决策的一种可行性路径，以此帮助企业完成可模仿可衡量的洞察式增长。

正如字节跳动副总裁杨震原在火山引擎技术开发日分享上所说，“A/B测试看上去很复杂，要分组，还要看因素是不是剥离干净了。但是当你真正把一个事情搞清楚以后，就可以一个台阶一个台阶往上走。如果你搞不清楚，做得很快，有可能今天上一个台阶，明天下一个台阶，后天上一个台阶，不能保证一直在前进，这是非常大的差别。“

这在一定程度上遵循了管理学大师彼得德鲁克在《管理实践》中所提出的SMART原则。比如，启动A/B测试的首要条件就在于目标明确，即SMART原则中的S（SPECIFIC）。失焦，模糊目标正是管理者决策中的大忌。美国兰德公司决策执行顾问马利奥曾说：“世界上每1000家倒闭的企业当中，85%是因为企业决策者的决策不慎造成。”

杨震原回忆自己刚入职今日头条时，接到的第一项任务是如何提升今日头条的用户体验，把推荐做得更好。传统的做法是尽可能了解用户画像，明白他们喜欢什么、讨厌什么，但实际上用户画像很难评估是不是全面、精准，比如一般人都说自己喜欢旅游，但很多人并不看旅游类文章，杨震原认为用户画像并不是正确的目标。正确的目标应该是层次合理，可衡量的。

人们容易被动机性推理，也就是先入为主的观点所影响。一旦某种想法根深蒂固，他就会收集和加工能支撑这种想法的依据，并忽视其他有价值的信息。因此在科学决策中，目标的明确、精准尤为重要。

面对有着不确定性的未来做决策时，A/B测试能够拆解动作，令增长有迹可循，规避组织内部的自利性偏差和动机性推理，从而显著提高成功的概率。

不过需要注意的是，SMART 原则并不直接为某种愿景、理念服务，而是为了达到这种愿景或理念而设定的可量化、可描述的目标而服务。在1981年12月发行的《管理评论》杂志上，作者George Doran将Goals 定义为连续而长期的执行理念或愿景，把 Objectives 定义为达成愿景所做出的量化描述，它可能是短期的，也可能是长期的。SMART 原则服务的是Objectives，而非Goals。

一家公司真正的战略决策可能一年也不会有几次，但是局部决策即Objectives却可能很多。这时通过量化分析和A/B测试，可以在相当大范围内降低决策风险，提高决策质量。主打短期小流量快速试错的A/B测试，更像是指导企业增长的战术打法，而非宏观战略。

真正想去做一个科学决策，是很难有完美方法的，只有无限接近完美。

字节跳动高级副总裁陈林，在2018年分享了自己对A/B测试的看法，他认为外界盛传今日头条完全依赖A/B测试做产品是一种误解。在A/B测试之外，今日头条还有坚持了7年以上的全员参与的用户访谈。每年春节，所有员工都会在节前接到公司的一份作业：提醒每个员工春节回家的时候必须做 6 个用户访谈。公司管理层会集体还会去偏远省份进行密集访谈。至2018年，字节跳动已保存了十几万份用户访谈的资料。

将A/B测试、专家决策、用户访谈等方式结合，是今日头条沉淀的方法论。一直以来，业界普遍对字节成功要素主要归纳为两个因素，一是OKR，二是A/B测试。如果说OKR是飞书的重要组成部分，强调组织管理机制的设计理念，A/B 测试则是火山引擎的重要一环，强调数据驱动，智能激发增长。

面向B端市场的初心

但火山引擎为企业提供的并非只有A/B 测试，而是一套完整的数字驱动方案。2020年8月，火山引擎推出企业级直播SaaS服务功能，将抖音、西瓜视频等明星App的技术能力和成熟经验沉淀到产品中，企业可以立即将直播工具无缝融入到业务动作当中，从而快速拥有千万级并发无卡顿的直播体验。中国移动正是在其APP内搭载了火山引擎的服务开展直播带货业务。