火山引擎A/B测试（DataTester）通过中国信通院 SDK 安全评测

近日，火山引擎A/B测试(DataTester)通过中国信通院大数据应用与安全创新实验室第三批“SDK 安全专项行动”测评。

作为业内权威评测，“SDK 安全专项行动”集中评测了SDK在“基础安全、数据安全存储、数据安全交互、重要组件安全、代码及资源文件安全防护”等五个方面的情况。经过严格的技术评审，火山引擎A/B测试SDK顺利通过评测。

图注：中国信通院SDK安全专项评测证书

在业内，A/B测试又被称为小流量实验，指对不同策略进行对比实验，根据结果选择最优方案。互联网时代，A/B测试被广泛应用于产品开发和运营中，并成为业务增长与企业决策的一项重要工具。

字节跳动副总裁杨震原在去年火山引擎技术开放日活动中介绍，在字节跳动成立之初，今日头条就已经在做策略推荐类的A/B测试。数据显示，截至2021年8月底，字节跳动每天同时进行的A/B测试达到上万场，单日新增实验数量超过1500个，覆盖500多个大大小小的业务，已累计做了80多万次A/B测试，随着业务发展这个数字还将持续扩大。

火山引擎A/B测试经历了字节跳动内部多年的打磨，于2021年正式对外开放。在实验自动分流、流量正交互斥、指标设计和解读、置信度统计等方面，火山引擎A/B测试都积累了非常成熟的技术基础，其使用效果也得到了客户的认可。

以悟空租车为例：通过火山引擎A/B测试，悟空租车实现了“上线即增长”。团队利用小流量进行方案试错，并设计了一组A/B实验，基于实验效果推出的新方案为“最终下单完成”指标直接带来近7%的增长。

目前，该公司已通过火山引擎A/B测试进行了70多次A/B测试，约有60%为正向实验，提升产品转换率约40%，以往需要一周时间的需求复盘数据分析，现在只要一天就能得到数据结论，更直观地量化了需求价值，极大地提升了效率。

图注：火山引擎A/B测试(DataTester)产品架构图

火山引擎A/B测试提供从实验设计、实验创建、指标计算、统计分析到最终评估上线等贯穿整个实验生命周期的服务，助力业务在快速迭代的路上，大胆假设、小心求证。

在先进的底层算法加持下，火山引擎A/B测试通过科学分流和智能统计引擎等功能，保障实验结果可靠有效。

目前，火山引擎A/B测试已覆盖推荐、广告、搜索、UI、产品功能等多种业务场景，并在不同场景下提供多种特殊实验解决方案(如无需编程的可视化实验等)，让A/B实验更易用。

上线一年多时间里，火山引擎A/B测试已为几百家客户提供了安全可靠的SDK。未来还将不断优化SDK解决方案，保障数据安全与用户隐私，参与并推动大数据和互联网行业安全健康发展。