用户体验是决定互联网产品能否长久生存的基础，每一个基于产品功能、使用、外观的微小体验，都将极大关系到用户留存影响。本文将讲述火山引擎A/B测试（DataTester）助力企业协作平台飞书进行用户体验优化的案例。

(资料图)

对飞书而言，用户体验旅程从打开产品页面的一瞬间就已开始，这里有一个十分重要的指标——页面秒开率，秒开率是指页面在一秒之内打开的比率。为了能够持续吸引用户，一款产品则至少需要在1000毫秒以内呈现出交互内容。飞书为了提升用户体验，对其各项功能的秒开率指标的优化下了大功夫。在这个过程中，火山引擎DataTester通过严格的变量控制，落地更精准的实验结果，帮助研发团队直接佐证并明确了所选优化方案的收益。

影响秒开率其实有很多种因素，如代码冗余，插件拖累…… 在其中，有一项重要的影响因素是“类加载”。类加载是指当页面被打开时，背后是调用的多个元素的代码，它们会经历验证、准备、解析、初始化等环节后，才能被使用，这个流程是比较耗费时间的。

以飞书的一项功能“飞书妙记”加载为例。当飞书整体进行冷启动时，如果用户是首次打开飞书妙记界面，就会伴随着接近1600个类的大量加载，这对页面启动速度有着不可忽视的影响。如何减少如此高的类加载数量对秒开率的影响呢？飞书团队希望尝试采用的方案是：接入SnapBoost方案。

SnapBoost方案的思路是让App能够提前对页面使用到的"类"进行加载，通俗来说，也就是在用户打开页面之前，将耗时较长的部分提前进行加载，当用户在打开页面的时候，这些代码省去了编译和解析的时间，可以直接执行，使秒开率得到提升。

那么SnapBoost方案是否能有效降低“飞书妙记”的加载时间呢？飞书团队采用了火山引擎A/B测试（DataTester）进行方案可行性的重要验证。

本次A/B实验三大指标：

· 类加载数量

· Activity切换耗时 ：Activity通常指一个单独的屏幕（页面），此指标指在不同页面之间的切换耗时。

· 可感知耗时  ：指用户操作相关动作(点击播放、滑动卡片等)到首帧渲染出来感知到的耗时。

优化前后收益验证：

火山引擎DataTester的实验结果，对SnapBoost方案的提升性能假设给予了强有力的佐证，通过SnapBoost方案等一系列优化，飞书妙记的秒开率可以达成37%的优化提升，目前该方案已经成功地进行了全量上线。

除了飞书妙记的秒开率提升，飞书的视频会议等全线功能，其实都在使用火山引擎DataTester进行A/B实验。DataTester为飞书的产品功能迭代带来了明确收益佐证能力。

“ DataTester是结合A/B测试方法论最好的一个工具。”飞书的研发成员在采访时讲到。除了使用DataTester，飞书团队也会通过灰度等方式来做对比实验。相比起灰度等实验方式，DataTester的最大优势在于更加严格的变量控制，实验创建者可以更直白地看清楚优化效果，在灰度的基础上，进一步提升实验结果的说服力。

火山引擎DataTester目前已服务了美的、得到、凯叔讲故事等在内的上百家外部企业，支持了多种业务场景需求，为业务的用户增长、转化、产品迭代、运营活动等各个环节提供了科学的决策依据，将成熟的“数据驱动增长”经验赋能给各行业。（作者：康晏）