产品分析师实验设计指南-第2/3部分

By 伊丽莎白Reitmayr

本文是由三部分组成的系列文章的第二篇,旨在为大游BG真人在大游BG真人的工作方式增加清晰度和透明度. 阅读这篇文章的第一部分,请点击 在这里.

At 大游BG真人在美国,大游BG真人做了很多实验,为用户改进产品. 大游BG真人为产品分析师设计的实验设计指南建立了从分析和统计角度建立这些实验的过程,以确保大游BG真人能够按照预期评估实验. 这些指南给出了一些提示, 但不完全涵盖产品管理, 用户研究和设计视角, i.e. 做什么实验. 在本系列的第2部分中,大游BG真人将重点介绍一个实验的设置.

大游BG真人感兴趣的是你对这些指导方针的看法. 请将任何意见反馈给伊丽莎白.reitmar@researchgate.净.

可能比较


A / B / n测试


A/B测试(或A/B/C/…,以防你测试两个以上的变体)是最典型的设置——你将一个或多个版本的功能与对照组进行比较. (控件是您想要测试更改的基线.在这里,每个变量只引入一个变更(参考来自 第一篇文章), e.g. 大游BG真人只改变提要上书签按钮的颜色,而不改变它的位置或其他任何东西.

多变量测试/ full-factorial设计


有时大游BG真人想测试产品中多个变化对用户行为的影响, 以及这些变化的相互影响. 例如, 大游BG真人想测试提要上书签按钮的新颜色, 还有这个按钮的新位置. 在这里,大游BG真人需要确保能够将实验对用户行为的影响归因于大游BG真人使用a所做的不同更改 full-factorial设计. 这意味着大游BG真人要测试所有可能的更改组合. 否则, 在分析过程中,大游BG真人将无法解开不同变化的影响.

示例:更改提要上的书签按钮

  • 变体A:老位置老颜色(对照组)

  • 变体B:旧位置新颜色

  • 变体C:新位置和旧颜色

  • 变体D:新位置和新颜色


如果大游BG真人在这个例子中只测试变体A和变体D, 大游BG真人将无法得知哪个程度的影响是由于位置的变化. 颜色的变化.

之后的测试


前后实验比较了引入变化前的测量值和引入变化后的测量值. 这意味着没有对照组, 这使得大游BG真人很难推断出大游BG真人正在调查的变化实际上是大游BG真人在治疗后观察到的测量变化的原因. 例如, 大游BG真人观察到的效果可能是由季节因素而非治疗因素引起的.
在大多数情况下,这种实验设置对于产品实验来说是困难的,因为你必须考虑季节性效应. 如果你从大量的季节性数据中有一个坚实的理解, 这是可能的, 但在大多数情况下,执行A/B测试更容易. 前后实验案例的例子是大游BG真人移动应用的引入(大游BG真人比较了用户在引入应用前后的行为), 或者“自然实验”的效果.g. 因COVID-19而发生的变化)对用户行为的影响. 但这些都是例外,因为大游BG真人将大多数实验设置为A/B/n测试.

实验的目标度量


什么是目标度量标准?


目标指标是大游BG真人的实验的中心指标,这使得潜在的产品假设(见 第一篇博文)可衡量的. 目标指标是你的产品假设和统计假设的一部分.

假设: 使书签交互在主提要中更加可见,将导致每个提要会话中有更多的条目被书签. (提要会话定义为用户访问提要的会话.)

无效假设(“统计假设”): 在使书签交互更加可见的每个提要会话的书签变量和控制变量(alpha = 5%)之间没有显著的区别。.

大游BG真人如何选择目标指标?


大游BG真人经常为团队设定战略目标, 哪些来自于大游BG真人想要在产品中改进的某种能力,以更好地服务于用户的需求. 例如, 在一个团队, 大游BG真人的目标是增加每个回合的平均内容消费数量. 大游BG真人定义这个目标是为了实现大游BG真人增加平台内容消费的战略目标, 大游BG真人认为这是帮助用户在大游BG真人上发现相关内容的代理. 在大游BG真人的产品上做实验, 大游BG真人想要更好地了解这个指标的驱动因素, i.e. 哪些输入参数能够帮助大游BG真人推动团队的战略目标(游戏邦注:即每个回合的平均内容消费数量).

在理想的情况下, 大游BG真人希望将这个战略目标作为大游BG真人实验的目标度量,以便更好地理解是什么驱动了这个目标度量. 然而, 实验通常瞄准用户旅程的特定部分,这可能对战略目标只有很小的影响. 例如, 如果大游BG真人改变提要上按钮的设计,使下载选项更明显, 这可能会对这个按钮的点击率产生相当大的影响. 然而, 大游BG真人只能期望这个实验对每个会话的平均内容消耗数量产生很小的影响. 因此, 在这里,你的实验的目标指标不应该是每个会话的平均消费数量(游戏邦注:你不太可能在这里找到有意义的效果),而是大游BG真人所改变的按钮的点击率, 或者可能是来自提要的发布消费.

整体, 大游BG真人应该始终在一个与大游BG真人引入您的产品实验版本的变化密切相关的指标上进行测试. 战略目标可以是评估的次要对象:大游BG真人可以将其与实验变量进行比较,以更好地理解不同的输入指标如何改变这个战略指标, 或者确保大游BG真人不会引入同类相食效应(e.g. 如果大游BG真人在提要上高亮显示全文下载按钮, 这是否以问题消费为代价增加了出版物消费?).

这篇博文的下一部分将集中于实验的采样.

 
分享