产品分析师实验设计指南-第1/3部分

By 伊丽莎白Reitmayr

At 大游BG真人在美国,大游BG真人做了很多实验,为用户改进产品. 大游BG真人为产品分析人员提供的实验设计指南,指导如何从分析和统计的角度建立这些实验,以确保大游BG真人能够按照预期评估实验. 本指南给出了一些提示,但没有完全涵盖产品管理, 用户研究, 和设计的角度, i.e. 做什么实验. 在这篇文章中,大游BG真人将关注在开始实验之前需要做的工作.

这篇文章是大游BG真人系列文章的第一部分,大游BG真人将发布一些内部指导方针和框架,使大游BG真人的工作方式更加透明. 大游BG真人对您对这些指导方针的反馈很感兴趣——请将其发送给伊丽莎白.reitmar@researchgate.净.

实验目的


实验是最好的方法吗?


在产品分析师的方法论中,实验是一个非常强大的工具,因为它们允许大游BG真人从处理(产品变化)中推断出结果. 这是比相关分析更有力的证据, 哪一个不允许大游BG真人得出因果结论. 所以大游BG真人为什么不做些实验呢? 实验是昂贵的, 它们需要大量的准备工作和产品管理方面的监控, 用户研究, 产品分析, 和设计团队, 最终规划实施和解决方案的时间. 它们也伴随着机会成本:大游BG真人只有有限的流量和时间来进行实验, 大游BG真人应该确保将其用于最具影响力的变革和创新. 因此, 大游BG真人应该根据之前的见解,谨慎地选择实验的假设和假设.



书中建议的那样 这篇博客, 大游BG真人应该只测试那些有可能提供高用户价值和高风险相关的假设. 因为大游BG真人想要最小化大游BG真人的实验假设所基于的最具影响力的假设的不确定性, 大游BG真人依赖于“最风险假设测试”的概念(RAT -阅读更多关于这个概念的内容) 在这里). RAT背后的思想是测试可能对产品(高风险)有潜在影响的假设. “风险”可以定义为对用户行为的潜在影响, 或者大游BG真人不确定这个假设是否成立. 如果大游BG真人依赖于一个假设,即大游BG真人没有收集任何以前的见解,不确定性是很高的.

实验是否是检验假设的最佳方法取决于各种因素,例如:

  • 这个实验的费用是多少?

  • 大游BG真人是否有足够的流量来快速评估实验?

  • 大游BG真人最终实现测试过的解决方案的可能性有多大?


在RAT概念中,大游BG真人对“风险最高的”的解释增加了一个限制:如果大游BG真人正在测试的解决方案与非常高的风险相关, 大游BG真人最终不实施它的可能性也更大. 因此, 用模型进行可用性测试可能是在进行实验前测试潜在假设的更好(更便宜)的第一步:


大游BG真人通过实验来了解大游BG真人的用户


大游BG真人通过实验来改进大游BG真人的产品,更好地满足用户的需求. 因此, 大游BG真人必须确保大游BG真人对大游BG真人正在试验的特定领域的用户需求有一个坚实的了解. 例如, 如果大游BG真人想支持大游BG真人的用户在大游BG真人的产品中发现相关的内容, 在运行实验之前,大游BG真人应该很好地了解用户试图用大游BG真人的产品完成的不同任务.

每个实验的设置都应该让大游BG真人能够了解用户. 大游BG真人经常可以把学到的东西从一个语境转移到另一个语境. 这就是为什么大游BG真人要确保以最直接的方式测试关于用户的假设,这样大游BG真人就可以用大游BG真人通过实验产生的新见解来更新关于用户的理论. 例如,在大多数情况下,大游BG真人不应该同时测试两个更改(除非您使用 full-factorial设计 因为大游BG真人将无法将实验的结果归因于大游BG真人引入的不同变化. 大游BG真人还应该致力于测试关于用户需求的假设.g., “如果人们不喜欢某个故事的标题,他们就不会去点击它”,而不是测试特定的解决方案(“如果大游BG真人引入一个不喜欢的按钮,用户就会点击更多故事”) 在这里).

在实施实验之前需要做的工作


正确地设计一个实验需要大量的前期工作——在编写任何代码之前. 设计一个实验的第一步是定义你在收集你感兴趣的证据时所采取的后续行动:
统计学是在不确定性下改变你想法的大游BG真人, 所以,首先要做的是弄清楚你要做什么,除非数据让你放弃 ... 这就是为什么如果你没有收集到任何(更多)证据,你就会从一个你承诺要做的实际行动/决定开始." (永远不要从假设开始)

定义这样的后续行动通常需要进行用户研究,以确保大游BG真人能够真正解决用户的需求,而不仅仅是尝试移动特定的指标. 大游BG真人应该清楚地了解大游BG真人正在进行的用户旅程, 并在假设的基础上定义一个明确的假设. 在这种背景下, 一个假设不涉及大游BG真人为实验定义的零假设(大游BG真人称之为“统计假设”), 这里大游BG真人讨论的是关于用户的假设. 假设通常有以下格式:
"We believe that , and if we provide for them, they will "

应根据量化的预期确定后续行动. 这意味着大游BG真人不仅会说“大游BG真人预计转化率会上升”,而且会说“大游BG真人预计转化率至少会上升5%”。. 这有助于防止边际改进的实施,并且对于确定所需的样本量也很重要(“最小可检测的效果——更多内容见本博客文章的第三部分)。.

以下是基于一个改进大游BG真人提要书签选项可用性的示例实验总结的这些需求:





在书签功能的例子中, 大游BG真人可以知道是否仅仅是书签功能的可见性阻止了用户使用它. 如果不是这样的话, 大游BG真人必须做更多的研究或进行更多的实验,以确定用户不采用它的原因. 例如,大游BG真人可能会在feed中添加过多的交互选项,让用户感到不知所措. 在本例中,大游BG真人可以从不同的方向进行测试,以使feed更干净. 书签对用户来说也可能是一种负担,因为提要提供了无尽的滚动,并可能为用户提供过多的内容. 在这种情况下, 大游BG真人可能要尝试一个更大胆的方向, 比如,在处理书签功能的可见性细节之前,给用户提供更少但更相关的建议.

实验设置模板


作为产品分析师, 如果你能在一开始就清楚地知道实验分析的所有先决条件,你就能节省大量的时间. 大游BG真人强烈建议写下实验文档的背景/背景部分,并从设计中收集反馈, PM和用户研究团队在实验前由工程师实施. 大游BG真人建议使用 这个模板.

这篇博文的下一部分将集中于实验的设置.
分享