提倡测试多种变体的人 的 表示很难限制您测试的变化量。他也提到,无论您运行多少变体,变体之间的差异都是一个关键因素。 外观上的差异越大,你就能越快地以统计上显着的方式检测到性能差异, 他说 不过,通常情况下, 是一种 视情况而定 的答案。您正在处理的个别因素比一套固定的策略更重要。 最小化变化数量的案例 许多人主张测试较少的变体而不是很多。有些是出于我们上面讨论的数学原因,有些是作为优化策略的手段。 一点:通过 调整,运行具有更多变化的测试几乎总。
是需要更长的时间您可
能正在使用种强迭代方法在这种方法中您正在细化级别探索用户行为,并且您一次只测试一个或几个变体。或者,也许您的组织进行测试的时间不长,并且您想展示一些快速的胜利,而无需深入了解方差分析和 误差膨胀的本质。 因此,您可以 新加坡手机号码清单 对当前缺少价值主张测试添加价值主张。您很快就会获胜,并且可以继续提高您的测试速度以及程序的效率和支持。 还有一些其他原因,人们也提到了支持减少变体数量的原因。 样品污染 还有样本污染的问题当样本不是真正随机的或者用户在。
测试中暴露于多种变化
时就会发生这种情况的创始人 是这样说的: 吨韦瑟林: 当用户返回实验时,他们中的一些人会删除他们的 ,其中一些人(通常是很多!)将使用不同的设备。 对于 个变化,如果他们在实验中返回,则有 的变化,它们最终会以相同的变化结束。如果您有 个变体,则只有 的变化最终会变成相同的变体。 变异越多,污染越大。 受污染的样本会导致每个变体的转化率彼此更接近(在长期实验中,样本会被污染到几乎完全相同 因此所有变体的转化率都 阿联酋手机号码 相同 如果您想了解更多关于 测试中样本污染。