A/B测试算法揭秘：如何分析测试数据

A/B测试的本质是受控实验，即通过比较几个不同的版本来选择最优版本。在这个过程中，需要对实验中收集到的数据进行分析处理，并利用统计方法对数据进行验证，看其是否符合最初的设计目标，或者分析结果的效果。在本章中，我们将与您讨论该方法的假设检验。

假设检验的定义

假设检验是首先对整体参数（例如平均转化率）产生特定假设，然后使用样本数据来确定该假设是否成立的过程。从逻辑上讲，假设检验通过矛盾法使用证据，即首先提出假设，然后使用适当的统计方法计算假设的概率。

由于统计结果来自于随机样本数据，结论不可能是绝对的，所以我们只能基于一些概率基础来做出相关判断。这是基于小概率的思想（即显着性水平p”或“ α，则不能拒绝原假设。

如果 α 取且 p = ，则意味着如果原假设为真，则本次实验将发生小概率事件。基于小概率事件不会发生的判断，我们可以论证零假设不成立。

显着性水平p的计算公式取决于检验假设的具体方法，这里不再解释。

这里介绍假设检验的基础知识。在接下来的内容中，我们将详细介绍P值和显着性水平的T检验。

作者：周科技，微信公众号（appadhoc）。