• 欢迎访问搞代码网站,推荐使用最新版火狐浏览器和Chrome浏览器访问本网站!
  • 如果您觉得本站非常有看点,那么赶紧使用Ctrl+D 收藏搞代码吧

置信度计算——T检验(配对样本t检验、AB实验置信度)

为什么计算置信度?

在推荐场景下,我们会研发一些策略,来提升业务指标,在做AB实验的时候,实验组跟base组的指标对标,并非稳定的胜利或者稳定的失败,观察7天或者14天的指标数据,会有正有负,那么怎么衡量胜利的置信度呐?这属于碰到统计学中的假设检验问题,可以使用常见的卡方检验、t检验以及正态性检验等,去检验论证某个设想,并通过统计学的方法做解释。

置信度是什么?

理论与应用
t检验,通常会应用于三种情况的检验,分别是单样本t检验、双样本t检验和配对样本t检验。

这里着重说下配对样本t检验,跟工作中的AB实验吻合。

配对样本t检验
配对样本t检验,是针对同一组样本在不同场景下,某数值型指标均值之间的差异。实际上读者也可以将该检验理解为单样本t检验,检验的是两配对样本差值的均值是否等于0,如果等于0,则认为配对样本之间的均值没有差异,否则存在差异。所以,该检验也遵循两个前提假设,即正态性分布假设和样本独立性假设。下面利用统计学中的四步法完成配对样本的t检验:

步骤一:提出原假设和备择假设
步骤二:构造t统计量

其中,xbar为配对样本差的均值,s为配对样本差的标准差。在原假设满足的情况下,t统计量服从自由度为n-1的t分布。

步骤三:计算t统计量

根据步骤二中的计算公式,可以计算得到配对样本t检验的统计量值。这里使用了AB实验两组数据的差作为t统计量。

可以选择实现单样本t检验的ttest_1samp函数,也可以直接选择实现配对样本t检验的ttest_rel函数。接下来结合这两个函数,完成可支配收入的t检验。

置信度计算代码:

举个例子
需要计算置信度的数据保存于data.txt中:

运行上面的代码,p_value.py,得到如下结果:

置信度越大越好,上面这个例子可以解释为:实验组的指标没有带来较大的提升。


喜欢 (0)
[搞代码]
分享 (0)
发表我的评论
取消评论

表情 贴图 加粗 删除线 居中 斜体 签到

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址