ABTest资料汇总

最新推荐文章于 2025-03-06 17:00:38 发布
原创 最新推荐文章于 2025-03-06 17:00:38 发布 · 837 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

ABTestPrototype:用于AB测试的简单sdk
06-05
ABTest原型 一个简单的 A/B 测试 SDK 当我第一次看到 Optimizly 如何更改仅包含 SDK 但没有对原始源代码进行其他更改的正在运行的应用程序时，对我来说这就像魔法。 后来我在 Stack Overflow 上看到这个问题： 我试了一下。 这不是一个准备好使用的 SDK，可能永远不会。 但谁知道呢…… 该 SDK 本身包含一个小服务器来接收更改，而不是创建某种网络服务。
【ABTest】一款简单易用的ABTest开源库
天镜baobao的博客
03-19 4101
Github : https://github.com/TJHello/ABTest-UM ABTest-UM 一款简单易用的ABTest工具-基于友盟打点 使用步骤 Step1 接入自动集成插件到build.gradle(project) buildscript { repositories { ... maven { url 'https://raw...
【亲测免费】 Bilibili ABTest 开源项目指南
gitblog_00024的博客
08-07 661
Bilibili ABTest 开源项目指南 项目概述 Bilibili 的 ABTest 开源项目提供了灵活的 A/B 测试框架，帮助开发者在自己的应用程序中实施高效的实验设计。此项目基于 GitHub，链接为：https://github.com/bilibili/abtest.git。 下面，我们将详细介绍如何探索该项目，重点关注其关键组成部分：目录结构、启动文件以及配置文件。 1. 项目...
ABtest在OpenSearch上的设计与实现
weixin_34409357的博客
11-23 496
为什么要做ABtest OpenSearch是为用户提供数据搜索解决方案的平台，目前已经通过阿里云平台为集团内外大量客户提供服务。为了更好地提供搜索服务，OpenSearch打算把集团内部已经成熟的算法功能输出给外部客户使用，如类目预测、查询分析等。但是在我们开放类目预测功能之后却发现鲜少有人使用，调研了一些相关客户后，发现原因是无法证明使用了类目预测功...
ABTEST平台建设思路与方案
BigBug_500的博客
04-30 2099
可将实验分为互斥流量实验和正交流量实验，分别对应下图中的实验1和实验2。实验类型一句话特点介绍优点缺点互斥流量实验（随机实验）将流量随机的分配到某个组上进行实验1.请求只会获得到一个组的结果 2. 可认为是只有一层的正交流量实验1. 实验简单，在做数据分析时，只需要对比所有互斥实验即可1.由于组之间流量互斥，100的流量所分的组是有限的。2. 若所有运行中实验把流量占满后， 将无法在同一个流量入口下再新增实验，将影响业务的AB推进正交流量实验。
推荐ABTest的实现策略总结
11-25
推荐ABTest实现策略总结 在推荐系统中，ABTest是一个常用的评估新功能或新策略的方法，它可以帮助我们评估新策略的优劣，并决定是否将其推广到全流量中。下面是推荐ABTest实现策略总结的知识点： 1. 背景介绍 AB...
Easy ABTest
weixin_41593193的博客
03-06 980
原则二：在做实验的时候要选择不同类型城市（一般公司都会有一个城市分级，会依据城市的不同属性分为一级二级三级城市等等，不同的公司分级标准不同，使用自己公司的分级标准即可），实验策略可能对不同类型的城市有不同效果，需要通过选择不同类城市，使实验具有普适性。在样本量足够大的，p 值就会趋近于0，任何策略都在统计学意义上是显著的。通过计算得出，z=1.34，小于图中的 1.96，没有落到拒绝域中，因此我们不能拒绝原假设，那么我们可以得出结论，这个产品经理的功能改版 95% 的可能性来说，是没有提升 DAU 的。
面试_ABtest原理简介
weixin_45875358的博客
11-13 3630
实验开始之前，首先要和产品和项目经理明确实验的变量是什么，我们要保证ABtest的单一因素原则，即每一个实验的评估因素都是单一因素，一次实验都不能糅合多个影响因素，否则会导致实验效果难以区分是哪个因素的影响；ABtest样本量计算：AB测试的样本量选取基于大数定律和中心极限定理，在计算样本量之前，我们先了解一下大数定律和中心极限定理；实验改动点确认>核心指标确认>样本量、周期确认>流量分割>AB测试灰度>AB测试上线>效果评估。ABtest会涉及到产品、开发、数据部门，流程较长，环节较复杂；
数据科学常见模型总结（一）-ABTest 模型
wudelong0112的专栏
11-13 1566
按图索骥，此时我们应该查看平均阅读数这一指标的检验灵敏度：如果灵敏度>3%，意味着可能你的实验可能会有3%的显著提升，只是灵敏度还不够，我们还没检验出来。例如点击率指标，业务往往不关心人均点击率指标，而是总点击/总曝光指标，这一指标的方差无法用传统的计算样本方差的方法来计算，需要采用delta method方法。现在把实验停了，换新的思路？统计功效为 1-beta，反馈的是备注假设成立的概率，一般是 80%，也就是 beta=20%，二类错误允许为 20%，即无法得出有差异的概率是 20%。
公司级abtest实战--带分组的abtest应该怎么做？
Captain_DUDU的博客
04-17 729
某线上查价平台最近上线了一个新指导价格的产品功能，需要评估该功能对供应商提供的价格是否产生影响作，以确定该项目是否有继续推广的价值。数据来源为工作中接触到的某公司后台数据，在完成工作相关分析后，本人对该部分数据虚拟重建用以复盘整理。本文最早发表在csdn时间为:2023-04-17。
ABtest_blog:具有AB_test功能的网络博客
03-26
ABtest_blog 具有AB_test功能的网络博客
Lind是一个可以在您的网站上创建任何类型AB测试的开源项目
08-10
Lind是一个可以在您的网站上创建任何类型AB测试的开源项目
AB实验平台在贝壳找房的设计与实践
漠北鹰的专栏
06-16 5028
作者雏鹰（企业代号名），目前负责贝壳找房增长方向AB实验平台研发工作。 引言 ​ 随着贝壳找房业务的不断增长，精细化运营显得尤为重要。为了保证每一次迭代，每一个方案能够真正得到用户的认可，为贝壳带来有效的商机转化率，我们就不得不理性对待每次功能上线，反复对比找到产品方案中的不足加以改进。基于这种需要，我们推出了贝壳找房AB实验平台（Athena）（以下简称ab平台）来为大家做产品方案的优化测试...
超全！腾讯数据科学家深度长文讲透AB实验
pdcfighting的博客
08-14 1171
点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤欲寻芳草去，惜与故人违。导读：在数字化时代的大背景下，在数据驱动的产品增长理论和实践中，AB实验起的作用越来越重要。越来越多的岗位需要产品、运营、数据等职位候选人掌握AB实验相关的知识。作者：刘玉凤来源：华章计算机（hzbook_jsj）本文首先介绍AB实验的...
AB实验管理平台
11-27 796
AB实验平台 AB实验系统 AB实验平台作用 实验平台：作为实验场景以及每个场景下的实验的全局管理 那我们可以先想象一下如果你来重头设计实验平台，你会如何设计这个平台 AB实验平台应该有什么功能 首先我们想一下作为实验的全局管理的一个系统，那么它应该有什么功能 实验场景相关：实验场景key和描述，负责人，实验场景的节点，实验场景的评价指标和护栏指标，消息订阅等 试验相关：实验流量，实验创建与停止，实验全量功能，实验组用户白名单 实验报告：指标对比，实验总结，置信区间 AB实验系统设计 A
AB-Testing 开源项目使用教程
gitblog_00129的博客
09-14 1020
AB-Testing 开源项目使用教程 1. 项目目录结构及介绍 AB-Testing/ ├── README.md ├── requirements.txt ├── setup.py ├── ab_testing/ │ ├── __init__.py │ ├── config.py │ ├── main.py │ ├── utils.py │ └── tests/ │ ...
Hubble A/B test平台前端项目开发浅谈
ihaveahappyfamily的专栏
05-21 1185
前言 现在Hubble abtest平台已经正式上线了，至于技术实现方案我在其中一篇文章做了一些分享（查看react技术栈实践），本文主要分享下一些开发过程中的遇到问题思考总结，以及简单介绍下我们平台的技术实现，希望对大家有些帮助。 项目落实过程 1. 技术选型 技术选型上同事思考了很久，摆在我们有两个方案：第一个继续沿用开发Hubble系统的那套，即基于regular框架实现；还...
正在搭建公司的 ab test 的小伙伴有福了~
azl397985856的专栏
08-09 330
在上一家公司工作的时候，我负责开发公司的 ab test 系统。说实话，我们的功能极其简单。尽管如此，这个功能也花费了我们大量的时间去设计，实现，调试，发布。easy-abtest 正如它...
【亲测免费】 探索A/B测试的奥秘：全面解析"A/B Testing Examples"开源项目
gitblog_00002的博客
06-22 796
探索A/B测试的奥秘：全面解析"A/B Testing Examples"开源项目 在数据驱动的时代，决策的科学性与精准度变得至关重要，而A/B测试正是解锁这一秘密的关键工具。今天，我们要向大家隆重推荐一个深入浅出的开源宝藏——A/B Testing Examples项目。该项目通过一系列实例，引领你探索A/B测试的统计测试之旅，为你的产品优化和用户体验提升提供强大的理论与实...
abtest流程
最新发布
08-28
AB测试是一种统计学方法，用于比较两个或多个变量以确定哪个版本在特定指标上表现更好。它广泛应用于产品优化、市场营销、用户体验等领域。以下是AB测试的详细实施流程和步骤： ### 1. 明确测试目标 在开始AB测试之前，需要明确测试的目标。目标可以是提高转化率、增加用户留存、优化页面点击率等。目标的设定需要具体、可量化，并与业务需求紧密结合。例如，可以设定“提高注册页面的转化率5%”作为测试目标。 ### 2. 定义假设 基于测试目标，提出一个或多个假设。例如，假设修改注册按钮的颜色可以提高点击率。假设应具有可验证性，并且需要与测试设计保持一致。 ### 3. 确定测试变量 确定需要测试的变量（即独立变量）。例如，可以是页面布局、按钮颜色、文案内容等。为了确保测试结果的准确性，通常建议每次测试仅改变一个变量，以避免干扰因素影响结果。 ### 4. 设计测试方案 设计测试方案包括以下几个方面： - **测试组与对照组**：确定实验组（新版本）和对照组（原始版本）。 - **流量分配**：决定流量如何分配给不同版本。通常采用随机分配的方式，确保两组用户在统计上具有可比性。 - **测试周期**：根据业务需求和流量情况，确定测试持续时间。测试周期应足够长，以捕捉到具有统计意义的结果。 ### 5. 实施测试 在实施阶段，需要确保测试环境的稳定性和数据的准确性。主要工作包括： - **代码部署**：将不同版本的代码部署到测试环境中。 - **数据采集**：设置数据采集机制，记录用户行为数据，例如点击率、转化率、停留时间等。 - **监控测试**：实时监控测试运行情况，确保没有技术问题影响测试结果。 ### 6. 数据分析 在测试结束后，对收集到的数据进行统计分析。常用的方法包括： - **假设检验**：使用统计方法（如t检验）验证实验组和对照组之间的差异是否显著。 - **置信区间计算**：计算结果的置信区间，评估测试结果的可靠性。 - **效果评估**：根据数据分析结果，判断实验组是否优于对照组。 ### 7. 结果解读与决策 根据数据分析的结果，做出决策： - 如果实验组显著优于对照组，则可以考虑将实验组版本上线。 - 如果实验组表现不佳或差异不显著，则需要重新评估假设，调整测试方案，重新进行测试。 ### 8. 总结与优化 总结测试过程中的经验教训，优化后续的AB测试流程。包括： - 分析测试失败的原因。 - 优化测试设计和数据采集机制。 - 提高测试效率，减少资源浪费。 ### 示例代码：AB测试数据统计分析 以下是一个简单的Python代码示例，用于计算AB测试的转化率差异是否具有统计显著性： ```python from scipy.stats import chi2_contingency # 假设数据：对照组和实验组的转化情况 # [[对照组转化数, 对照组未转化数], # [实验组转化数, 实验组未转化数]] data = [[100, 900], [120, 880]] # 卡方检验 chi2, p, dof, expected = chi2_contingency(data, correction=False) print(f"卡方值: {chi2}") print(f"P值: {p}") if p < 0.05: print("实验组与对照组差异显著") else: print("实验组与对照组差异不显著") ``` ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值