1. A/B实验的基本思想

A/B实验的基本思想就是：
我们在线上流量中取出 一小部分 （较低风险），完全 随机 地分给原策略A和新策略B（排除干扰），再结合一定的 统计方法 ，得到对于两种策略相对效果的准确估计（量化结果）。
这一套基于小样本的实验方法同时满足了 低风险 ， 抗干扰 和 量化结果 的要求，因此不论在互联网产品研发还是科学研究中，都被广泛使用。

2. A/B实验的应用一

Instead of saying 'I have an idea', what if you said 'I have a new hypothesis , let's go test it, see if it's valid, ask how quickly can we validate it.' And if it's not valid, move on to the next one. —— Satya Nadella CEO, Microsoft

微软CEO Satya Nadella 在business insider采访中，关于假设检验的这一段回答简练地描述了微软基于 实验-分析-决策 的数据驱动文化。
事实上，微软也是世界上最早采用A/B实验评估每一个重大feature的科技公司之一，从bing的搜索排序到MSN的交互设计，数据驱动的决策无处不在，每年为微软规避大量风险并创造可观回报。
下图，从bing这一侧面展示了微软实验平台同时运行的实验数量十年以来的井喷式发展。

3. A/B实验的应用二

另外值得一提的是，这一套基于假设检验的实验方法并非科技公司首创，其影响远比我们想象得深远，可靠性也已经得到了长足的验证。