I starred: “不测量,无市场”:A/B测试怎么做?

【via: http://www.36kr.com/p/142809.html

编者按:本文作者为Dan Taylor,从事数字媒体,致力于帮助品牌通过各媒体渠道,扩大品牌在网络上的影响力。

“不测量,无市场”,这是我一直信奉的信条。公司的存亡依靠的是公司的灵活性和他们多大程度满足顾客的需求。但首先有个经久不衰的问题需要解答:“我怎么知道顾客想要什么?”如果你是乔布斯,或许可以放心大胆地说“顾客想要什么并不是顾客的工作”,但我们不是乔,所以我们需要A/B测试。

什么是A/B测试?

A/B,又叫分离测试,类似于顾客焦点团体(consumer focus group,形式是小组座谈,商业中常用的调研方法),将一系列内容变化在一定基准(控制组)内进行比较。A/B测试来自于邮件宣传,发信者(商家)将同一目的内容的不同版本邮寄到目标群体中,测量回应率。根据这些数据,商家可以对以后的直邮的内容做相应修改,往更多回应率的版本走。可以说,这个过程需要花费相当的时间,要获得数据结果并进行微调需要几个季度才能完成。

不过现在在几乎能实现即时反馈的互联网上,广告商和市场人可以在数分钟内进行调整,A/B测试变得清楚易见。下面,我们将介绍如何在线上广告、电子邮件以及网站上做A/B测试。

在开始之前,有一个有关A/B测试的规则必须记得:不要一次测试多个变量。这会影响测试中的基准控制。

线上广告的A/B测试

只要是在线上打广告,不管是在什么时候或什么网站,通常都不会是单个广告。你需要持续跟踪、测量和调整的通常应该是一系列广告。线上广告形式多样,在这里看文字为主的广告,这是在Google和Facebook上都能适应的广告形式。Facebook还提供一个图片展示的位置。

如何开始

在A/B 测试开始之前,你必须首先要了解你广告的重点在哪里,什么是你做广告的主要目的?你是想要点击量,想让用户加入你的邮箱列表,还是想让他们走进店里消费优惠券?如果没有清楚定义好的目标,A/B测试结果不会起太大作用,日后的改进也会变得更加困难。

现在,假设你是一个开摄影工作室的,想做一个返校优惠,在Facebook上打广告,为家庭提供20%的服务优惠。这个广告的标题应该为“Back-to-School优惠”,这可以作为广告A。而广告B的标题可以是“十一之前打八折!”

在这个案例中,你可以测试哪一个广告得分高(如,获得更高的点击量),并开始测试针对这个广告的改进版本。如果广告A得分高,你可以开始对这个广告进行提炼,让广告A不再变化,成为你广告的控制组,即之后广告改进的基准。我常常会做两组以上的测试,将广告B换一下,以确保测试的正确性。

在你确定好了广告的控制组后,A/B测试才真正开始。广告的标题会是你想一遍遍测试的要素,而“免费!”的效果其实不一定有你想象得这么好。

同样地,除了标题,你还会不断地想更新迭代你的广告文案,但你需要始终牢记你的最终目的。如果广告C表现得比B好,但又没有A这么好,你需要知道B和C之间改变的要素是什么。如果可以剖析比较广告A和C,那么就可以将两个广告中好的成分组合成为一个广告D。而一旦D出现并试运行,也是创造广告E和F的时候了,你可以进一步完善你的广告消息。

而Facebook广告还提供一个有趣的第三个要素,也就是图片。我们都知道一张好图可以带来的力量,特别是在Facebook里的时候。和之前的两个要素——标题,文案一样,你需要用不同的图片做实验,去看哪张图能和你的目标群体产生共鸣。

我的建议是至少用5张不同的图进行测试,如果你够上心,你还可以用20张图试试看。或许一张有笑脸的一家子会是这个例子中最好的图片。当然,也有可能是你的商标,或者一个打八折的字样。直觉是很棒的,不应该被忽视。但这都没有一个A/B测试来得实事求是。

测试多少个样本?

A/B测试者通常会问:一共需要多少个样本?越多越好。你跑的样本量越大,结果就会越精确。但为了计算容易,至少要保证每一个测试组拥有100次点击。在这之后,你就会有反映这个广告比其他广告更好的清晰数据,然后可以暂停表现不佳的广告并开始下一组的A/B测试。

Google Adwords和Facebook都提供A/B测试服务,而提供这一服务的其他广告服务上应该不在少数。

在A/B测试当中还要谨记的是,你会获得各种不同的见解和洞察,最好将这些洞察在心中铭记一年。广告就像头从不被喂饱的野兽。一旦你已经将广告改好并呈现了最好的状态,你就该创造新的广告了,因为你的目标群体已经看过原版广告的多个版本,而顾客可是很善变的。

但当你开始创造下一系列广告时,你并不需要重头开始,你可以通过之前的A/B测试中获得的经验进行比较。如果一张“打八折”字样的图对于你的目标群体来说很有效,那么你可以在下个广告中对图片颜色、字型、字体大小等进行修改,然后再重新开始测量和改进过程。在有效的图片上对顾客做进一步的刺激。

电子邮件营销的A/B测试

在电子邮件营销活动中,A/B测试也揭示了有关用户的大量有价值的数据。你可以测试邮件主题,邮件频率,是HTML还是普通文本格式等等。而反馈中你还能知道自己的用户对怎样的题目有反应,他们更喜欢哪种推销形式。

如果你使用MailChimp或者Aweber这样的电子邮件营销工具,建立一些A/B测试相当容易。这些工具可以让你将不同版本的邮件寄往你所设好的组群当中。

而在电子邮件营销当中,一般需要测试的内容包括:

邮件标题;

发送地址;

一天当中的具体时间;

一周当中的具体某天;

邮件内容文案;

排版和设计;

行为召唤等。

是否需要跟踪查看所有的这些变量?和线上广告相似,答案取决于你的目标是什么。你是想让收信者点击链接还是查看优惠,还是让他们在Facebook上加你?在测试之前,请确保你已经有一定的目标。而不管你的目标是什么,以下的三个方面你必须在跟踪当中需要确定的:

打开邮件的概率;

点击的概率;

要求不再发送邮件的概率。

网站上的A/B测试

A/B测试并不止是蜗居在广告和电子邮件营销当中。Netflix,Amazon和Google也同样是A/B测试的信徒。可以说你现在看到的Google其实是Google服务核心下的其中的一个变化版本,带着一个正被测试的元素。

现在你大概已经知道,线上广告或电子邮件营销需要顾客的反馈去修改“源代码”。但如果是要为网站做A/B测试网站内的元素呢?如果你能回想起Google在06年推出的网站优化工具,那就是网站做A/B测试的方向。不过,这个工具要求用户写两组代码,对于非开发者(比如营销人员)来说,他们需要额外地找开发团队帮他们调整其中的一两个元素,这并不够理想。而现在已经有一些服务可以为网站提供包括A/B测试、热图、评价表、基准研究等一系列服务。

在哪里使用A/B测试

用户体验上的A/B测试机会是无止境的。考虑“立即购买!(Buy Now!)”按钮在主页上效果不佳的情况,可以尝试改变按钮的形状、大小、颜色或者位置,作为变量B进行A/B测量。看看这些按钮对于用户来说是推销的辞令还是欢迎的信号。

如果你的网站还在早期的发展阶段,尝试做一些大的改变,并查看你入站流量的反应。

去年在我做的一个项目中,就发生过奇怪的事。我们改变了一个非常小的要素,将“联系我们”的标签从左边移到了右边,结果带来了点击量、兴趣和最终销售额的显著增长。为什么会这样?我也不知道,但我知道数据不说谎。绝对不要低估用户的力量,并且要懂得,一个小小的改变也可能带来很大的不同。

如果不相信我说的,可以想想Google,他们当初可是连工具栏上的颜色选择也要A/B测试。

怎样使用A/B测试

如果回到几年前,要对网站做A/B测试就意味着需要不同的代码集。但现在做A/B测试已经很方便。

其中一个我最喜欢的做A/B测试的工具就是Optimizely。这家公司由Googler Dan Siroker和Pete Koomen。Optimizely只需要鼠标操作就可以在实际上插入或编辑了一行Javascript代码。所以营销人员也可以做到进行A/B测试。

“局部最大”问题

尽管我一直将A/B测试的好处,但在最后我要说的是,在A/B测试中,我们可以很容易地专注于微观细节,但有时候问题在宏观问题上。

来自HubSpot的Steve Hass曾经告诉我有关Josh Porter提出的“局部最大”概念。“局部最大”指的是你在现有设计中所能改善的最大值。改善的有效性只能建立在目前版本之上。所以即使你做了100个调整,也只能提高这么多。就好像你可以一改再改,但发出的箭只能抵御这么大的风,而你能做的就是改变箭发出的方向。

所以如果你已经做了你能做的改进,并已经达到了“局部最大”,那你应该做什么呢?Porter指出,到了这个阶段,就可以“停止优化,并回到其他方面的分析,看看下一步能做些什么。主持面谈,做用户测试,问卷调查,问问题。”这些工具都是传统上帮助考虑“顾客想要什么”这一策略的。这个阶段应该考虑的是这些,而不是再做A/B测试。

这里讲到的仅仅是A/B测试的皮毛,实际上A/B测试还可以用在产品设计、电商销售以及价格策略的规划等等。A/B测试的美好在于,你的顾客正一直为你提供关于他们的最好信息,为何不尽情地将这些信息为自己所用呢?这是A/B测试所带来的好心态。

Via TNW

除非注明,本站文章均为原创或编译,转载请注明: 文章来自36氪

at August 06, 2012 at 05:27PM

This entry was posted in Uncategorized. Bookmark the permalink.

发表评论

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / 更改 )

Twitter picture

You are commenting using your Twitter account. Log Out / 更改 )

Facebook photo

You are commenting using your Facebook account. Log Out / 更改 )

Google+ photo

You are commenting using your Google+ account. Log Out / 更改 )

Connecting to %s