從零開始學AB測試:基礎篇

發表于:2020-4-24 10:53  作者:黑客悟理   來源:博客園

字體: | 上一篇 | 下一篇 |我要投稿 | 推薦標簽: ab測試 軟件測試方法 軟件測試技術

  什么是AB測試?
  通俗點理解,AB測試就是比較兩個東西好壞的一套方法,這種A和B的比較在我們的生活和人生中非常常見,所以不難理解。具體到AB測試這個概念,它和我們比較哪個梨更大、比較哪個美女更漂亮、比較哪個工作更好之間有什么區別嗎? 區別其實非常明顯,從以下幾個方面不難看出來:
  · 領域不同:AB測試的概念是在互聯網中被提出來的,所以它有特定的應用領域。
  · 標準不同:AB測試需要比較產品的兩個不同版本之間的優劣,但是評判要交給用戶,不像我們生活中遇到的AB比較,基本都可以“自己拿主意”。
  正是因為標準在“用戶爸爸”那里,所以這個看起來很簡單的AB比較就變得異常復雜。在我這個理科男眼里,凡是跟人有關的東西都更復雜,何況和千千萬萬人有關的產品。因此,為了比較A和B兩個不同版本產品的優劣,AB測試這一套系統的方法被發明出來了。
  AB測試
  上圖是AB測試的一個直觀解釋。我們會隨機給不同的人群提供兩個不同版本的產品,然后通過收集用戶反饋的數據進行統計分析,決定出哪個版本的產品更好。相信我們每個人都當過AB測試的小白鼠,細心的你不難在使用微信、抖音、高德、美團這些APP時發現一些端倪。
  維基百科上給AB測試下了一個定義:
  A/B testing is a way to compare two versions of a single variable, typically by testing a subject's response to variant A against variant B, and determining which of the two variants is more effective.
  在我看來這跟啥也沒說差不多,就是我上面“通俗理解”的翻譯版本。AB測試屬于那種一聽就懂,一看就明白,一做就抓瞎的事。所以定義和概念不重要,實踐才重要。幸運的是,前輩們已經幫我們總結了非常多的經驗教訓,而我作為知識的搬磚工,將會用幾篇文章來和大家一起從零開始學習AB測試。
  · 互聯網公民第一守則:不要重復造輪子。
  · 互聯網公民第二守則:參照上一條。
  為什么要做AB測試?
  AB測試雖然思想簡單但是非常有效,看了如下的幾個好處你就明白為什么一定要做AB測試了:
  · 如果我們人工針對部分用戶做調研,很難消除一些外部因素的影響,比如交通、天氣、節日,而AB測試可以通過隨機分配和對照的方式,有效消除這些影響。
  · 如果我們聽取專家或研究機構的建議,眾所周知,他們很可能出錯。用戶行為是個很復雜的事,具有潛在性,很多時候用戶自己都不知道自己怎么想的,想要什么。
  · 讓數據說話,而不是聽老板的
  總之,AB測試可以幫助我們消除主觀因素的影響,盡量做出更理性,更符合實際的決策。
  AB測試的步驟
  在此引用一本書里的圖片,AB測試的基本步驟如下:
  AB測試的步驟
  翻譯過來大致如下:
  · 創建假設:明確要測試的目標。
  · 分析并具體化假設:目標一定要具體化,比如將用戶點擊率提升1個百分點。
  · 定義評估指標:如何對你關心的指標量化?
  · 決定要做實驗的平臺:網頁端?移動端?安卓還是IOS?
  · 技術實現:交給碼農
  · 結果分析
  · 消除干擾:不要以為有了結果就可以下結論了,后面會教大家躲坑大法
  · 結論
  可以看出在實際執行過程中有很多細節和步驟需要考慮,并不是直接把兩個版本的產品隨機分配給不同用戶那么簡單。既然AB測試是讓數據說話,所以目標/指標量化就很關鍵,說直白點,拿什么來證明A比B好呢?好比挑個西瓜,你也得有幾個評估的標準:大小,色澤,聲響等等。
  另外,在真正開始做實驗之前,還有個重要的問題需要解決,那就是你的測試樣本要選多大。你要清楚,我們不可能對大多數用戶都進行測試,那樣跟“先上線有了問題再回退版本”的簡單粗暴方式就沒有了區別。所以在實驗之前需要評估出你所需要的最小樣本數目(最少被測試用戶的數目)。AB測試本質上是做統計假設檢驗,所以已經有很多現成的統計工具幫我們來做類似的事情,下面有個簡單的網頁端工具,感興趣的朋友可以去試試看。
  一個AB測試的輔助工具: https://abtestguide.com/calc/

本文內容不用于商業目的,如涉及知識產權問題,請權利人聯系博為峰小編(021-64471599-8017),我們將立即處理。

【福利】填問卷送精選測試禮包+接口測試課程!為測試行業做點事!

評 論

論壇新帖

頂部 底部


建議使用IE 6.0以上瀏覽器,800×600以上分辨率,法律顧問:上海瀛東律師事務所 張楠律師
版權所有 上海博為峰軟件技術股份有限公司 Copyright©51testing.com 2003-2020, 滬ICP備05003035號
投訴及意見反饋:webmaster@51testing.com; 業務聯系:service@51testing.com 021-64471599-8017

滬公網安備 31010102002173號

51Testing官方微信

51Testing官方微博

掃一掃 測試知識全知道

日本av