A/B測試

出自 MBA智库百科(https://wiki.mbalib.com/)

A/B測試（A/B test）

　　A/B測試，其核心是“確定兩個元素或版本（A和B）哪個版本更好，需要同時實驗兩個版本，最後，選擇最好的版本使用。網路上的A/B測試，比如設計的頁面有兩個版本（A和B)，A為現行的設計，B是新的設計，比較這兩個版本之間測試者所關心的數據（轉化率、業績、跳出率等)，最後選擇效果最好的版本。^[1]

　　A/B測試的出現，便是將用戶行為分析與網頁設計、內容編輯等生產環節直接對應，以測試數據直接指導生產環節。

　　A/B測試的具體實施方式有很多種，網站、桌面應用、手機應用等對應不同的實施方式，但均是將選定的用戶分為兩組，一組使用舊版本，一組使用新版本，對試驗中收集到的效果指標數據，應用統計學上的方法進行驗證，選擇效果最好的版本正式上線推廣。

　　A/B測試的實質，是對照實驗法線上上的實施，是與控制組、實驗組的自然科學實驗一脈相承的，其原理應用的是統計學上的一種假設檢驗（顯著性檢驗)。在這一過程中，“假設檢驗是先對總體的參數提出某種假設（比如說轉化率的平均值)，然後利用樣本數據判斷假設是否成立的過程。邏輯上採用反證法，先提出假設，再計算該假設可能性的大小……由於統計得出的結果來自於隨機樣本的數據，結論不可能為絕對的，所以只能根據概率上的一些依據進行相關的判斷。依據小概率思想（即顯著性水平p<0.05的小概率事件在一次試驗中基本上不會發生)，也就是說當原假設的可能性小於認定的某一標準的話，則拒絕原假設（認為這個假設是不成立的)，反之則接受原假設。”

　　具體到A/B測試里的假設檢驗，試驗的目的就在於推翻“A/B兩個版本無差異”的原假設，驗證“A/B兩個版本有差異”的備擇假設。最終，通過比較A/B兩個版本樣本數據的相關參數，來決定最終投放使用的版本採用哪一個。

　　進行A/B測試時，測試用戶的選取是十分關鍵的環節，為保證試驗結果的準確性，一是要保證一定的樣本數量，二是要考慮用戶細分。“在A/B測試的實驗中，需要保證小流量的實驗具備代表性，也就是說1%的流量做出來的實驗結果，可以推廣到100%的用戶，為了保證這一點，需要保證1%的流量的樣本特征與100%流量的樣本特征具備相似性。”具體來講，要將在某一特征上具有相似性的用戶聚為一類，再將其隨機分為控制組與實驗組，如果“所有用戶雜糅在一起，導致即使我們做了A/B測試，也得不出有效結果。所以，我們需要按用戶群體細分去做A/B測試，高質量用戶、留存用戶、低質量用戶、不活躍用戶，它們的行為是怎麼樣的，這才是有效A/B測試的關鍵。”

　　具體的用戶細分，要根據不同的測試目的來區分﹐但通常比較關鍵的用戶特征有這幾種區分，新、老用戶的區分，用戶流量來源（自然流量、付費流量、推薦流量、Email流量、社交媒體流量）的區分，主頁訪問、內部訪問的區分，首次購買、反覆購買的區分等等。不同細分用戶的行為分別是怎樣的，是進行有效A/B測試的關鍵。

　　總體來說，A/B測試試驗的創建主要包含下麵5個步驟：

　　第一步，收集數據，從數據中發現存在的問題和機會。

　　第二步，基於要解決的問題設立試驗目標，如提升註冊轉化率或者新用戶留存率。

　　第三步，找到目標後，設計解決方案，提升試驗的假設，如“將註冊按鈕的文案從立即註冊改為獲取演示可以帶來更多的註冊轉化數量”。

　　第四步，進行A/B測試試驗部署和上線。

　　第五步，實驗開啟後定期觀察數據，通過顯著性的統計結果來判斷試驗結果，從而做出科學有效的決策。

　　愛彼迎（Airbnb）是一家提供民宿服務的平臺，創建於2007年，現在已經估值約300億美元。在2011年初，愛彼迎團隊通過查閱數據尋找房源預訂量比較低的地區。他們發現紐約市的房源預訂量竟然不達標。紐約可是熱門的旅行地區，為什麼房源預定量低呢？在觀察這個地區的房源照片時發現，這些照片都是手機拍的，拍的即不清晰也不美觀。如果房東發佈的房源信息里有拍攝效果更加專業的照片，房東是不是會更容易租出自己的房子呢？

　　為了驗證這個假設，愛彼迎團隊先挑選了一部分房東作為實驗組，免費為他們提供專業的攝影服務。然後，將實驗組的平均住宅預定量和紐約其他公寓的平均預訂量進行對比。數據顯示，如果房源信息里有專業拍攝的住宅照片，房源預訂量高於愛彼迎平均房源預定量的2- 3倍。也就是說，照片質量會影響預定量，說明前面的假設是成立的。

　　根據這個A/B測試結論，愛彼迎推出一個攝影計劃，聘請了20名攝影師，專門為房東提供專業的拍照服務，這使得愛彼迎的房源預定量實現了快速增長。愛彼迎團隊進一步決定向所有房東推廣這一業務，這極大的提升了房源預定量。