A/B測試產(chǎn)品可以說是企業(yè)科學決策的基礎“設施”，能夠幫助企業(yè)快速迭代產(chǎn)品。

在字節(jié)跳動，每一個產(chǎn)品功能上線前，都會先在火山引擎A/B測試產(chǎn)品DataTester上進行小流量驗證，結(jié)合業(yè)務邏輯對結(jié)果的分析理解策略生效過程，而后再對方案進行修正、嘗試創(chuàng)新，推動整個產(chǎn)品和業(yè)務的持續(xù)迭代。

抖音上，早期有一個功能“彈幕”功能設想，目的是強化熟人社交的互動性，產(chǎn)品團隊希望圍繞熟人社交進行功能拓展，以激勵用戶多看視頻、多發(fā)作品。

(資料圖片)

產(chǎn)品團隊借鑒長視頻的彈幕功能提出了一個想法——在抖音短視頻中增加彈幕互動的功能，當用戶觀看熟人（好友）的短視頻作品時，該視頻的相關(guān)評論通過彈幕的形式展示，讓用戶有更多的互動機會并感受互動的快樂。

這個功能設計初衷是很好的，但它對于產(chǎn)品所帶來的影響是正向還是負向，需要通過A/B實驗進行評估驗證。DataTester就幫助團隊快速試錯，避免了不合適的功能上線后為產(chǎn)品帶來的負向影響。

如圖所示，該團隊在DataTester中設計了這樣一個實驗：

● 圖一是對照組，產(chǎn)品界面維持抖音原樣，沒有彈幕功能。

● 圖二是實驗組1，由于彈幕功能對抖音而言是大型改動，會直接影響產(chǎn)品主界面布局，所以產(chǎn)品團隊在實驗組1中做了一個激進的嘗試，他們將視頻的文字描述區(qū)域全部去掉，替換為彈幕互動功能；與此同時，為了界面的美觀簡潔，將抖音右側(cè)原本的互動區(qū)收入了“更多”的按鈕中。

● 圖三是實驗組2，為了減少產(chǎn)品改動過大對用戶帶來的不確定影響，這個版本的產(chǎn)品設計保留了產(chǎn)品原有的互動等其他功能。

從DataTester的實驗結(jié)果數(shù)據(jù)看，兩個實驗組的互動率確實有著顯著提升，達到了功能設計時“提升互動率”的初衷。但觀察新方案對抖音大盤核心指標影響時發(fā)現(xiàn)，這個功能對抖音整體視頻的瀏覽量、用戶投稿率、用戶整體留存率均有負向影響，上述指標均出現(xiàn)了不同程度的下降。A/B實驗清晰地表明，這個功能雖然能提升抖音的互動率，但卻不利于用戶的整體使用與留存。因此這個看上去很好的改動并未在抖音全量上線。

之后，抖音圍繞彈幕類的產(chǎn)品優(yōu)化探索并未停止，通過更多次的假設與A/B實驗驗證，這個功能后來加入了抖音的個人頁位置中。當它被放在了恰當?shù)奈恢茫材転楫a(chǎn)品的指標帶來正向的提升。從這個案例中也可以看到，DataTester起到了幫助業(yè)務實現(xiàn)科學決策的能力，業(yè)務能夠大膽創(chuàng)新的同時，也能科學驗證每次創(chuàng)新是否真正有效。

像這樣的A/B實驗，在字節(jié)跳動已經(jīng)開啟了150多萬次，每天都有2000多個新的實驗上線，在DataTester上同時運行的實驗有3萬多個。

作為字節(jié)跳動內(nèi)部使用多年的 A/B 測試平臺，DataTester有支持多種復雜A/B實驗的能力和科學的分流能力。它能夠深度耦合推薦、廣告、搜索、UI、產(chǎn)品功能等多種業(yè)務場景需求，為業(yè)務增長、轉(zhuǎn)化、產(chǎn)品迭代，策略優(yōu)化，運營提效等各個環(huán)節(jié)提供科學的決策依據(jù)。目前，火山引擎DataTester已經(jīng)對外服務了美的、得到、凱叔講故事等在內(nèi)的上百家標桿客戶，將成熟的 " 數(shù)據(jù)驅(qū)動增長 " 經(jīng)驗賦能給各行業(yè)。（作者：呂紫）

關(guān)鍵詞：