確切地說，你能解釋一下什麼是 p-values 以及它們告訴你關於你的 A/B 測試結果的什麼嗎？如果閱讀此問題幾乎導致您關閉當前選項卡，那麼您並不孤單。事實上，根據 FiveThirtyEight 的說法，即使是科學家自己也無法清楚地解釋 p 值的實際含義。雖然您的測試工具可能會在後台完成大部分數學運算，但深入了解數學運算的原理比僅僅運行測試並等待結果顯示在儀表板上要好。如果沒有很好地理解 A/B 測試背後的數學和統計概念，您最終只會猜測而不是實際進行試驗。了解底層技術細節有助於您在測試和抽樣設計中做出更好的決策，並為您提供一個可靠的結果解釋框架。這就是為什麼我們創建了這個快速信息圖，它直觀地總結了您在 A/B 測試中通常遇到的關鍵數學/統計概念背後的想法。如果您對晦澀難懂的希臘方程式和符號過敏，請不要擔心。我們不會在這里處理任何這些。

我們將只專注於建立做出明智的測試決策所需的直覺。此外，博客文章的其餘部分對信息圖的內容進行了更深入的討論，因此您也絕對應該檢查一下。 购买电子邮件列表 A/B 測試背後的數學：A（簡化）視覺指南 [INFOGRAPHIC] 假設您想看看將白皮書著陸頁上的號召性用語 (CTA) 按鈕的顏色從紅色更改為綠色是否會影響下載次數。然後，您將流量隨機分成 50-50，其中一半分配給具有紅色 CTA 的頁面（對照組），另一半分配給具有綠色 CTA 的頁面（變體組）。

為每個頁面記錄 500 次唯一訪問後，您觀察到對照組的轉化率（下載次數佔頁面流量的百分比）為 7%，而變體組的轉化率為 9%。您可能會得出這樣的結論：更改 CTA 的顏色會對轉化產生真正的影響。但在接受結果為有效之前，您必須首先仔細回答有關您的結論的一些問題，例如：對於兩組中的每一個，我是否有足夠的樣本（頁面瀏覽量）？我偶然得到測試結果的可能性有多大？轉化率的差異是否足以保證改變？如果我一遍又一遍地運行測試，我有多大把握它會給我類似的結果？這些只是您在計劃和執行 A/B 測試時需要考慮的一些事情。