查看Guru的任何產品發布部落格文章，你會發現一個重複的主題：改善我們客戶的搜索體驗。 這是有充分理由的——擁有一支專門的數據科學家、產品經理和工程師組成的搜索團隊，Guru的搜索和知識可發現性不斷被測試和改進。 對於任何擁有搜索功能的科技公司來說，這是Guru的基礎部分，我們會不斷尋求優化和完善。 儘管搜索增強功能可能不像UI變更、AI增強或新功能那麼“華麗”，但它們確實能發揮重要作用——並顯著增強用戶與我們產品的體驗。 今天我們將與搜索團隊聯繫，了解他們最近幾個月的工作進展。

謝謝你們三位今天的加入！ 要開始，能否告訴我們一些關於你們自己和在Guru的搜索小組中所做的工作？

Nina: 我是一名搜索小組的數據科學家，所以我專注於探索我們可以嘗試哪些機器學習方法來改進搜索。 我最近專注於我們如何將卡片（即在Guru中記錄信息的格式）的使用方式（瀏覽、複製鏈接或內容、加星標）納入我們的搜索算法，並且在未來，我會探索我們如何更好地理解用戶搜索時的意圖，以確保我們為他們帶來最相關的卡片。

Laura: 我是搜索小組的產品經理，我花了很多時間與客戶交流，以獲得他們的反饋並了解對他們最有幫助和重要的內容。 然後，我將這些反饋帶回給團隊，讓我們能夠決定如何改善和發展搜索。 我規劃我們的短期、中期和長期目標，以便我們能夠在搜索的多個方面持續改進。

Jenna: 我也是搜索小組的數據科學家，專注於我們的算法。 現在，我專注於我們的內部工具，使我們能夠嘗試不同的算法調整，並了解這些調整對我們客戶的搜索結果可能產生的影響。 我還進行數據分析，以比較我們目前的搜索表現與潛在變更後的表現。

上次我們與搜索小組見面時，我們談到了我們的算法即將進行的變更以及我們測試搜索增強功能的方式。 你能告訴我們一下那項工作的進展嗎？

Laura: 我們最近的變更是考慮到卡片使用情況作為尋找最相關和最有用結果的另一個因素。

Nina: 這個想法源於想要了解卡片使用數據如何影響Guru的AI工作。 在將這些問題專門應用於搜索之前，我們探索了卡片“流行度”與在黑客馬拉松項目中有用性之間的相關性！

Jenna: 卡片使用情況屬於我們搜索小組更大範圍的重點，即引入新的數據源，以便更好地了解卡片的相關性。 因此，使用情況將是一個數據源，以及Nina正在進行的工作，以了解意圖。

一開始，我們知道我們擁有大量有關卡片在各個團隊中的使用方式的數據，我們假設用戶在卡片周圍的行為可以指導搜索的增強。

Nina: 我認為重要的是要注意搜索不僅僅是對關鍵詞進行匹配——它還要了解卡片使用的上下文及使用時間。

Laura: 我們查看卡片使用情況，以幫助我們的用戶在產品的其他區域——例如，你可以查看等待你驗證的“我的任務”中的卡片使用數據。

我們還在整個應用中有流行度分數——這些使用數據點旨在幫助用戶了解對他們的團隊來說，哪些信息是最關鍵的。

將數據引入搜索幫助我們使這成為一個更普遍的體驗。

Jenna: 這也幫助我們確保搜索結果是有用和動態的——例如，可能某個卡片的內容在一年內變化不大，但同時使用量卻會大幅增加。 這可能表示這個卡片對團隊來說變得越來越有用，而搜索結果應該反映這一點。

你能告訴我們這個小組如何決定是否繼續進行變動嗎？

Jenna: 這個小組在我們的方法上是非常實驗性的，並且我們有多種實驗級別。 我們的測試環境與客戶帳戶完全隔離，任何實驗必須“通過”和經歷幾輪測試，然後我們才會考慮將結果發布給客戶。 由於我們的實驗設置，我們能夠非常快速地測試變更，並對最終部署到我們客戶上的變更更有信心。

Nina: 我還要補充的是，所有這些實驗都是以數據為驅動的。 我們將同時進行幾個變更的多次試驗，然後利用數據來了解哪一個對結果的影響最有意圖。 例如，我們最近進行了一次有110個不同程度的實驗的衝刺，其中有2個藉由結果我們決定繼續進行。 有時需要數十次實驗來決定一項變更，有時更長。

Laura: 我們所有的指標都集中在讓最相關的結果盡可能高地顯示在結果列表上。 但是，由於我們客戶團隊的多樣性及其帳戶中的內容，我們必須通過這嚴格的測試來確保我們的所有客戶都能看到積極的結果。

Jenna: 我們進行的每一項實驗都會模擬成千上萬的搜索，這讓我們能夠模擬我們所需的搜索量，以自信地說出，變更將對所有客戶產生正面的影響。

當我們對用戶推出變更時，我們如何衡量這些變更在幫助他們找到所需內容的成功？

Laura: 我們監控搜索對客戶的表現的最主要方式之一是觀察一組指標。 有一些行業標準的搜索指標，主要圍繞精度和召回率，我們用來獲取一個全面的情況。 這些公式幫助我們衡量我們是否正在返回相關內容，以及搜索者是否能輕鬆地在結果列表中找到他們所需的內容（即，它接近於列表的頂部）。 然後，我們會查看更具針對性的指標，以顯示不同類型搜索的表現。 因此，我們將查看提議的變更如何影響這些指標，然後作為滯後指標，收集客戶反饋。 根據變更，我們可能會或可能不會期望（並獲得）大量客戶反饋，但預期的是，他們會感受到變更的影響，能更快速、更少阻礙地找到他們需要的內容。

Jenna: 我們基本上試圖回答兩個問題：一個是，是否有顯示有用卡片的？ 而第二個是，是否避免展示不相關的卡片？ 我們評估影響的另一種方式是查看用戶在呈現結果後的行為——他們是否再次搜索？ 查看更多卡片？ 這提供了對於他們結果成功的有幫助的洞見。

我們將以我最喜歡的問題結束——Guru的搜索接下來會如何發展？

Laura: 持續改進！ 我會想到與搜索有關的兩個主要領域——算法和搜索過程的用戶體驗。 現在，我們更專注於算法，但我們認為這兩個方面都是重要的。

從長遠來看，我們希望在搜索中融入更多上下文——包括根據所屬團隊用戶的預期使用情況、他們如何與其他卡片互動等等——以提供更個性化的搜索體驗。

Nina: 我們還希望利用機器學習來理解用戶搜索背後的意圖。 有時，實際輸入的內容與用戶所尋求的內容存在差距。 例如，用戶可能會搜索“銷售補償”，而相關的卡片使用的是“佣金”這個術語，因此我們將努力利用機器學習來填補這些差距。

Jenna: 最終，所有這個在測試的基礎上進行。 在我們測試所有這些潛在變更時，我們可以自信地說，絕不會推出任何未能在我們的實驗框架中證明改進的變更。