我們一直努力增強和改善用戶在Guru上的體驗，從我們編輯器中知識的產生方式到如何通過Slack、Teams及其他方式分享知識。 我們團隊心中有個特殊位置的區域就是我們的搜索功能，這是我們的平台用來尋找和分享知識的核心。 去年的11月，我們分享了一瞥我們如何利用產品數據改善Guru內的搜索。 自那以來，我們沒有放慢腳步，持續對我們的網絡應用和瀏覽器擴展中的搜索界面以及我們的算法進行逐步改進。 今天，我們將深入了解Q&A會話，與我們專注的搜索團隊的兩名成員一起，更好地了解我們如何確保Guru的搜索不斷改進。

謝謝你們來加入我們，Nora和Yev！ 你們能介紹一下自己，告訴我們在Guru中的工作嗎？

Nora: 感謝你們的邀請！ 我叫Nora West，是Guru的搜索和創作團隊的高級產品經理。

Yev: 謝謝，Sydney。 我叫Yev Meyer，是Guru的數據科學專家。

讓我們開始，我想問關於Guru的搜索團隊（“小組”）一些事情。 很多人甚至不知道我們有一個整個團隊專注於搜索體驗——你能告訴我們一些關於這個團隊的事嗎？

Yev: 我們的搜索小組是一個跨職能團隊，完全專注於為我們的客戶提供無縫的搜索體驗。 搜索小組集合了設計師、前端開發人員、後端工程師、架構師、數據科學家、機器學習工程師和產品經理，以計劃和執行平衡且合理的方法來增強我們的搜索能力。

Nora: 是的，正是如此。 不論我們的具體職稱如何，我們作為一個團隊一起工作，以創造出優秀的搜索體驗，專注於搜索的外部設計和內部算法功能。 我幫助根據我們所看到的反饋、公司目標和相關市場洞察來確定我們的工作優先順序。

Yev: 我幫助團隊將自然語言處理（NLP）和更一般的機器學習（ML）注入搜索的各個方面。 我還協助團隊制定實驗策略，以平衡客戶反饋、搜索性能指標及團隊/技術洞察。

搜索並不是人們會多加考慮的問題，但它是像Guru這樣的工具的核心功能。 你能給我們一個Guru搜索工作原理的基本概述嗎？

Yev: 不僅搜索極其重要，根據Google自己的說法，這仍然是一個未解決的問題，而且是極其艱難的。 雖然大多數人對搜索在軟件產品中的作用不太關心（因為他們習慣於“谷歌”），但在背後發生的事情卻很多。 從理解搜索查詢（例如，推斷意圖、提取語義、糾正拼寫錯誤、使用同義詞或其他方法重新書寫查詢以更好地捕捉意圖等），再到整合搜索上下文、檢索和排名結果，所有這些都要在規模上進行——這是一個艱難而有趣的問題。 Guru建立在Lucene、Solr和Elasticsearch開源項目團隊的突破性工作之上，還有Lucidworks、Elastic、Google和AWS等公司的團隊，以確保我們向用戶展示最相關的知識。

你們會查看哪些指標來判斷我們的搜索表現得如何？ 你們如何識別在Guru中改進和/或增強搜索的機會？

Yev: 我們查看定性和定量指標。 在定量方面，我們花了很多時間在產品中建設事件跟蹤，以便追踪用戶和產品之間的互動數據。 通過查看這些互動數據，我們能夠相當精確地衡量搜索的表現如何。 我們是否返回了相關的結果？ 用戶是否與它們互動？ 怎麼樣？ 這些結果在用戶互動時出現在哪個位置？ 除了召回率、平均精度（MAP）和通常用於回答這些問題的其他指標外，我們還關注用戶挫敗感。 人們是否在搜索其他東西，而不與搜索結果互動？ 他們是否重新構建自己的搜索查詢？ 這些只是一小部分常見例子，每個問題都可以進一步細化到產品的特定部分、特定上下文、集成等。

Nora: 正如Yev所說，數據為我們提供了對用戶正在進行的操作的驚人洞察，使我們能夠隨著時間的推移測量搜索性能。 通過這些洞察，我們可以優化用戶持續進行的行動，並幫助他們在結果不佳的地方。 例如，我們發現用戶的查詢通常包含他們正在尋找的卡片的標題中的單詞，因此我們引入了快速標題搜索來幫助他們更快地找到這些卡片。 現在，我們正致力於改善長搜索的性能。 數據還幫助我們在將更改引入產品之前確認變更。 通過我們的測試，我們可以看到建議的算法變更能否在變更推向客戶之前改善結果——以便我們可以確保任何我們做出的變更都會改善搜索體驗。

Yev: 在定性方面，我們不斷檢查客戶反饋，盡可能與客戶實時交談，以確定什麼有效，什麼無效。

Nora: 是的，我們盡可能多地與用戶交談——數據使我們能夠推斷出很多，但與用戶交談幫助我們了解行動背後的動機。 這幫助我們驗證或駁斥我們在數據中所看到的趨勢。 例如，當查看用戶持續使用的卡片時，它們通常限於幾個集合和板塊。 然而，當我們與用戶討論時，他們通常並不知道他們Guru團隊的組織結構。 這告訴我們，搜索中的額外組織過濾器可能會使困惑增加，而不是使他們更容易找到他們正在尋找的卡片。

看起來搜索算法的變更會影響用戶在Guru中尋找知識的體驗。 你們怎麼測試潛在變更以了解它們會帶來什麼影響？ 你們怎麼決定是否將其上線（或不）？

Yev: 好問題！ 在Guru，我們接受實驗的文化，我們了不起的搜索小組建立了搜索試驗框架，讓我們能快速重播搜索查詢，測試許多想法而不會影響實時搜索功能。 一旦我們分析數據並確認測試的假設確實會導致改善，我們會為一小部分團隊和用戶在產品中進行有限的實時測試。 如果該測試通過，我們將向客戶推廣這一變更。

謝謝你們今天分享所有這些！ 在我們離開之前，你們能告訴我們Guru的搜索接下來的計劃嗎？

Yev: 大量改進！

Nora: 是的，還有很多改進在前方。 本季度，我們專注於改善長搜索的體驗，今年我們將針對算法改進進行優化。 我們還升級了我們的系統，以提高我們能夠測試和推出變更的速度。

要隨時了解Guru搜索功能的迭代改進，可以訂閱我們的博客並關注即將推出的功能發佈。