Guruの製品の発売ブログ記事をチェックしてみてください。 recurrent theme: お客様の検索体験の向上。 そして、その理由は明らかです — データサイエンティスト、プロダクトマネージャー、エンジニアからなる専属の検索チームがいるため、Guruにおける検索と知識の発見は常にテストされ、改善されています。 検索機能を持つ技術企業であれば、Guruの基本的な部分であり、常に洗練し続けていきます。 検索の改善はUIの変更、AIの強化、新機能ほど「派手」ではないかもしれませんが、確実にインパクトを与え、我々の製品を使うユーザーの体験を大幅に向上させます。 今日は、私たちの検索チームと過去数ヶ月間取り組んできた内容を話し合っています。

今日は三人が参加してくれてありがとう！ まず最初に、自己紹介とGuruのSearch Podでの役割について少し教えてください。

ニナ: 私は検索ポッドのデータサイエンティストで、検索を改善するためにどの機械学習の方法を実験できるかを考えています。 最近は、カード（Guruで情報が文書化されている形式）の使用方法（閲覧、リンクやコンテンツのコピー、お気に入り追加）を検索アルゴリズムに組み込む方法に注力しており、今後は、ユーザーの検索意図をより良く理解する方法を模索して、最も関連性の高いカードを提供できるようにしています。

ローラ: 私は検索ポッドのプロダクトマネージャーで、顧客に多くの時間を費やしてフィードバックを得て、彼らにとって最も役立つこと、重要なことを理解しています。 そして、私はこれをチームに持ち帰り、検索を時間の経過とともに改善し進化させる方法についての決定を下すことができます。 私は短期、中期、長期の目標を計画し、検索の複数の側面を継続的に改善できるようにしています。

ジェナ: 私も検索ポッドのデータサイエンティストで、特にアルゴリズムに注力しています。 今は、異なるアルゴリズムの調整を試すための内部ツールを使って、顧客のための検索結果にどのように影響を与えるかを理解することに取り組んでいます。 また、検索が現在どのように機能しているかと、潜在的な変更を加えた場合にどのように機能するかを比較するためのデータ分析も行っています。

最後に私たちが追いついた時、検索ポッドとの会話でアルゴリズムの今後の変更と、検索の改善をテストする方法について話しました。 その作業がどのように進んでいるか教えてもらえますか？

ローラ: 最近の変更は、カードの使用を最も関連性の高い便利な結果を見つけるための別の要因として考慮することに関連しています。

ニナ: このアイデアは、カードの使用データがGuruのAIの作業にどのように影響するかを理解したいという欲求から生まれました。 これらの質問を特定の検索に適用する前に、カードの「人気」が役立ち具合と相関関係を持つかどうかをハッカソンプロジェクトで探っていました！

ジェナ: カードの使用は、検索ポッドのユーザーデータとして、カードの関連性を理解するために新しいデータソースを取り入れる大きな焦点の一つです。 使用はデータソースであると同時に、ニナが意図を理解するために行っている作業でもあります。

最初は、Teamsでカードが使用されている方法に関する多くのデータがあることがわかっており、ユーザーのカードに関する行動が検索の改善に役立つと仮定しました。

ニナ: 検索が単にキーワードをマッチングするだけでなく、カードが使用される場所や時間のコンテキストを理解することも重要です。

ローラ: 私たちは他の製品のエリアでユーザーを支援するためにカードの使用を見ています — 例えば、「マイ タスク」であなたの承認を待っているカードの使用データを見ることができます。

アプリ全体で人気スコアも持っています — これらの使用データは、ユーザーがチームにとって最も重要な情報を理解するのに役立つことを目的としています。

そのデータを検索に取り入れることで、より普遍的な体験を提供できるようになります。

ジェナ: これにより、検索結果が役立ち、ダイナミックになることも確実にしています — たとえば、あるカードの内容が1年の間あまり変わらないが、その間に使用が劇的に増加することもあります。 これは、カードがチームにとってますます役立つようになっていることを示していて、検索結果はそれを反映する必要があります。

ポッドが変更を進めるかどうかを判断する基準について教えてもらえますか？

ジェナ: ポッドは非常に実験的なアプローチをとっており、さまざまな実験のレベルがあります。 私たちのテスト環境は顧客アカウントから完全に隔離されており、実験は顧客に変更をリリースすることを検討する前に「通過」しなければならない複数のテストラウンドがあります。 私たちの実験的な設定のおかげで、変更を迅速にテストでき、最終的に顧客に展開する変更に関してより自信を持つことができます。

ニナ: 私は、すべての実験が非常にデータ駆動型であることも付け加えたいです。 我々は、同時に変更の複数のトライアルに取り組み、その後、結果に最も良い影響を与えたものは何かを理解するためにデータを使用します。 たとえば、最近、110件のさまざまな程度の粒度と複雑さの実験でスプリントを実施しました。そのうち、結果に基づいて進めることにしたものが2つありました。 変更を決定するには時には数十の実験が必要になることもあれば、さらに多くの実験が必要になることもあります。

ローラ: 私たちのすべてのメトリクスは、最も関連性の高い結果を結果リストの上位に持ってくることを中心に設計されています。 しかし、顧客チームの多様性とアカウント内のコンテンツがあるため、顧客全体にポジティブな結果を見込むために、この厳密なテストを行う必要があります。

ジェナ: 私たちが実施するすべての実験は、何十万回もの検索をシミュレートし、すべての顧客にポジティブな影響を与える変更を自信を持って言えるようにするための検索ボリュームをシミュレートします。

変更をユーザーに行った後、彼らが必要なものを見つける手助けをしているかどうかをどのように測定しますか？

ローラ: 検索が顧客にどのように機能しているかを監視するための主要な方法の一つは、私たちがまとめた一連のメトリクスを観察することです。 検索における業界標準のメトリクスがいくつかあり、それは精度と再現率に関連し、全体的にどのように進行しているかを把握するために使用します。 これらは、関連性のあるコンテンツを返しているかどうか、そして検索者が結果リスト（つまり、上位にそろっているかどうか）で必要なものを見つけるのが簡単かどうかを測定するのに役立つ数式です。 次に、異なるタイプの検索に対してどのように機能しているかを示すよりターゲットを絞ったメトリクスを確認します。 そこで、提案された変更がそれらのメトリクスにどのように影響を与えるかを確認し、次に顧客のフィードバックをレイギング指標として確認します。 変更に応じて、多くの顧客フィードバックを期待しない可能性もありますが、顧客が必要なものをより迅速かつ摩擦が少なく見つけられることによって、変更の影響を「感じる」ことが期待されます。

ジェナ: 私たちは基本的に2つの質問に答えようとしています：サーフェスが役立つカードであるかどうか？ そして、サーフェスが関係のないカードでないか？ 影響を評価するもう一つの方法は、結果がサーフェスされた後のユーザーの行動をどう見えるかを確認することです — 再検索していますか？ より多くのカードを見ていますか？ これにより、結果の成功についての有益な洞察が提供されます。

私の好きな質問で締めくくりましょう — Guruの検索の次は何ですか？

ローラ: 継続的な改善！ 検索に関して私たちが取り組んでいる主な2つの分野があると考えています — アルゴリズムと検索プロセスのユーザーエクスペリエンスです。 今は、アルゴリズムにより重点を置いていますが、両方の側面が重要であると考えています。

長期的には、検索にもっとコンテキストを取り入れたいと思っています — ユーザーが所属しているチームに基づいて予想される使用法や、他のカードとの相互作用などを含め、よりパーソナライズされた検索体験を提供するために。

ニナ: 私たちはまた、機械学習を使ってユーザーの検索意図を理解したいと考えています。 時には、ユーザーが実際に入力する内容と探している内容の間にギャップが生じることがあります。 たとえば、ユーザーが「販売報酬」と検索しているときに、関連するカードが「コミッション」という用語を使っているかもしれないため、これらのギャップに対処するために機械学習を使っていきます。

ジェナ: 結局のところ、すべてのことにはテストが必要です。 これらのすべての変更をテストすることによって、私たちは、実験の枠組みでの改善を証明しない限り、何も公開することはないという自信を持って言えます。