Guruでのユーザー体験を向上させるため、常に取り組んでいます。知識がエディタで作られる方法から、Slack、Teams、そしてそれ以外の方法で共有されるまで。 私たちのチームが特に重視しているのは、知識を検索し共有するために私たちのプラットフォームがどのように使われるかの中心となる検索機能です。 昨年11月、私たちは、製品データを活用してGuru内の検索を改善する方法についての一端を共有しました。 それ以来、私たちはまったくペースを落とさず、ウェブアプリやブラウザ拡張機能の検索UIの改善、さらにはアルゴリズムへの直接的な改善を行っています。 今日は、私たちの専任の検索チームの2人と対話形式の質問＆答えのセッションを行い、Guruの検索が常に改善されるようにしている方法をよりよく理解します。

一緒にいてくれてありがとう、ノラとイェブ！ 自己紹介をして、Guruでの仕事について少し教えていただけますか？

ノラ：お招きいただきありがとうございます！ 私の名前はノラ・ウェストで、Guruの検索および著作チームのシニアプロダクトマネージャーです。

イェブ：ありがとう、シドニー。 私の名前はイェブ・マイヤーで、Guruのスタッフデータサイエンティストです。

まず始めに、Guruの検索チーム（“ポッド”）についてお話しいただきたいと思います。 多くの人は、私たちが検索体験に完全に専念しているチームを持っていることすら知らないかもしれません—そのチームについて少し教えていただけますか？

イェブ：私たちの検索ポッドは、顧客にシームレスな検索体験を提供するために完全に専念したクロスファンクショナルチームです。 検索ポッドには、設計者、フロントエンド開発者、バックエンドエンジニア、アーキテクト、データサイエンティスト、機械学習エンジニア、プロダクトマネージャーが集まり、私たちの検索機能を強化するためにバランスが取れた確かなアプローチを計画し実行します。

ノラ：はい、その通りです。 私たちは正確な役職に関係なく、外部の検索のデザインと内部のアルゴリズム機能の両方に焦点を当てて、素晴らしい検索体験を作成するためにチームとして協力しています。 私は、私たちが見ているフィードバック、企業目標、および関連する市場の洞察に基づいて、作業の優先順位を決定するのを手伝います。

イェブ：私は、自然言語処理（NLP）および機械学習（ML）をすべての検索の側面に取り入れるのを手伝っています。 私はまた、顧客のフィードバック、検索パフォーマンスメトリック、およびチーム／技術の洞察を慎重にバランスさせる実験戦略を考えるのを手伝っています。

検索は人々があまり考えないことですが、Guruのようなツールのコア機能です。 Guruの検索がどのように機能するかについての基本的な概要を教えていただけますか？

イェブ：検索は非常に重要であるだけでなく、Google自身の意見によれば、未解決の問題です、非常に難しいものです。 ほとんどの人は（「グーグル」したものに慣れているため）、ソフトウェア製品の検索についてあまり考えないが、裏では多くのことが起こっています。 検索クエリを理解すること（例：意図を推測する、意味を抽出する、スペルミスを修正する、意図をよりよく捉えるために同義語や他のアプローチを使用してクエリを再構成するなど）から、検索コンテキストを取り入れ、結果をスケールで取得してランク付けを行うまで、それは困難で興味深い問題です。 Guruは、Lucene、Solr、およびElasticsearchのオープンソースプロジェクトの背後にいるチームだけでなく、Lucidworks、Elastic、Google、AWSなどの企業のチームによる検索に関する画期的な作業の上に構築されています。

「私たちの検索がどれだけ「うまく」機能しているかを判断する際に、どのような指標を見ますか？ Guru内の検索を改善または強化する機会をどのように特定していますか？

イェブ：私たちは定性的および定量的な指標の両方を見ます。 定量的な側面では、ユーザーと製品のインタラクションデータを追跡できるように、製品にイベントトラッキングを多くの時間をかけて組み込みました。 そのインタラクションデータを見て、検索がどれほどうまく機能しているかをかなり正確に測定できます。 私たちは関連性のある結果を返していますか？ ユーザーはそれらと対話していますか？ どうやって？ ユーザーがそれらと対話すると、これらの結果はどの位置に現れますか？ リコールの他にも、平均適合率（MAP）や、通常これらの質問に答えるために使用される他の指標も見ていますが、ユーザーの不満も見ています。 人々は検索結果と対話することなく、他の何かを探していますか？ 彼らは検索クエリを再定義していますか？ これらは一般的な例のいくつかに過ぎず、各質問は特定の製品の部分、特定のコンテキスト、統合などにさらに絞り込むことができます。

ノラ：イェブが述べたように、データは私たちのユーザーが行っている行動について素晴らしい洞察を与えてくれます。それにより私たちは検索パフォーマンスを時間をかけて測定できます。 これらの洞察をもとに、私たちはユーザーが継続的に行っているアクションに最適化し、悪い結果を確認したところで支援できます。 たとえば、ユーザーのクエリには、彼らが探しているカードのタイトルに含まれる単語がしばしば含まれていることがわかったので、彼らがそのカードにより早く到達できるようにクイックタイトル検索を導入しました。 今、私たちは長い検索のパフォーマンスを改善することに焦点を当てています。 データは、私たちが製品に変更をもたらす前に、その変更を確認するのにも役立っています。 テストを通じて、提案されたアルゴリズムの変更が顧客にリリースされる前に結果を改善するかどうかを確認できます—私たちがリリースするあらゆる変更が検索体験を改善することを確認できるのです。

イェブ：定性的な側面では、私たちは常に顧客からのフィードバックを調査し、可能な場合はリアルタイムで顧客と話をして、何が機能しているか、何が機能していないかを判断します。

ノラ：はい、私たちはできる限りユーザーと対話します—データは多くを推測させますが、ユーザーと話すことで行動の背後にある動機を理解できます。 これにより、データで見ているトレンドを検証または反証することができます。 たとえば、ユーザーが一貫して使用しているカードを見てみると、それはしばしばいくつかのコレクションやボードに限定されます。 しかし、ユーザーとこれについて話すと、彼らは通常、自分たちのGuruチームの組織構造について認識していません。 これは、検索に追加の組織フィルターを追加すると、実際には探しているカードを見つけることを容易にするのではなく、混乱を引き起こす可能性があることを示唆しています。

検索アルゴリズムの変更は、Guruにおける知識の発見体験に影響を与える可能性があるようです。 潜在的な変更の影響を確認するために、どのようにテストしますか？ どのようにしてそれを実行する（またはしない）ことを決定しますか？

イェブ：素晴らしい質問です！ Guruでは、実験文化を受け入れ、私たちの素晴らしい検索ポッドは、ライブ検索機能に影響を与えずに、多くのアイデアをすぐにテストするために検索クエリを迅速に再生する検索トライアルフレームワークを構築しました。 一度データを分析し、テストした仮説が改善をもたらすことを確認できたら、次に小さなチームとユーザーのために製品内で制限されたライブテストを行います。 そのテストがクリアすれば、顧客に変更を展開します。

今日はお二人ともこのすべてを共有してくれてありがとうございます！ 私たちは行く前に、Guruの検索の次に何があるか教えてくれますか？

イェブ：たくさんの改善があります！

ノラ：はい、たくさんの改善が待っています。 今四半期は、私たちは長い検索の体験を改善することに焦点を当て、今年はアルゴリズムの改善に最適化しています。 ユーザーへの変更をテストしてリリースするスピードを上げるために、システムをアップグレードしました。

Guruの検索機能の逐次的な改善について最新情報を得るために、ブログを購読し、今後の機能のリリースに注目してください。