Посмотрите любой из блога запусков продукта Guru блогов, и вы заметите повторяющуюся тему: улучшение поиска для наших клиентов. И не без причины — с командой поиска из научных сотрудников, менеджеров по продукту и инженеров, поиск и доступность знаний в Guru всегда тестируются и улучшаются. Как и у любой технологической компании с функционалом поиска, это основополагающая часть Guru, которую мы всегда будем стремиться улучшать и совершенствовать. Хотя улучшения поиска могут быть не так «громко», как изменения интерфейса, улучшения ИИ или новые функции, они определенно все равно оказывают значительное влияние — и существенно улучшают опыт пользователя с нашим продуктом. Сегодня мы общаемся с нашей командой поиска, чтобы узнать, над чем они работали в последние несколько месяцев.

Спасибо вам троим, что joined вас сегодня! Чтобы начать, можете рассказать немного о себе и о том, чем вы занимаетесь в команде поиска Guru?

Нина: Я научный сотрудник в команде поиска, так что я сосредоточена на том, чтобы выяснить, какие методы машинного обучения мы можем использовать для улучшения поиска. В последнее время я сосредотачивалась на том, как мы можем включить способ Карточек (формат, в котором информация документирована в Guru) используется (просмотр, копирование ссылки или контента, добавление в избранное) в наш алгоритм поиска, и в дальнейшем я буду изучать, как мы можем лучше понять намерения пользователей во время поиска, чтобы обеспечить наиболее актуальные карточки.

Лора: Я менеджер по продукту в команде поиска, так что я провожу много времени с нашими клиентами, чтобы получить их отзывы и понять, что для них наиболее полезно и важно. Затем я возвращаю это команде, чтобы мы могли принимать решения о том, как улучшить и развивать поиск со временем. Я планирую наши краткосрочные, среднесрочные и долгосрочные цели, чтобы мы могли постоянно улучшать несколько аспектов поиска.

Дженна: Я также научный сотрудник в команде поиска и сосредотачиваюсь на нашем алгоритме. Сейчас я сосредоточена на наших внутренних инструментах, которые позволяют нам экспериментировать с различными изменениями алгоритма и понимая, как они могут повлиять на результаты поиска для наших клиентов. Я также занимаюсь анализом данных, чтобы сравнить, как наш поиск сейчас работает по сравнению с потенциальными изменениями.

В последний раз, когда мы общались с командой поиска, мы говорили о предстоящих изменениях в нашем алгоритме и о том, как мы тестируем улучшения поиска. Можете ли рассказать немного о том, как проходит эта работа?

Лора: Наши недавние изменения были связаны с учетом использования карточек как еще одного фактора для поиска самых актуальных и полезных результатов.

Нина: Идея возникла из желания понять, как данные о популярности карточек могут повлиять на работу ИИ в Guru в целом. Прежде чем применять эти вопросы к поиску в частности, мы исследовали, как «популярность» карточек коррелирует с их полезностью в проекте хакатона!

Дженна: Использование карточек является частью нашего общего внимания в команде поиска на привлечение новых источников данных, которые могут помочь нам понять актуальность карточек. Таким образом, использование будет дополнительным источником данных, как и работа Нины по пониманию намерения.

В начале мы знали, что у нас есть много данных о том, как карточки использовались командами, и мы предположили, что поведение пользователей по карточкам могло бы помочь в улучшении поиска.

Нина: Я думаю, важно отметить, что поиск не просто сопоставляет ключевые термины — это также понимание контекста того, где и когда карточки используются.

Лора: Мы смотрим на использование карточек, чтобы помочь нашим пользователям в других областях продукта — например, вы можете видеть данные о использовании карточек, ожидающих вашей проверки в «Мои задачи».

У нас также есть оценки популярности по всему приложению — эти данные о пользе предназначены для того, чтобы помочь пользователям понять, какая информация критически важна для их команды.

Привлечение этих данных в поиск помогает нам сделать его более универсальным.

Дженна: Это также помогает нам убедиться, что результаты поиска полезны и динамичны — например, возможно, содержание карточки не изменяется сильно в течение года, но использование резко возрастает за тот же период времени. Это может свидетельствовать о том, что карточка становится все более полезной для команды, и результаты поиска должны это отражать.

Можете рассказать, как команда принимает решения о том, стоит ли продолжать изменения?

Дженна: Наша команда очень экспериментальна в нашем подходе, и у нас есть различные уровни для экспериментов. Наши тестовые среды полностью изолированы от учетных записей клиентов, и есть несколько раундов тестирования, которые эксперимент должен «пройти», прежде чем мы вообще подумаем о выпуске изменений для наших клиентов. Благодаря нашей экспериментальной настройке мы можем действительно быстро тестировать изменения и быть более уверенными в тех изменениях, которые мы в конечном итоге развертываем для наших клиентов.

Нина: Я также добавлю, что все эти эксперименты очень ориентированы на данные. Мы будем работать над несколькими пробами изменения одновременно и затем использовать данные, чтобы понять, какая из них имела наилучший ожидаемый эффект на результаты. Например, недавно мы провели спринт с 110 экспериментами различной степени детализации и сложности — 2 из которых мы в конечном итоге решили продолжить, основываясь на результатах. Иногда для принятия решения о изменении требуется десятки экспериментов, иногда больше.

Лора: Все наши метрики сосредоточены на том, чтобы самые релевантные результаты были как можно выше в списке результатов. Но из-за разнообразия наших клиентских команд и контента в их учетных записях, нам необходимо пройти через это строгие тестирование, чтобы гарантировать, что мы увидим положительные результаты в нашей базе клиентов.

Дженна: Каждый эксперимент, который мы проводим, имитирует сотни тысяч поисков, что позволяет нам имитировать необходимый объем поиска, чтобы с уверенностью сказать, что изменение положительно повлияет на всех клиентов.

После того, как мы внедрим изменения нашим пользователям, как мы измеряем их успех в том, что им необходимо найти?

Лора: Один из лучших способов, который мы следим за тем, как поиск работает для клиентов — это наблюдение за набором метрик, которые мы собрали. Существует множество стандартизированных метрик для поиска, которые сосредоточены на точности и полноте, которые мы используем для получения общей картины того, как идут дела. Это формулы, которые помогают нам измерять, возвращаем ли мы релевантный контент и легко ли искателям найти то, что им нужно в списке результатов (т.е. он находится в верхней части). Затем мы смотрим на более целевые метрики, которые показывают, как идут дела для различных типов поисков. Таким образом, мы будем смотреть, как предложенное изменение влияет на эти метрики, а затем как отстающий индикатор — отзывы клиентов. В зависимости от изменения, мы можем ожидать (и получить) много отзывов клиентов, но ожидание заключается в том, что они чувствуют влияние изменений, имея возможность быстрее находить то, что им нужно, и с меньшими препятствиями.

Дженна: Мы в основном пытаемся ответить на два вопроса: во-первых, обеспечиваем ли мы полезные карточки? И второе, избегаем ли мы появления нерелевантных карточек? Еще один способ, которым мы оцениваем влияние, это посмотреть на поведение пользователя после того, как их результаты были показаны — ищут ли они снова? Смотрят больше карточек? Это дает полезные сведения о том, насколько успешными были их результаты.

Мы закончим на моем любимом вопросе — что дальше для поиска Guru?

Лора: Непрерывное улучшение! Я думаю о двух основных направлениях, над которыми мы работаем в области поиска — алгоритм и пользовательский опыт процесса поиска. Сейчас мы больше сосредоточены на алгоритме, но оба аспекта считаются важными.

В долгосрочной перспективе мы хотим интегрировать больше контекста в поиск — включая предполагаемое использование пользователя на основе того, в какой команде он находится, как он взаимодействует с другими карточками и т.д. — чтобы предоставить более персонализированный опыт поиска.

Нина: Мы также хотим использовать машинное обучение, чтобы понять намерения пользователя за их поиском. Иногда существует разрыв между тем, что пользователь фактически вводит и тем, что они ищут. Например, пользователь может искать «компенсация за продажи», в то время как соответствующая карточка использует термин «комиссия», и мы будем работать над тем, чтобы использовать машинное обучение для устранения этих пробелов.

Дженна: В конечном итоге все это связано с тестированием. Поскольку мы тестируем все эти возможные изменения, мы можем с уверенностью сказать, что никогда не введем ничего, что не будет демонстрировать улучшения в рамках нашего эксперимента.