Мы всегда работаем над улучшением опыта наших пользователей с Guru, начиная с того, как создаются знания в нашем редакторе, и заканчивая тем, как они делятся через Slack, Teams и другие сервисы. Одной из областей, которая занимает особое место в сердце нашей команды, является наша функция поиска, которая является основой того, как наша платформа используется для поиска и обмена знаниями. В прошлом ноябре мы поделились взглядом на то, как мы используем данные о продукте для улучшения поиска в Guru. С тех пор мы не замедлили темп, постепенно улучшая наш интерфейс поиска в веб-приложении и браузерном расширении, а также напрямую в нашем алгоритме. Сегодня мы проведем сессию вопросов и ответов с двумя членами нашей преданной команды поиска, чтобы лучше понять, как мы обеспечиваем постоянное улучшение поиска в Guru.

Спасибо, что присоединились к нам, Нора и Евгений! Не могли бы вы представиться и рассказать немного о том, чем вы занимаетесь в Guru?

Нора: Спасибо, что пригласили нас! Меня зовут Нора Уэст, и я старший менеджер продукта для команд поиска и авторинга в Guru.

Евгений: Спасибо, Сидни. Меня зовут Евгений Мейер, и я сотрудник-ученый данных в Guru.

Для начала, я хотел бы спросить немного о нашей команде поиска ("под") здесь, в Guru. Многие люди, возможно, даже не знают, что у нас есть целая команда, посвященная поисковому опыту — не могли бы вы рассказать немного о команде?

Евгений: Наша команда поиска — это межфункциональная команда, полностью посвященная одной задаче — обеспечению бесшовного поискового опыта для наших клиентов. Команда поиска объединяет дизайнеров, фронтенд-разработчиков, бэкенд-инженеров, архитекторов, ученых данных, инженеров машинного обучения и менеджеров продуктов для планирования и реализации сбалансированного и обоснованного подхода к улучшению наших поисковых возможностей.

Нора: Да, именно так. Независимо от наших точных должностей, мы работаем вместе как команда, создавая удивительный поисковый опыт, сосредотачиваясь как на внешнем дизайне поиска, так и на внутренней функции алгоритма. Я помогаю приоритизировать нашу работу на основе получаемой обратной связи, целей компании и актуальных рыночных данных.

Евгений: Я помогаю команде внедрять обработку естественного языка (NLP) и машинное обучение (ML) в целом во все аспекты поиска. Я также помогаю команде определить нашу стратегию экспериментов, которая осторожно балансирует обратную связь от клиентов, метрики производительности поиска и идеи команды/технологий.

Поиск не является чем-то, о чем люди задумываются, но это основная функция таких инструментов, как Guru. Не могли бы вы дать нам базовый обзор того, как работает поиск в Guru?

Евгений: Поиск не только невероятно важен, но и, по словам даже самого Google, это не решенная проблема, и это очень сложно. Хотя большинство людей не задумываются о поиске в программных продуктах (поскольку они настолько привыкли к "гуглению" всего), за кулисами происходит много событий. От понимания поискового запроса (например, выведения намерения, извлечения семантического значения, исправления орфографических ошибок, переписывания запроса с использованием синонимов или других подходов для лучшего отражения намерения и т.д.) до учета контекста поиска, извлечения и ранжирования результатов, всего в масштабе — это трудная и интересная задача. Guru основывается на новаторской работе в поиске, выполненной командами, стоящими за проектами с открытым исходным кодом Lucene, Solr и Elasticsearch, а также командами в таких компаниях, как Lucidworks, Elastic, Google и AWS, чтобы гарантировать, что мы предоставляем наиболее актуальные знания нашим пользователям.

Какие показатели вы смотрите, чтобы определить, насколько "хорошо" работает наш поиск? Как вы выявляете возможности улучшить и/или улучшить поиск в Guru?

Евгений: Мы смотрим как на качественные, так и на количественные показатели. С точки зрения количественных показателей, мы потратили много времени на внедрение отслеживания событий в продукт, чтобы мы могли отслеживать данные о взаимодействии пользователей с продуктом. Смотрев на эти данные о взаимодействии, мы можем довольно точно измерить, насколько хорошо работает поиск. Возвращаем ли мы релевантные результаты? Взаимодействуют ли с ними пользователи? Как? В каком положении эти результаты появляются, когда пользователи взаимодействуют с ними? Помимо полноты, средней точности (MAP) и других метрик, которые обычно используются для ответа на эти вопросы, мы также смотрим на разочарование пользователей. Ищут ли люди что-то другое, не взаимодействуя с результатами поиска? Переформулируют ли они свои поисковые запросы? Это всего лишь несколько общих примеров, и каждый вопрос можно дополнительно уточнить для конкретной части продукта, конкретного контекста, интеграции и т.д.

Нора: Как и сказал Евгений, данные дают нам невероятные идеи о действиях наших пользователей, что позволяет нам измерять производительность поиска с течением времени. С помощью этих идей мы можем оптимизировать действия, которые мы видим, что пользователи продолжают совершать, и помогать там, где мы видим плохие результаты. Например, мы заметили, что запросы пользователей часто включают слова, которые присутствуют в названии Карты, которую они ищут, поэтому мы ввели быстрый поиск по заголовкам, чтобы помочь им быстрее находить эти Карты. Сейчас мы сосредоточены на улучшении производительности для более длинных поисков. Данные также помогают нам подтвердить изменения перед тем, как они попадают в продукт. С помощью нашего тестирования мы можем увидеть, улучшат ли предложенные изменения алгоритма результаты, прежде чем они будут выпущены клиентам — так мы можем быть уверены, что любое изменение, которое мы выпускаем, улучшает поисковый опыт.

Евгений: С точки зрения качественных показателей мы постоянно изучаем отзывы клиентов и обсуждаем с ними в реальном времени, когда это возможно, чтобы определить, что работает, а что нет.

Нора: Да, мы общаемся с нашими пользователями так часто, как можем — данные позволяют нам делать множество выводов, но разговор с пользователями помогает понять мотивацию, стоящую за действиями. Это помогает нам проверить или опровергнуть тренды, которые мы наблюдаем в данных. Например, когда мы смотрим на Карты, которые пользователи постоянно используют, они часто ограничены несколькими Коллекциями и Досками. Однако, когда мы обсуждаем это с пользователями, они обычно не осознают организационную структуру своей команды Guru. Это говорит о том, что дополнительные организационные фильтры в поиске могут потенциально увеличить или затруднить поиск Карты, которую они искали.

Судя по всему, изменения в алгоритмах поиска могут оказать влияние на опыт пользователей в нахождении знаний в Guru. Как вы тестируете возможные изменения, чтобы увидеть их влияние? Как вы решаете, устанавливать их в прямой эфир (или нет)?

Евгений: Отличный вопрос! В Guru мы принимаем культуру экспериментов, и наша замечательная команда поиска разработала фреймворк тестирования поиска, который позволяет нам быстро воспроизводить поисковые запросы для тестирования множества идей без воздействия на функциональность живого поиска. Как только мы проанализируем данные и подтвердим, что протестированная гипотеза действительно приводит к улучшению, мы проводим ограниченное живое тестирование непосредственно в продукте для небольшой группы команд и пользователей. Если этот тест проходит, мы разворачиваем изменения для наших клиентов.

Спасибо вам обоим за то, что поделились всем этим с нами сегодня! Перед тем как уйти, не могли бы вы рассказать, что дальше ждет поиск в Guru?

Евгений: Масса улучшений!

Нора: Да, много улучшений впереди. В этом квартале мы сосредоточили усилия на улучшении поискового опыта для более длинных поисков, а в этом году мы оптимизируем улучшения алгоритма. Мы также обновили наши системы, чтобы увеличить скорость, с которой мы можем тестировать и выпускать изменения нашим пользователям.

Чтобы быть в курсе итеративных улучшений функциональности поиска Guru, подпишитесь на наш блог и следите за предстоящими выпусками функций.