Ми завжди працюємо над поліпшенням досвіду наших користувачів з Guru, починаючи з того, як знання створюються в нашому редакторі і закінчуючи тим, як їх ділять через Slack, Teams та інші. Однією з областей, яка займає особливе місце в нашій команді, є наші функції пошуку, які є основою того, як наша платформа використовується для пошуку та обміну знаннями. На минулому листопаді ми поділилися поглядом на те, як ми використовуємо дані продукту для покращення пошуку в Guru. З тих пір ми не зупинялися, вносячи покращення в наш інтерфейс пошуку в нашому веб-додатку та розширенні браузера, а також безпосередньо в наш алгоритм. Сьогодні ми заглибимося в сесію питань та відповідей з двома учасниками нашої команди з пошуку, щоб краще зрозуміти, як ми гарантуємо, що пошук у Guru завжди покращується.

Дякуємо, що приєдналися до нас, Нора та Єв! Чи можете ви представитися і розповісти трохи про те, що ви робите в Guru?

Нора: Дякуємо, що запросили нас! Мене звати Нора Вест, я старший менеджер продукту для команд пошуку та авторства в Guru.

Єв: Дякую, Сідні! Мене звати Єв Мейер, я штатний науковець-даних у Guru.

Щоб почати, я хотів би запитати трохи про нашу команду з пошуку («под») тут, у Guru. Багато людей, можливо, навіть не знають, що у нас є ціла команда, яка спеціалізується на досвіді пошуку — чи можете ви розповісти трохи про команду?

Єв: Наша команда пошуку — це міжфункціональна команда, яка повністю присвячена одній задачі — забезпеченню безперервного досвіду пошуку для наших клієнтів. Команда пошуку об'єднує дизайнерів, розробників фронтенду, бекенд-інженерів, архітекторів, науковців-даних, інженерів з машинного навчання та менеджерів продукту для планування та виконання збалансованого та обґрунтованого підходу до розширення наших можливостей пошуку.

Нора: Так, саме так. У незалежності від наших точних назв, ми працюємо разом як команда, щоб створити вражаючий досвід пошуку, зосереджуючи увагу на зовнішньому дизайні пошуку та внутрішній функції алгоритму. Я допомагаю пріоритизувати нашу роботу на основі зворотного зв'язку, який ми отримуємо, цілей компанії та актуальних ринкових інсайтів.

Єв: Я допомагаю команді втілювати обробку природної мови (NLP) та машинне навчання (ML) загалом у всі аспекти пошуку. Я також допомагаю команді визначити нашу стратегію експериментів, яка уважно балансуватиме зворотний зв'язок від клієнтів, метрики продуктивності пошуку та інсайти команди/технології.

Пошук — це не те, про що люди багато думають, але це основна функціональність таких інструментів, як Guru. Чи можете ви дати нам базовий огляд того, як працює пошук Guru?

Єв: Пошук не лише неймовірно важливий, але відповідно навіть до самого Google, це не розв'язана проблема, і це надзвичайно важко. Хоча більшість людей не думають про пошук у програмних продуктах (оскільки вони звикли до "гугління"), за лаштунками відбувається багато чого. Від розуміння запиту на пошук (наприклад, виведення наміру, вилучення семантичного значення, виправлення орфографічних помилок, переписування запиту, використовуючи синоніми або інші підходи для кращого відображення наміру тощо) до включення контексту пошуку, до отримання і ранжування результатів, все в масштабах — це складна та цікава проблема. Guru базується на новаторській роботі в пошуку командами, що стоять за проектами з відкритим кодом Lucene, Solr і Elasticsearch, а також командами в таких компаніях, як Lucidworks, Elastic, Google та AWS, щоб забезпечити максимальну актуальність знань для наших користувачів.

Які індикатори ви розглядаєте, щоб визначити, наскільки "добре" працює наш пошук? Як ви визначаєте можливості для покращення та/або вдосконалення пошуку в Guru?

Єв: Ми розглядаємо як якісні, так і кількісні індикатори. З кількісного боку, ми витратили багато часу на створення відстеження подій у продукті, щоб ми могли відстежувати дані про взаємодію користувачів з продуктом. Дивлячись на ці дані взаємодії, ми можемо досить точно виміряти, наскільки добре працює пошук. Чи повертаємо ми релевантні результати? Чи взаємодіють з ними користувачі? Як? На якій позиції з'являються ці результати, коли з ними взаємодіюють користувачі? Окрім точності, середньої точності (MAP) та інших метрик, які зазвичай використовуються для відповіді на ці питання, ми також розглядаємо незадоволеність користувачів. Чи шукають люди щось інше, не взаємодіючи з результатами пошуку? Чи переформулюють вони свої запити на пошук? Це лише кілька загальних прикладів, і кожне питання можна детальніше розглянути в окремій частині продукту, в конкретному контексті, інтеграції тощо.

Нора: Як сказав Єв, дані дають нам неймовірне уявлення про дії наших користувачів, що дозволяє нам вимірювати продуктивність пошуку з часом. З цими уявленнями, ми можемо оптимізувати дії, які ми спостерігаємо, що користувачі постійно беруть, і допомогти там, де ми бачимо погані результати. Наприклад, ми побачили, що запити користувачів часто включали слова, які є в назві картки, яку вони шукають, тому ми впровадили швидкий пошук за назвами, щоб допомогти їм швидше знаходити ці картки. Зараз ми зосереджуємо зусилля на покращенні продуктивності для довгих пошуків. Дані також допомагають нам підтвердити зміни перед їх впровадженням у продукт. З нашими тестуваннями ми можемо побачити, чи покращать запропоновані зміни алгоритму результати до того, як вони будуть випущені для клієнтів — щоб ми могли бути впевненими, що будь-яка зміна, яку ми впроваджуємо , покращить досвід пошуку.

Єв: З якісного боку, ми постійно вивчаємо відгуки клієнтів та спілкуємось із клієнтами в реальному часі, коли це можливо, щоб визначити, що працює, а що немає.

Нора: Так, ми спілкуємось з нашими користувачами настільки, наскільки можемо — дані дозволяють нам багато чого вивести, але спілкування з користувачами допомагає зрозуміти мотивацію за їхніми діями. Це допомагає нам перевірити або спростувати тенденції, які ми бачимо в даних. Наприклад, аналізуючи карти, які користувачі постійно використовують, вони часто обмежені кількома колекціями та дошками. Однак, обговорюючи це з користувачами, вони зазвичай не усвідомлюють організаційну структуру своєї команди Guru. Це говорить нам про те, що додаткові організаційні фільтри в пошуку можуть потенційно збільшити недоуміння, а не спростити пошук картки, яку вони шукали.

Здається, зміни в алгоритмі пошуку можуть вплинути на досвід користувачів у знаходженні знань в Guru. Як ви тестуєте потенційні зміни, щоб побачити їх вплив? Як ви приймаєте рішення їх впроваджувати (чи ні)?

Єв: Чудове питання! В Guru ми приймаємо культуру експериментування, і наша неймовірна команда пошуку створила рамки для пошукових випробувань, які дозволяють нам швидко відтворювати запити пошуку для тестування багатьох ідей, не впливаючи на функціональність живого пошуку. Після аналізу даних і підтвердження, що перевірена гіпотеза справді призводить до покращення, ми проводимо обмежене живе тестування прямо в продукті для невеликої підгрупи команд та користувачів. Якщо цей тест пройде, ми впроваджуємо зміни для наших клієнтів.

Дякую вам обом за те, що поділилися цим з нами сьогодні! Перш ніж ми йдемо, чи можете ви розповісти, що далі для пошуку Guru?

Єв: Багато покращень!

Нора: Так, багато покращень попереду. Цього кварталу ми зосередилися на покращенні досвіду пошуку для довгих запитів, а цього року ми оптимізуємо покращення алгоритмів. Ми також оновили наші системи, щоб прискорити тестування та випуск змін для наших користувачів.

Щоб бути в курсі постійних покращень у функціональності пошуку Guru, підписуйтеся на наш блог і стежте за майбутніми релізами функцій.