Перегляньте будь-який з продуктів Guru блогів про запуски, і ви помітите повторювану тему: покращення пошукового досвіду для наших клієнтів. І не без причин — з командою пошуку, що складається з науковців у сфері даних, менеджерів по продуктах та інженерів, можливості пошуку та відкриття знань у Guru постійно тестуються та покращуються. Як і будь-яка технологічна компанія з функціоналом пошуку, це основна частина Guru, яку ми завжди прагнемо вдосконалювати. Хоча покращення пошуку можуть бути не такими “ефектними”, як зміни інтерфейсу, покращення штучного інтелекту чи нові функції, вони безумовно справляють враження — і значно покращують досвід користувачів з нашим продуктом. Сьогодні ми зустрічаємось з нашою командою пошуку, щоб дізнатися, над чим вони працюють останні кілька місяців.

Дякуємо трьом вам за те, що приєдналися до нас сьогодні! Щоб почати, можете розповісти трохи про себе і про те, що ви робите в пошуковому підрозділі Guru?

Ніна: Я є науковцем у галузі даних у пошуковому підрозділі, тому я зосереджуюсь на тому, які методи машинного навчання ми можемо експериментувати, щоб покращити пошук. Останнім часом я зосереджувалась на тому, як ми можемо включити використання Карток (формат, в якому інформація документується з Guru) у наш алгоритм пошуку, і в подальшому я буду шукати способи кращого розуміння наміру користувача під час пошуку, щоб забезпечити найбільш релевантні Картки.

Лаура: Я є менеджером продукту для пошукового підрозділу, тому я багато часу проводжу з нашими клієнтами, щоб отримати їхній відгук і зрозуміти, що є найбільш корисним і важливим для них. Потім я повертаю це команді, щоб ми могли ухвалювати рішення про те, як покращити та розвивати пошук з часом. Я планую наші короткострокові, середньострокові та довгострокові цілі, щоб ми могли постійно впроваджувати покращення в різних аспектах пошуку.

Дженна: Я також є науковцем у даних у пошуковому підрозділі, і я зосереджуюсь на нашому алгоритмі зокрема. Зараз я зосереджуюсь на нашій внутрішній інструментації, яка дозволяє нам експериментувати з різними налаштуваннями алгоритму та зрозуміти, як вони можуть вплинути на результати пошуку для наших клієнтів. Я також займаюся аналізом даних, щоб порівняти, як наш пошук наразі працює в порівнянні з тим, як він міг би працювати з потенційними змінами.

Останній раз, коли ми зустрілися з пошуковим підрозділом, ми говорили про майбутні зміни в нашому алгоритмі та способи тестування покращень пошуку. Можете розповісти трохи про те, як проходить ця робота?

Лаура: Наші недавні зміни стосувалися врахування використання Карт як ще одного фактора для знаходження найбільш релевантних і корисних результатів.

Ніна: Ідея виникла з бажання зрозуміти, як дані про використання Карт можуть вплинути на роботу штучного інтелекту в Guru в цілому. Перш ніж застосовувати ці питання до пошуку безпосередньо, ми вивчали, як “популярність” Карт корелює з корисністю в проекті на хакатоні!

Дженна: Використання Карт належить до нашого більшого фокусу на пошуковому підрозділі, щоб підключити нові джерела даних, які можуть допомогти нам зрозуміти релевантність Карт. Отже, використання буде джерелом даних, так само як і робота Ніни по розумінню наміру.

На початку ми знали, що маємо багато даних про те, як Картки використовуються в командах, і ми припускали, що поведінка користувачів щодо Карт може вплинути на покращення пошуку.

Ніна: Я думаю, що важливо зазначити, що пошук — це не просто співзвучність ключових термінів — це також розуміння контексту, в якому і коли Картки використовуються.

Лаура: Ми дивимося на використання Карт, щоб допомогти нашим користувачам у інших областях продукту — наприклад, ви можете бачити дані про використання Карток, які чекають на вашу перевірку в “Мої завдання”.

У нас також є оцінки популярності по всьому додатку — ці точки даних про використання призначені для того, щоб допомогти користувачам зрозуміти, яка інформація є найбільш критичною для їхньої команди.

Включення цих даних у пошук допомагає нам зробити його більш універсальним досвідом.

Дженна: Це також допомагає нам впевнитися в тому, що результати пошуку є корисними та динамічними — наприклад, можливо, зміст Картки не змінюється сильно протягом року, але використання різко зростає в той самий період. Це може свідчити про те, що Картка стає все більш корисною для команди, і результати пошуку повинні це відображати.

Можете розповісти нам, як підрозділ ухвалює рішення про те, чи рухатися вперед зі змінами?

Дженна: Підрозділ є дуже експериментальним у нашому підході, і ми маємо різні рівні для експериментів. Наші середовища для тестування повністю ізольовані від облікових записів клієнтів, і є кілька етапів тестування, які експеримент повинен “пройти”, перш ніж ми навіть розглянемо можливість випуску змін для наших клієнтів. Завдяки нашій експериментальній установці ми можемо швидко тестувати зміни і бути більш впевненими у змінах, які ми врешті-решт випускаємо для наших клієнтів.

Ніна: Я також додам, що всі ці експерименти є надзвичайно заснованими на даних. Ми працюємо над кількома випробуваннями зміни одночасно, а потім використовуємо дані, щоб зрозуміти, які з них досягли найкращого запланованого впливу на результати. Наприклад, нещодавно ми провели спринт з 110 експериментів різного ступеня деталізації та складності — 2 з яких ми врешті-решт реалізували, спираючись на результати. Іноді потрібно десятки експериментів, щоб ухвалити рішення про зміни, іноді це займає більше.

Лаура: Усі наші метрики зосереджені на тому, щоб отримати найбільш релевантні результати якомога вище у списку результатів. Але, з огляду на різноманітність наших команд-клієнтів і контенту в їхніх облікових записах, ми повинні пройти через ці старанні тести, щоб переконатися, що будемо бачити позитивні результати для всієї бази наших клієнтів.

Дженна: Кожен експеримент, який ми проводимо, симулює сотні тисяч пошуків, що дозволяє симулювати обсяг пошуку, необхідний для того, щоб з упевненістю стверджувати, що зміна позитивно вплине на клієнтів у всьому спектрі.

Після того, як ми реалізуємо зміни для наших користувачів, як ми вимірюємо успіх у допомозі їм знайти те, що їм потрібно?

Лаура: Один з найбільших способів, якими ми стежимо за тим, як пошук працює для клієнтів, — це спостереження за набором метрик, які ми зібрали. Існує кілька стандартних галузевих метрик для пошуку, які зосереджені на точності та відновленні, котрі ми використовуємо, щоб отримати загальну картину того, як йдуть справи. Це формули, які допомагають нам вимірювати, чи повертаємо ми релевантний контент і чи легко користувачам пошуку знайти те, що їм потрібно у списку результатів (тобто це біля верху). Потім ми звертаємо увагу на більш цільові метрики, які показують, як йдуть справи для різних типів пошуку. Отже, ми будемо дивитися на те, як пропонована зміна вплине на ці метрики, а потім як запізнілий індикатор — зворотний зв'язок від клієнтів. Залежно від змін, можливо, нам не варто очікувати (і отримувати) багатий зворотній зв'язок від клієнтів, але ми очікуємо, що вони відчують вплив змін, змогли знайти те, що їм потрібно, швидше і з меншою перешкодою.

Дженна: Ми намагаємось відповісти на два запитання: по-перше, чи поверховуємо ми корисні Картки? І по-друге, чи уникаємо ми поверховування нерелевантних Карток? Ще одним способом, яким ми оцінюємо вплив, є звернення до поведінки користувачів після появи їх результатів — чи шукають вони знову? Переглядають більше Карток? Це надає корисні дані про успіх їх результатів.

Завершимо питанням, яке мені найбільше подобається — що далі для пошуку Guru?

Лаура: Безперервне вдосконалення! Я думаю про дві основні області, над якими ми працюємо в пошуку — алгоритм і користувацький досвід процесу пошуку. Зараз ми більше зосереджені на алгоритмі, але вважаємо обидва аспекти важливими.

В довгостроковій перспективі ми хочемо включити більше контексту в пошук — в тому числі передбачуване використання користувача на основі команди, до якої вони належать, як вони взаємодіють з іншими Картами тощо — щоб надати більш персоналізований досвід пошуку.

Ніна: Ми також хочемо використовувати машинне навчання для розуміння наміру за пошуком користувача. Іноді між тим, що користувач справді вводить, і тим, що він шукає, є прогалина. Наприклад, користувач може шукати "компенсація збуту", в той час як відповідна Картка використовує термін "комісія", тому ми працюватимемо над тим, щоб використовувати машинне навчання для вирішення цих прогалин.

Дженна: У кінцевому рахунку все це супроводжується застереженням тестування. Коли ми тестуємо всі ці можливі зміни, ми можемо з упевненістю стверджувати, що ніколи не реалізуємо нічого, що не продемонструє поліпшення в нашій експериментальній рамці.