How Data Scientists Improve Guru's Search Functionality

Sprawdź jeden z blogów o produktach Guru, a zauważysz przewijający się temat: poprawa doświadczeń związanych z wyszukiwaniem dla naszych klientów. I to całkiem słusznie — z dedykowanym zespołem wyszukiwania złożonym z naukowców danych, menedżerów produktu i inżynierów, wyszukiwanie i dostępność wiedzy w Guru są nieustannie testowane i udoskonalane. Jak w każdej firmie technologicznej z funkcjonalnością wyszukiwania, jest to fundamentalna część Guru, którą zawsze będziemy starać się udoskonalać. Chociaż ulepszenia wyszukiwania mogą nie być tak “efektowne” jak zmiany interfejsu użytkownika, ulepszenia AI czy nowe funkcje, z pewnością mają dużą wagę — i znacząco poprawiają doświadczenie użytkownika z naszym produktem. Dziś spotykamy się z naszym zespołem wyszukiwania, aby zobaczyć, nad czym pracowali przez ostatnie kilka miesięcy.

Dziękujemy wam trzem za dołączenie do nas dzisiaj! Aby zacząć, czy możecie nam powiedzieć trochę o sobie i co robicie w zespołach wyszukiwania Guru?

Nina: Jestem naukowcem danych w zespole wyszukiwania, więc skupiam się na tym, jakich metod uczenia maszynowego możemy użyć, aby poprawić wyszukiwanie. Ostatnio skupiałem się na tym, jak włączyć sposób, w jaki Karty (format, w jakim informacje są udokumentowane w Guru) są używane (przeglądanie, kopiowanie linku lub treści, dodawanie do ulubionych) do naszego algorytmu wyszukiwania, a w przyszłości będę badał, w jaki sposób możemy lepiej rozumieć intencje użytkowników podczas wyszukiwania, aby upewnić się, że przynosimy im najbardziej odpowiednie Karty.

Laura: Jestem menedżerem produktu w zespole wyszukiwania, więc spędzam dużo czasu z naszymi klientami, aby uzyskać ich opinie i zrozumieć, co jest dla nich najbardziej pomocne i ważne. Następnie przynoszę to z powrotem do zespołu, abyśmy mogli podejmować decyzje o tym, jak ulepszać i rozwijać wyszukiwanie w czasie. Planuję nasze krótkoterminowe, średnioterminowe i długoterminowe cele, abyśmy mogli wprowadzać ulepszenia nieprzerwanie na wielu płaszczyznach wyszukiwania.

Jenna: Jestem również naukowcem danych w zespole wyszukiwania i skupiam się na naszym algorytmie. Obecnie skupiam się na naszym wewnętrznym narzędziu, które pozwala nam eksperymentować z różnymi dostosowaniami algorytmu i zrozumieć, jak mogą one wpływać na wyniki wyszukiwania dla naszych klientów. Robię również analizy danych, aby porównać, jak nasze wyszukiwanie aktualnie działa w porównaniu do tego, jak by działało z potencjalnymi zmianami.

Ostatni raz, kiedy rozmawialiśmy z zespołem wyszukiwania, rozmawialiśmy o nadchodzących zmianach w naszym algorytmie i sposobach testowania ulepszeń. Czy możecie opowiedzieć nam trochę, jak idzie ta praca?

Laura: Nasze ostatnie zmiany koncentrowały się na uwzględnieniu wykorzystywania Kart jako kolejnego czynnika w znajdowaniu najbardziej odpowiednich i użytecznych wyników.

Nina: Pomysł wziął się z chęci zrozumienia, jak dane wykorzystywania Kart mogą wpłynąć na działania AI w Guru w ogóle. Zanim zastosowaliśmy te pytania do wyszukiwania konkretnie, zbadaliśmy, jak “popularność” Kart korelowała z użytecznością w projekcie hackathonowym!

Jenna: Wykorzystywanie Kart wpisuje się w nasz szerszy cel w zespole wyszukiwania, aby wprowadzić nowe źródła danych, które mogą pomóc nam zrozumieć trafność Kart. Na początku wiedzieliśmy, że mamy wiele danych na temat sposobów wykorzystywania Kart w różnych zespołach, i założyliśmy, że zachowanie użytkowników związane z Kartami może wpłynąć na ulepszenia w wyszukiwaniu.

Nina: Uważam, że ważne jest, aby zauważyć, że wyszukiwanie to nie tylko łączenie terminów — to także rozumienie kontekstu, w jakim i kiedy Karty są używane.

Nina: Uważam, że ważne jest zauważenie, że wyszukiwanie to nie tylko dopasowywanie kluczowych terminów - to także rozumienie kontekstu, w którym i kiedy Karty są używane.

Laura: Przyglądamy się wykorzystywaniu Kart, aby pomóc naszym użytkownikom w innych obszarach produktu — na przykład można zobaczyć dane dotyczące wykorzystywania Kart czekających na twoją weryfikację w „Moich zadaniach”.

Mamy także wskaźniki popularności w całej aplikacji — te dane dotyczące wykorzystania mają na celu pomóc użytkownikom zrozumieć, które informacje są najważniejsze dla ich zespołu.

Wprowadzenie tych danych do wyszukiwania pomaga nam uczynić to bardziej uniwersalnym doświadczeniem.

Jenna: To także pomaga nam upewnić się, że wyniki wyszukiwania są użyteczne i dynamiczne — na przykład, być może treść Karty nie zmienia się znacząco przez rok, ale jej wykorzystanie dramatycznie wzrasta w tym samym okresie czasu. Może to wskazywać, że Karta staje się coraz bardziej użyteczna dla zespołu, a wyniki wyszukiwania powinny to odzwierciedlać.

Czy możecie powiedzieć, jak zespół podejmuje decyzje o tym, czy iść dalej z zmianami?

Jenna: Zespół ma bardzo eksperymentalne podejście do tego, i mamy kilka poziomów eksperymentów. Nasze środowiska testowe są całkowicie izolowane od kont klientów i jest kilka rund testów, które eksperyment musi „przejść”, zanim rozważymy wypuszczenie zmian do naszych klientów. Dzięki naszemu eksperymentalnemu podejściu, możemy szybko testować zmiany i mieć większą pewność co do zmian, które ostatecznie wdrażamy do naszych klientów.

Nina: Chciałbym również dodać, że wszystkie te eksperymenty są niezwykle oparte na danych. Będziemy pracować nad kilkoma próbami zmiany jednocześnie, a następnie używać danych, aby zrozumieć, która z nich miała najlepszy zamierzony wpływ na wyniki. Na przykład, niedawno przeprowadziliśmy sprint z 110 eksperymentami o różnym stopniu szczegółowości i złożoności — 2 z nich wprowadziliśmy na podstawie wyników. Czasami zrealizowanie zmiany zajmuje dziesiątki eksperymentów, a czasami więcej.

Laura: Wszystkie nasze wskaźniki koncentrują się na osiągnięciu jak najbardziej odpowiednich wyników tak wysoko, jak to możliwe na liście wyników. Ale ze względu na różnorodność naszych zespołów klientów oraz treści w ich kontach, musimy przejść przez ten rygorystyczny proces testów, aby zapewnić, że uzyskamy pozytywne wyniki w całej naszej bazie klientów.

Jenna: Każdy eksperyment, który przeprowadzamy, symuluje setki tysięcy wyszukiwań, co pozwala nam zasymulować potrzebną objętość wyszukiwań, aby z pewnością powiedzieć, że zmiana pozytywnie wpłynie na klientów w całej bazie.

Gdy zaczniemy wprowadzać zmiany do naszych użytkowników, jak mierzymy ich sukces w pomaganiu im w znalezieniu tego, czego potrzebują?

Laura: Jednym z największych sposobów monitorowania, jak wyszukiwanie działa dla klientów, jest obserwowanie zestawu wskaźników, które przygotowaliśmy. Istnieje wiele standardowych wskaźników branżowych dla wyszukiwania, które koncentrują się na precyzji i odzyskiwaniu, których używamy, aby uzyskać ogólny obraz tego, jak to wygląda. To są wzory, które pomagają nam mierzyć, czy zwracamy odpowiednie treści i czy łatwo jest dla wyszukujących znaleźć to, czego potrzebują na liście wyników (tzn. znajduje się blisko góry). Następnie przyglądamy się bardziej szczegółowym wskaźnikom pokazującym, jak mają się różne typy wyszukiwań. Zatem przyglądamy się, jak proponowana zmiana wpływa na te wskaźniki, a następnie jako wskaźnik opóźniony – opiniom klientów. W zależności od zmiany, możemy lub nie oczekiwać (i otrzymać) dużej ilości opinii klientów, ale oczekiwanie jest takie, że czują wpływ zmian, mogąc szybciej i z mniejszym oporem znaleźć to, czego potrzebują.

Jenna: W zasadzie próbujemy odpowiedzieć na dwa pytania: pierwsze, czy wyświetlamy użyteczne Karty? I drugie, czy unikamy wyświetlania nieistotnych Kart? Innym sposobem oceny wpływu jest obserwowanie zachowań użytkowników po wyświetleniu ich wyników — czy wyszukują ponownie? Przeglądanie większej liczby Kart? To dostarcza pomocnych informacji na temat sukcesu ich wyników.

Zakończymy na moim ulubionym pytaniu — co dalej z wyszukiwaniem Guru?

Laura: Ciągłe doskonalenie! Myślę o dwóch głównych obszarach, nad którymi pracujemy w zakresie wyszukiwania — algorytmie i doświadczeniu użytkownika w procesie wyszukiwania. Obecnie bardziej koncentrujemy się na algorytmie, ale uważamy, że oba aspekty są ważne.

W dłuższej perspektywie chcemy włączyć więcej kontekstu do wyszukiwania — w tym oczekiwaną przez użytkownika pomoc opartą na tym, do jakiego zespołu należą, jak wchodzą w interakcje z innymi Kartami itd. — aby zapewnić bardziej spersonalizowane doświadczenie wyszukiwania.

Nina: Chcemy także wykorzystać uczenie maszynowe do zrozumienia intencji stojącej za wyszukiwaniem użytkowników. Czasami istnieje luka między tym, co użytkownik faktycznie wpisuje a tym, czego szuka. Na przykład, użytkownik może wyszukiwać

Jenna: Ostatecznie, wszystko to wiąże się z testowaniem. Podczas testowania wszystkich tych możliwych zmian, możemy z pełnym przekonaniem powiedzieć, że nigdy nie wdrożymy niczego, co nie wykazuje poprawy w naszym ramach eksperymentów.