Bekijk een van de product lancering blogposts van Guru en je zult een terugkerend thema opmerken: het verbeteren van de zoekervaring voor onze klanten. En met goede redenen - met een toegewijd zoekteam van datawetenschappers, productmanagers en engineers, wordt het zoeken en de vindbaarheid van kennis in Guru altijd getest en verbeterd. Zoals elk technologiebedrijf met zoekfunctionaliteit, is het een fundamenteel onderdeel van Guru dat we altijd zullen proberen te verfijnen en te perfectioneren. Hoewel zoekverbeteringen misschien niet zo "opvallend" zijn als UI-wijzigingen, AI-verbeteringen of nieuwe functies, hebben ze zeker impact - en verbeteren ze aanzienlijk de ervaring van een gebruiker met ons product. Vandaag praten we bij met ons zoekteam om te zien waar ze de afgelopen maanden aan hebben gewerkt.

Dank jullie drie voor het joinen vandaag! Kun je ons een beetje vertellen over jezelf en wat je doet in Guru's Zoek Pod?

Nina: Ik ben een datawetenschapper bij de Zoek Pod, dus ik richt me op het uitzoeken van welke machine learning-methoden we kunnen uitproberen om de Zoek te verbeteren. Ik heb me recent geconcentreerd op hoe we de manier waarop Kaarten (het formaat waarin informatie gedocumenteerd is in Guru) worden gebruikt (bekijken, link of inhoud kopiëren, favoriteren) in ons Zoek algoritme kunnen opnemen, en voor de toekomst zal ik onderzoeken hoe we de intentie van de gebruiker tijdens het zoeken beter kunnen begrijpen om ervoor te zorgen dat we de meest relevante Kaarten naar voren brengen.

Laura: Ik ben ook een productmanager voor de Zoek Pod, dus ik breng veel tijd door met onze klanten om hun feedback te krijgen en te begrijpen wat het meest nuttig en belangrijk voor hen is. Vervolgens breng ik dit terug naar het team, zodat we beslissingen kunnen nemen over hoe we zoeken in de loop van de tijd kunnen verbeteren en ontwikkelen. Ik plan onze kortetermijn-, middellangetermijn- en langetermijndoelen, zodat we continu verbeteringen kunnen aanbrengen op meerdere aspecten van de zoekfunctie.

Jenna: Ik ben ook een datawetenschapper bij de Zoek Pod, en ik focus me specifiek op ons algoritme. Op dit moment concentreer ik me op onze interne tools die ons in staat stellen om verschillende algoritme-aanpassingen uit te proberen en te begrijpen hoe ze de zoekresultaten voor onze klanten zouden kunnen beïnvloeden. Ik doe ook data-analyse om te vergelijken hoe onze zoekfunctie momenteel presteert ten opzichte van hoe deze zou presteren met potentiële veranderingen.

De laatste keer dat we bijpraatten met de Zoek Pod, spraken we over aanstaande veranderingen in ons algoritme en de manieren waarop we zoekverbeteringen testen. Kun je ons een beetje vertellen over hoe dat werk gaat?

Laura: Onze recente veranderingen hebben betrekking op het in aanmerking nemen van het gebruik van Kaarten als een andere factor voor het vinden van de meest relevante en nuttige resultaten.

Nina: Het idee kwam voort uit de wens om te begrijpen hoe gegevens over het gebruik van Kaarten het AI-werk bij Guru in het algemeen zou kunnen beïnvloeden. Voordat we deze vragen specifiek op zoek toepasten, hebben we onderzocht hoe de "populariteit" van Kaarten correleerde met bruikbaarheid in een hackathonproject!

Jenna: Het gebruik van Kaarten valt onder onze grotere focus in de Zoek Pod om nieuwe gegevensbronnen te introduceren die ons kunnen helpen de relevantie van Kaarten te begrijpen. Dus gebruik zou een gegevensbron zijn, evenals het werk dat Nina doet om de intentie te begrijpen.

Aan het begin wisten we dat we veel gegevens hadden over de manieren waarop Kaarten werden gebruikt binnen teams, en we veronderstelden dat het gebruikersgedrag rond Kaarten zou kunnen bijdragen aan verbeteringen in de zoekfunctie.

Nina: Ik denk dat het belangrijk is om op te merken dat zoeken niet alleen het matchen van sleuteltermen is - het gaat ook om het begrijpen van de context waarin en wanneer Kaarten worden gebruikt.

Laura: We kijken naar het gebruik van Kaarten om onze gebruikers in andere gebieden van het product te helpen - bijvoorbeeld, je kunt gebruiksgegevens zien van Kaarten die wachten op jouw verificatie in "Mijn Taken."

We hebben ook populariteitsscores in de hele app - deze gebruiksgegevens zijn bedoeld om gebruikers te helpen begrijpen welke informatie het belangrijkst is voor hun team.

Het brengen van die gegevens in de zoekfunctie helpt ons om een meer universele ervaring te creëren.

Jenna: Dit helpt ons ook om ervoor te zorgen dat zoekresultaten nuttig en dynamisch zijn - bijvoorbeeld, misschien verandert de inhoud van een Kaart niet veel in de loop van een jaar, maar de gebruiksgegevens stijgen dramatisch in dezelfde periode. Dit kan erop wijzen dat de Kaart steeds nuttiger wordt voor het team, en de zoekresultaten zouden dat moeten weerspiegelen.

Kun je ons vertellen hoe de pod beslissingen neemt over het al dan niet doorvoeren van veranderingen?

Jenna: De pod is heel experimenteel in onze aanpak, en we hebben verschillende niveaus voor experimenten. Onze omgevingen voor testen zijn volledig gescheiden van klantaccounts, en er zijn verschillende rondes van testen die een experiment moet "doorstaan" voordat we zelfs maar overwegen de veranderingen aan onze klanten vrij te geven. Vanwege onze experimentele opzet kunnen we veranderingen echt snel testen, en zijn we er zekerder van dat de veranderingen die we uiteindelijk aan onze klanten uitrollen, goed zijn.

Nina: Ik zou ook willen toevoegen dat al deze experimenten uiterst datagestuurd zijn. We zullen aan verschillende proeven van een verandering tegelijk werken, en vervolgens gebruiken we gegevens om te begrijpen welke de beste beoogde impact op de resultaten had. Bijvoorbeeld, we hebben onlangs een sprint uitgevoerd met 110 experimenten van verschillende graden van granulariteit en complexiteit - waarvan we er 2 op basis van de resultaten verder mee zijn gegaan. Soms kost het tientallen experimenten om over een verandering te beslissen, soms kost het meer.

Laura: Al onze metrics zijn gericht op het hebben van de meest relevante resultaten zo hoog mogelijk op de resultatenlijst. Maar vanwege de verscheidenheid aan klantteams en de inhoud in hun accounts, moeten we dit strenge testproces doorlopen om ervoor te zorgen dat we positieve resultaten zien in de gehele klantbase.

Jenna: Elk experiment dat we uitvoeren simuleert honderden duizenden zoekopdrachten, wat ons in staat stelt om het zoekvolume te simuleren dat we nodig hebben om met vertrouwen te zeggen dat een verandering een positieve impact zal hebben op klanten over het algemeen.

Zodra we veranderingen aan onze gebruikers uitrollen, hoe meten we hun succes in het helpen vinden wat ze nodig hebben?

Laura: Een van de grootste manieren waarop we monitoren hoe de zoekfunctie presteert voor klanten, is door een set metrics te bekijken die we hebben samengesteld. Er zijn een aantal industriestandaard metrics voor zoeken die gericht zijn op precisie en recall die we gebruiken om een algemeen beeld te krijgen van hoe het ervoor staat. Dit zijn formules die helpen meten of we relevante inhoud teruggeven en of het gemakkelijk is voor zoekers om te vinden wat ze nodig hebben in de lijst met resultaten (d.w.z. het staat bovenaan). Vervolgens bekijken we meer gerichte metrics die ons laten zien hoe het gaat voor verschillende soorten zoekopdrachten. Dus we zullen kijken hoe een voorgestelde verandering die metrics beïnvloedt, en als een achteraf indicator, klantfeedback. Afhankelijk van de verandering, kunnen we wel of niet veel klantfeedback verwachten (en krijgen), maar de verwachting is dat ze de impact van de veranderingen voelen door sneller en met minder wrijving te vinden wat ze nodig hebben.

Jenna: We proberen eigenlijk twee vragen te beantwoorden: één, brengen we nuttige Kaarten naar voren? En twee, vermijden we het naar voren brengen van irrelevante Kaarten? Een andere manier waarop we de impact beoordelen, is door te kijken naar het gebruikersgedrag nadat hun resultaten zijn weergegeven - zoeken ze opnieuw? Kijken ze naar meer Kaarten? Dit biedt nuttige inzichten in het succes van hun resultaten.

We eindigen met mijn favoriete vraag - wat is de volgende stap voor Guru's zoekfunctie?

Laura: Continue verbetering! Ik denk aan twee hoofdgebieden waar we aan werken met betrekking tot zoekopdrachten - het algoritme en de gebruikerservaring van het zoekproces. Op dit moment richten we ons meer op het algoritme, maar we beschouwen beide aspecten als belangrijk.

Op de lange termijn willen we meer context in de zoekfunctie integreren - inclusief het verwachte gebruik door een gebruiker, afhankelijk van het team waar ze in zitten, hoe ze interactie hebben met andere Kaarten, enz. - om een meer gepersonaliseerde zoekervaring te bieden.

Nina: We willen ook machine learning gebruiken om de intentie achter een zoekopdracht van een gebruiker te begrijpen. Soms is er een kloof tussen wat een gebruiker daadwerkelijk typt en waar ze naar op zoek zijn. Bijvoorbeeld, een gebruiker kan zoeken naar "verkoopvergoeding" terwijl de relevante Kaart de term "commissie" gebruikt, dus we zullen eraan werken om machine learning in te zetten om die kloften aan te pakken.

Jenna: Uiteindelijk komt dit allemaal met de waarschuwing van testen. Terwijl we al deze mogelijke veranderingen testen, kunnen we met vertrouwen zeggen dat we niets zullen uitrollen dat geen verbetering vertoont in ons experimenteerframework.