Kolla in något av Gurus produkt lanseringsblogginlägg, och du kommer att lägga märke till ett återkommande tema: förbättra sökupplevelsen för våra kunder. Och av god anledning — med ett dedikerat sökteam av dataforskare, produktledare och ingenjörer, testas och förbättras sök- och kunskapsupptäckbarheten i Guru ständigt. Som ett vilket som helst teknikföretag med sökfunktionalitet, är det en grundläggande del av Guru som vi alltid kommer att sträva efter att förfina och perfekt. Även om sökförbättringar kanske inte är lika "flashiga" som UI-förändringar, AI-förbättringar eller nya funktioner, så har de ändå en stor påverkan — och förbättrar avsevärt användarens upplevelse med vår produkt. Idag ska vi träffa vårt sökteam för att se vad de har arbetat med under de senaste månaderna.

Tack tre för att ni är med oss idag! För att komma igång, kan ni berätta lite om er själva och vad ni gör i Gurus Sök-Pod?

Nina: Jag är dataforskare i Sök-Poden, så jag fokuserar på att lista ut vilka maskininlärningsmetoder vi kan experimentera med för att förbättra Sök. Jag har nyligen fokuserat på hur vi kan inkludera hur Kort (formatet där information dokumenteras med Guru) används (visning, kopiera länk eller innehåll, favoritmarkera) i vår sökalgoritm, och framöver kommer jag att titta på hur vi kan bättre förstå användarens avsikt under sökning för att säkerställa att vi ger dem de mest relevanta Korten.

Laura: Jag är produktchef för Sök-Poden, så jag tillbringar mycket tid med våra kunder för att få deras feedback och förstå vad som är mest hjälpsamt och viktigt för dem. Sedan tar jag detta tillbaka till teamet, så att vi kan fatta beslut om hur vi kan förbättra och utveckla sökning över tid. Jag planerar våra kortsiktiga, medellånga och långsiktiga mål så att vi kan göra förbättringar kontinuerligt på flera aspekter av sök.

Jenna: Jag är också en dataforskare i Sök-Poden, och jag fokuserar specifikt på vår algoritm. Just nu fokuserar jag på våra interna verktyg som gör att vi kan experimentera med olika algoritmjusteringar och förstå hur de kan påverka sökresultaten för våra kunder. Jag gör också dataanalys för att jämföra hur vår sökning presterar för närvarande vs. hur den skulle prestera med potentiella förändringar.

Den senaste gången vi träffade Sök-Poden, pratade vi om kommande förändringar av vår algoritm och de sätt på vilka vi testar sökförbättringar. Kan du berätta lite om hur det arbetets skulle framåt?

Laura: Våra senaste förändringar har handlat om att ta hänsyn till Kortanvändning som en annan faktor för att hitta de mest relevanta och användbara resultaten.

Nina: Idén kom från att förstå hur data om Kortanvändning skulle kunna påverka AI-arbetet på Guru i allmänhet. Innan vi tillämpade dessa frågor på sökning specifikt, utforskade vi hur Kort ‘popularity’ korrelerade med användbarhet i ett hackathon-projekt!

Jenna: Kortanvändning faller under vårt större fokus i Sök-Poden att ta in nya datakällor som kan hjälpa oss att förstå Kortens relevans. Så användning skulle vara en datakälla, liksom det arbete Nina gör för att förstå avsikt.

I början visste vi att vi hade mycket data om hur Kort användes över team, och vi antog att användarbeteende kring Kort skulle kunna informera förbättringar av sök.

Nina: Jag tycker att det är viktigt att notera att sökning inte bara är att matcha nyckeltermer — det handlar också om att förstå kontexten där och när Kort används.

Laura: Vi ser på Kortanvändning för att hjälpa våra användare i andra områden av produkten — till exempel kan du se användningsdata kring Kort väntande på din verifiering i “Mina uppgifter.”

Vi har också popularitetspoäng över appen — dessa användningsdatapunkter är avsedda att hjälpa användare att förstå vilken information som är mest avgörande för deras team.

Att ta in dessa data i sök hjälper oss att göra att det blir en mer universell upplevelse.

Jenna: Detta hjälper oss också att säkerställa att sökresultaten är hjälpsamma och dynamiska — till exempel, kanske en Korts innehåll inte ändras mycket under ett år, men användningen ökar dramatiskt under samma tidsram. Detta kan indikera att Kortet blir allt mer användbart för teamet, och sökresultaten bör återspegla det.

Kan du berätta för oss hur podden fattar beslut om huruvida man ska gå vidare med förändringar eller inte?

Jenna: Podden är väldigt experimentell i vårt tillvägagångssätt, och vi har en mängd olika nivåer för experiment. Våra miljöer för testning är helt isolerade från kundkonton, och det finns flera omgångar av testande som ett experiment måste "klara" innan vi ens överväger att släppa förändringarna till våra kunder. På grund av vår experimentella uppsättning kan vi testa förändringar riktigt snabbt, och vara mer säkra på de förändringar vi till slut distribuerar till våra kunder.

Nina: Jag skulle också tillägga att alla dessa experiment är extremt datadrivna. Vi arbetar med flera tester av en förändring samtidigt, och använder sedan data för att förstå vilken som hade den bästa förväntade effekten på resultaten. Till exempel har vi nyligen kört en sprint med 110 experiment av varierande grad av granularitet och komplexitet — 2 av vilka vi till slut gick vidare med baserat på resultaten. Ibland tar det tiotals experiment att besluta om en förändring, ibland tar det mer.

Laura: Alla våra mätvärden är centrerade runt att ha de mest relevanta resultaten så högt upp på resultatlistan som möjligt. Men på grund av mångfalden av våra kundteam och innehållet i deras konton, måste vi gå igenom denna rigorösa testning för att säkerställa att vi ser positiva resultat över hela vårt kundbas.

Jenna: Varje experiment vi kör simulerar hundratusentals sökningar, vilket gör att vi kan simulera den sökvolym vi behöver för att med säkerhet säga att en förändring kommer att påverka kunderna positivt över hela linjen.

När vi gör förändringar till våra användare, hur mäter vi deras framgång att hjälpa dem att hitta det de behöver?

Laura: Ett av de största sätten vi övervakar hur sök presterar för kunder är genom att följa en uppsättning mätvärden som vi samlat ihop. Det finns ett antal branschstandardmätvärden för sökning som handlar om precision och påminnelse som vi använder för att få en övergripande bild av hur det går. Detta är formler som hjälper oss att mäta om vi returnerar relevant innehåll och om det är lätt för sökare att hitta vad de behöver i resultatlistan (d.v.s. det är nära toppen). Vi ser sedan på mer riktade mätvärden som visar hur det går för olika typer av sökningar. Så vi kommer att se på hur en föreslagen förändring påverkar dessa mätvärden, och sedan som en fördröjd indikator, kundfeedback. Beroende på förändringen, kan vi antingen förvänta oss (och få) många kundfeedback, men förväntningen är att de känner påverkan av förändringarna genom att kunna hitta det de behöver snabbare och med mindre friktion.

Jenna: Vi försöker i grund och botten att besvara två frågor: en, hjälper vi till att lyfta fram användbara Kort? Och två, undviker vi att lyfta fram irrelevanta Kort? Ett annat sätt vi utvärderar påverkan är genom att se på användarbeteende efter att deras resultat har presenterats — söker de igen? Visar fler Kort? Detta ger nyttiga insikter om framgången av deras resultat.

Vi avslutar med min favoritfråga — vad är nästa steg för Gurus sök?

Laura: Kontinuerlig förbättring! Jag tänker på två huvudsakliga områden vi arbetar med när det gäller sök — algoritmen och användarupplevelsen av sökprocessen. Just nu fokuserar vi mer på algoritmen, men vi anser att båda aspekterna är viktiga.

På lång sikt vill vi integrera mer kontext i sökningen — inklusive en användares förväntade användning baserat på vilket team de tillhör, hur de interagerar med andra Kort, etc. — för att ge en mer personlig sökupplevelse.

Nina: Vi vill också använda maskininlärning för att förstå avsikten bakom en användares sökning. Ibland finns det en klyfta mellan vad en användare faktiskt skriver och vad de letar efter. Till exempel kan en användare söka efter "försäljningskompensation" medan det relevanta Kortet använder termen "kommission" så vi kommer att arbeta för att använda maskininlärning för att åtgärda dessa klyftor.

Jenna: I slutändan kommer allt detta med en förutsättning för testande. När vi testar alla dessa möjliga förändringar kan vi med säkerhet säga att vi aldrig rullar ut något som inte visar förbättring i vår experimenteringsram.