Vi arbetar alltid med att förbättra våra användares upplevelser med Guru, från hur kunskap skapas i vår editor till hur den delas genom Slack, Teams och mer. Ett område som ligger vårt team varmt om hjärtat är vår sökfunktionalitet, som är central för hur vår plattform används för att söka och dela kunskap. Förra november delade vi ett litet utdrag av hur vi använder produktdata för att förbättra sökningen inom Guru. Sedan dess har vi inte saktat ner, utan gjort successiva förbättringar av vårt sökgränssnitt inom vår webapp och webbläsartillägg, samt direkt till vår algoritm. Idag dyker vi ner i en Q&A-session med två medlemmar av vårt dedikerade sökteam för att bättre förstå hur vi säkerställer att sökningen i Guru ständigt förbättras.

Tack för att ni anslöt er, Nora och Yev! Kan ni presentera er själva och berätta lite om vad ni gör på Guru?

Nora: Tack för att ni har oss! Jag heter Nora West och jag är Senior Product Manager för sök- och skapteamet på Guru.

Yev: Tack, Sydney. Jag heter Yev Meyer, och jag är Staff Data Scientist på Guru.

För att inleda vill jag ställa en fråga om vårt sökteam (“pod”) här på Guru. Många kanske inte ens vet att vi har ett helt team dedikerat till sökupplevelsen – kan ni berätta lite om teamet?

Yev: Vår sökpodd är ett tvärfunktionellt team som helt och hållet är dedikerat till en enda uppgift: att leverera en sökupplevelse utan krångel för våra kunder. Sökpodden samlar designers, front-end utvecklare, back-end ingenjörer, arkitekter, datavetare, maskininlärningsingenjörer och produktchefer för att planera och genomföra en balanserad och sund strategi för att förbättra våra sökfunktioner.

Nora: Ja, precis. Oavsett våra exakt titlar arbetar vi tillsammans som ett team för att skapa en fantastisk sökupplevelse med fokus på både den externa designen av sökningen och den interna algoritmfunktionen. Jag hjälper till att prioritera vårt arbete baserat på den feedback vi ser, företagets mål och relevanta marknadsinsikter.

Yev: Jag hjälper teamet att integrera naturlig språkbehandling (NLP) och maskininlärning (ML) mer allmänt i alla aspekter av sökning. Jag hjälper också teamet att ta reda på vår experimentstrategi, som noggrant balanserar kundfeedback, sökprestandamått och team/teknologiska insikter.

Sök är inte något som folk ger mycket tanke, men det är en kärnfunktionalitet i verktyg som Guru. Kan du ge oss en grundläggande översikt över hur Gurus sökning fungerar?

Yev: Inte bara är sök extremt viktigt, utan enligt till och med Google självt, det är inte ett löst problem, och är otroligt svårt. Medan de flesta människor inte ger mycket tanke åt sökning i mjukvaruprodukter (eftersom de är så vana vid att “googla” saker), händer det mycket bakom kulisserna. Från att förstå sökfrågan (t.ex. avleda avsikt, extrahera semantisk betydelse, korrigera stavfel, skriva om frågan med synonymer eller andra metoder för att bättre fånga avsikt osv.) till att införliva sökcontext, till att hämta och rangordna resultat, allt i stor skala — det är ett svårt och intressant problem. Guru bygger vidare på banbrytande arbete inom sökning av teamen bakom Lucene, Solr och Elasticsearch open source-projekt, såväl som team på företag som Lucidworks, Elastic, Google och AWS för att säkerställa att vi bringar fram den mest relevanta kunskapen för våra användare.

Vilka är några indikatorer ni tittar på för att avgöra hur “bra” vår sökning fungerar? Hur identifierar ni möjligheter att förbättra och/eller förfina sökningen i Guru?

Yev: Vi tittar på både kvalitativa och kvantitativa indikatorer. På den kvantitativa sidan har vi lagt mycket tid på att bygga in händelsespårning i produkten, så att vi kan spåra interaktionsdata mellan användare och produkt. Genom att titta på den interaktionsdata kan vi mäta ganska precis hur väl sökningen fungerar. Ger vi relevanta resultat? Interagerar användare med dem? Hur? I vilken position visas dessa resultat när användare interagerar med dem? Förutom recall, mean average precision (MAP) och andra mått som vanligtvis används för att besvara dessa frågor, tittar vi också på användarfrustration. Söker människor efter något annat utan att interagera med sökresultaten? Reformulerar de sina sökfrågor? Detta är bara några allmänna exempel och varje fråga kan vidareutvecklas till en viss del av produkten, särskild kontext, integration, etc.

Nora: Som Yev sa, ger data oss otroliga insikter i vad våra användare gör, vilket gör att vi kan mäta sökprestanda över tid. Med dessa insikter kan vi optimera för de åtgärder vi ser att användare kontinuerligt vidtar och hjälpa där vi ser dåliga resultat. Till exempel såg vi att användarnas frågor ofta inkluderade ord som finns i titeln på det kort de letar efter, så vi introducerade snabb sökning av titlar för att hjälpa dem att snabbare komma till dessa kort. Just nu fokuserar vi våra insatser på att förbättra prestanda för längre sökningar. Data hjälper oss också att bekräfta en förändring innan vi inför den i produkten. Med vår testning kan vi se om föreslagna algoritmändringar kommer att  förbättra resultaten innan de släpps till kunderna — så att vi kan vara säkra på att varje förändring vi gör släpper förbättrar sökupplevelsen.

Yev: På den kvalitativa sidan granskar vi konstant kundfeedback och pratar med kunder i realtid när det är möjligt för att avgöra vad som fungerar och vad som inte fungerar.

Nora: Ja, vi pratar med våra användare så mycket vi kan – data gör att vi kan dra många slutsatser, men att prata med användarna hjälper oss att förstå motivationen bakom handlingarna. Detta hjälper oss att verifiera eller motbevisa trenderna vi ser i datan. Till exempel, när vi tittar på de kort användarna konsekvent använder, är de ofta begränsade till några få samlingar och tavlor. När vi diskuterar detta med användarna är de dock ofta inte medvetna om den organisationsstruktur deras Guru-team har. Detta säger oss att ytterligare organisatoriska filter i sökningen potentiellt skulle öka förvirringen, snarare än att göra det lättare att hitta det kort som de letade efter.

Det verkar som att förändringar i sökalgoritmen kan påverka användarnas upplevelser av att hitta kunskap i Guru. Hur testar ni potentiella förändringar för att se vilken inverkan de får? Hur bestämmer ni om de ska sättas live (eller inte)?

Yev: Bra fråga! På Guru omfamnar vi kulturen av experimentering, och vår otroliga sökpodd har byggt upp ett ramverk för söktester som gör att vi snabbt kan återspela sökfrågor för att testa många idéer utan att påverka den live sökfunktionen. När vi analyserar data och bekräftar att den testade hypotesen faktiskt ger förbättring, gör vi sedan ett begränsat live-test direkt i produkten för en liten delmängd av team och användare. Om det testet går igenom rullar vi sedan ut förändringen till våra kunder.

Tack till er båda för att ni delar allt detta med oss idag! Innan vi går, kan ni berätta vad som ligger näst på tur för Gurus sökning?

Yev: Massor av förbättringar!

Nora: Ja, massor av förbättringar på gång. Denna kvartal har vi fokuserat på att förbättra sökupplevelsen för längre sökningar, och detta år optimerar vi för algoritmförbättringar. Vi har också uppgraderat våra system för att öka hastigheten på vilken vi kan testa och släppa förändringar till våra användare.

För att hålla dig uppdaterad med iterativa förbättringar av Gurus sökfunktionalitet, prenumerera på vår blogg och håll ett öga på kommande funktionsuppdateringar.