Meet Guru’s Search Team

We werken altijd aan het verbeteren en optimaliseren van de ervaringen van onze gebruikers met Guru, van de manier waarop kennis in onze editor wordt aangemaakt tot hoe het wordt gedeeld via Slack, Teams en meer. Een gebied dat een speciale plaats in het hart van ons team heeft, is onze zoekfunctionaliteit, die essentieel is voor hoe ons platform wordt gebruikt om kennis te zoeken en te delen. Vorige november deelden we een blik op hoe we productdata gebruiken om de zoekfunctie binnen Guru te verbeteren. Sindsdien hebben we geen moment stilgezeten en hebben we geleidelijke verbeteringen aangebracht aan onze zoek-UI binnen onze webapp en browserextensie, evenals direct aan ons algoritme. Vandaag zullen we een vraag-en-antwoordsessie houden met twee leden van ons toegewijde zoekteam om beter te begrijpen hoe we ervoor zorgen dat de zoekfunctie bij Guru altijd verbetert.

Bedankt voor jullie deelname, Nora en Yev! Kunnen jullie jezelf voorstellen en ons iets vertellen over wat jullie doen bij Guru?

Nora: Bedankt dat we er mogen zijn! Mijn naam is Nora West, en ik ben de Senior Product Manager voor de zoek- en auteurschapteams bij Guru.

Yev: Bedankt, Sydney. Mijn naam is Yev Meyer, en ik ben Staff Data Scientist bij Guru.

Om van start te gaan, wil ik graag iets vragen over ons zoekteam (“pod”) hier bij Guru. Veel mensen weten misschien niet eens dat we een heel team hebben dat zich richt op de zoekervaring - kunnen jullie ons iets vertellen over het team?

Yev: Onze zoekpod is een cross-functioneel team dat volledig gericht is op één taak: het leveren van een naadloze zoekervaring voor onze klanten. De zoekpod brengt ontwerpers, front-end ontwikkelaars, back-end ingenieurs, architecten, datawetenschappers, machine learning ingenieurs en productmanagers samen om een gebalanceerde en solide benadering te plannen en uit te voeren voor het verbeteren van onze zoekcapaciteiten.

Nora: Yep, precies. Ongeacht onze exacte titels, werken we samen als een team om een geweldige zoekervaring te creëren, met de focus op zowel het externe ontwerp van de zoekfunctie als de interne algoritmische werking. Ik help prioriteiten te stellen voor ons werk op basis van de feedback die we ontvangen, de bedrijfsdoelen en relevante marktinzichten.

Yev: Ik help het team natuurlijke taalverwerking (NLP) en machine learning (ML) meer in het algemeen in alle aspecten van de zoekfunctionaliteit te integreren. Ik help het team ook om onze experimentele strategie uit te denken, die zorgvuldig een balans zoekt tussen klantfeedback, zoekprestatiestatistieken en team-/technologie-inzichten.

Zoeken is iets waar mensen weinig over nadenken, maar het is een essentiële functionaliteit van tools zoals Guru. Kunnen jullie ons een basisoverzicht geven van hoe de zoekfunctie van Guru werkt?

Yev: Niet alleen is zoeken ongelooflijk belangrijk, maar zelfs volgens Google zelf, is het geen opgelost probleem, en is het ongelooflijk moeilijk. Hoewel de meeste mensen niet veel nadenken over zoeken in softwareproducten (omdat ze zo gewend zijn aan het "googelen"), gebeurt er veel achter de schermen. Van het begrijpen van de zoekopdracht (bijv. het afleiden van de intentie, het extraheren van semantische betekenis, het corrigeren van spelfouten, het herschrijven van de zoekopdracht met synoniemen of andere benaderingen om de intentie beter vast te leggen, enz.) tot het incorporeren van de zoekcontext, tot het ophalen en rangschikken van resultaten, alles op grote schaal - het is een moeilijk en interessant probleem. Guru bouwt voort op baanbrekend werk in zoektechnologie door teams achter open source-projecten als Lucene, Solr en Elasticsearch, evenals teams van bedrijven zoals Lucidworks, Elastic, Google en AWS, om ervoor te zorgen dat we de meest relevante kennis aan onze gebruikers tonen.

Wat zijn enkele indicatoren waar jullie naar kijken om te bepalen hoe "goed" onze zoekfunctie werkt? Hoe identificeren jullie kansen om de zoekfunctie binnen Guru te verbeteren en/of te verbeteren?

Yev: We kijken naar zowel kwalitatieve als kwantitatieve indicatoren. Aan de kwantitatieve kant hebben we veel tijd besteed aan het integreren van eventtracking in het product, zodat we gebruikergegevens over productinteracties kunnen volgen. Door naar die interactiegegevens te kijken, kunnen we vrij nauwkeurig meten hoe goed de zoekfunctie presteert. Leveren we relevante resultaten? Interageren gebruikers met hen? Hoe? In welke positie verschijnen deze resultaten wanneer gebruikers met hen interageren? Naast recall, mean average precision (MAP) en andere statistieken die meestal worden gebruikt om deze vragen te beantwoorden, kijken we ook naar gebruikersfrustratie. Zoeken mensen naar iets anders zonder met zoekresultaten te interacten? Herformuleren ze hun zoekopdrachten? Dit zijn slechts een paar algemene voorbeelden, en elke vraag kan verder worden verfijnd tot een specifiek deel van het product, een specifieke context, integratie, enz.

Nora: Zoals Yev aangaf, biedt data ons ongelooflijk inzicht in de acties die onze gebruikers ondernemen, waardoor we de prestaties van zoekfunctionaliteiten in de loop der tijd kunnen meten. Met deze inzichten kunnen we optimaliseren voor acties die we zien dat gebruikers voortdurend ondernemen, en helpen waar we slechte resultaten zien. Bijvoorbeeld, we zagen dat de zoekopdrachten van gebruikers vaak woorden bevatten die in de titel van de kaart staan die ze zoeken, dus we hebben een snelle titelzoekfunctie geïntroduceerd om hen te helpen sneller bij die kaarten te komen. Op dit moment richten we ons op het verbeteren van de prestaties voor langere zoekopdrachten. Data helpt ons ook om een wijziging te bevestigen voordat deze in het product wordt opgenomen. Met onze tests kunnen we zien of voorgestelde wijzigingen aan het algoritme de resultaten zullen  verbeteren voordat ze aan klanten worden vrijgegeven - zodat we er zeker van kunnen zijn dat elke wijziging die we doen vrijgeven de zoekervaring verbetert.

Yev: Aan de kwalitatieve kant onderzoeken we voortdurend de feedback van klanten en praten we, indien mogelijk, in real-time met klanten om te bepalen wat werkt en wat niet.

Nora: Ja, we praten zoveel mogelijk met onze gebruikers - data stelt ons in staat om een groot aantal conclusies te trekken, maar praten met gebruikers helpt ons de motivatie achter de acties te begrijpen. Dit helpt ons om de trends die we in de data zien te verifiëren of te weerleggen. Bijvoorbeeld, als we kijken naar de kaarten die gebruikers consistent gebruiken, zijn ze vaak beperkt tot een paar Collecties en Borden. Wanneer we dit met gebruikers bespreken, zijn zij zich echter meestal niet bewust van de organisatie structuur van hun Guru-team. Dit vertelt ons dat extra organisatorische filters in zoekopdrachten mogelijk verwarring kunnen vergroten, in plaats van het vinden van de kaart waar ze naar op zoek waren te vergemakkelijken.

Het lijkt erop dat wijzigingen in het zoekalgoritme van invloed kunnen zijn op de ervaringen van gebruikers bij het vinden van kennis in Guru. Hoe testen jullie potentiële wijzigingen om te zien welke impact ze zullen hebben? Hoe beslissen jullie om ze live te zetten (of niet)?

Yev: Geweldige vraag! Bij Guru omarmen we de cultuur van experimenteren, en onze geweldige zoekpod heeft een framework voor zoekproeven opgebouwd dat ons in staat stelt om snel zoekopdrachten af te spelen om veel ideeën te testen zonder de live zoekfunctionaliteit te beïnvloeden. Zodra we de data hebben geanalyseerd en bevestigen dat de geteste hypothese inderdaad leidt tot een verbetering, doen we een beperkte live test direct in het product voor een kleine subset van teams en gebruikers. Als die test goed is, voeren we de wijziging uit naar onze klanten.

Bedankt jullie beiden voor het delen van dit alles met ons vandaag! Voordat we gaan, kunnen jullie ons vertellen wat er in de toekomst voor de zoekfunctie van Guru is?

Yev: Een hoop verbeteringen!

Nora: Ja, veel verbeteringen in het verschiet. Dit kwartaal hebben we ons gericht op het verbeteren van de zoekervaring voor langere zoekopdrachten, en dit jaar optimaliseren we voor algoritmeverbeteringen. We hebben ook onze systemen bijgewerkt om de snelheid te verhogen waarmee we wijzigingen kunnen testen en aan onze gebruikers kunnen vrijgeven.

Om op de hoogte te blijven van iteratieve verbeteringen in de functionaliteit van de zoekfunctie van Guru, abonneer je op onze blog en houd een oogje in het zeil voor aankomende functies.