Meet Guru’s Search Team

Wir arbeiten ständig daran, die Erfahrungen unserer Nutzer mit Guru zu verbessern und zu erweitern, von der Art und Weise, wie Wissen in unserem Editor erstellt wird, bis hin zur Art und Weise, wie es über Slack, Teams und mehr geteilt wird. Ein Bereich, der in unserem Team einen besonderen Platz einnimmt, ist unsere Suchfunktion, die zentral dafür ist, wie unsere Plattform genutzt wird, um Wissen zu suchen und zu teilen. Im letzten November haben wir einen Einblick gegeben, wie wir Produktdaten nutzen, um die Suche innerhalb von Guru zu verbessern. Seitdem haben wir nicht nachgelassen und fortlaufende Verbesserungen unserer Suchoberfläche innerhalb unserer Webanwendung und Browsererweiterung sowie direkt an unserem Algorithmus vorgenommen. Heute werden wir eine Q&A-Sitzung mit zwei Mitgliedern unseres engagierten Suchteams halten, um besser zu verstehen, wie wir sicherstellen, dass die Suche bei Guru ständig verbessert wird.

Danke, dass ihr dabei seid, Nora und Yev! Könnt ihr euch vorstellen und uns ein wenig darüber erzählen, was ihr bei Guru macht?

Nora: Danke, dass wir hier sein dürfen! Mein Name ist Nora West und ich bin die Senior Product Managerin für die Such- und Autorenteams bei Guru.

Yev: Danke, Sydney. Mein Name ist Yev Meyer, und ich bin Data Scientist bei Guru.

Um die Dinge zu beginnen, möchte ich ein wenig über unser Suchteam („Pod“) hier bei Guru fragen. Viele Leute wissen vielleicht nicht, dass wir ein ganzes Team haben, das sich der Sucherfahrung widmet — könnt ihr uns ein wenig über das Team erzählen?

Yev: Unser Such-Pod ist ein funktionsübergreifendes Team, das ausschließlich der Aufgabe gewidmet ist, unseren Kunden ein nahtloses Sucherlebnis zu bieten. Der Such-Pod bringt Designer, Front-End-Entwickler, Back-End-Ingenieure, Architekten, Datenwissenschaftler, Ingenieure für maschinelles Lernen und Produktmanager zusammen, um einen ausgewogenen und fundierten Ansatz zur Erweiterung unserer Suchmöglichkeiten zu planen und umzusetzen.

Nora: Ja, genau. Unabhängig von unseren genauen Titeln arbeiten wir als Team zusammen, um ein erstaunliches Sucherlebnis zu schaffen, das sowohl das externe Design der Suche als auch die interne Algorithmusfunktion berücksichtigt. Ich helfe dabei, unsere Arbeit basierend auf dem Feedback, das wir erhalten, den Unternehmenszielen und relevanten Markteinblicken zu priorisieren.

Yev: Ich helfe dem Team, natürliche Sprachverarbeitung (NLP) und maschinelles Lernen (ML) in alle Aspekte der Suche zu integrieren. Ich helfe dem Team auch, unsere Experimentierstrategie zu entwickeln, die Kundenfeedback, Suchleistungsmetriken und Team-/Technologieeinsichten sorgfältig ausbalanciert.

Suche ist nichts, worüber Menschen viel nachdenken, aber es ist eine Kernfunktionalität von Tools wie Guru. Könnt ihr uns einen grundlegenden Überblick darüber geben, wie Gurus Suche funktioniert?

Yev: Nicht nur ist die Suche unglaublich wichtig, sondern auch laut Google selbst, ist sie kein gelöstes Problem und extrem schwierig. Während die meisten Menschen der Suche in Softwareprodukten (weil sie so daran gewöhnt sind, Dinge zu „googeln“) nicht viel Aufmerksamkeit schenken, passiert im Hintergrund eine Menge. Von der Verständnis des Suchabfrage (z. B. Absicht wiederherstellen, semantische Bedeutung extrahieren, Rechtschreibfehler korrigieren, die Abfrage umschreiben, indem Synonyme oder andere Ansätze verwendet werden, um die Absicht besser zu erfassen usw.) über die Einbeziehung des Suchkontextes bis hin zur Rückgabe und Bewertung von Ergebnissen, alles in großem Maßstab - es ist ein schwieriges und interessantes Problem. Guru baut auf bahnbrechenden Arbeiten bei der Suche durch die Teams hinter den Open-Source-Projekten Lucene, Solr und Elasticsearch sowie den Teams bei Unternehmen wie Lucidworks, Elastic, Google und AWS auf, um sicherzustellen, dass wir den relevantesten Wissensbestand unseren Benutzern bereitstellen.

Was sind einige Indikatoren, die ihr betrachtet, um zu bestimmen, wie „gut“ unsere Suche funktioniert? Wie identifiziert ihr Möglichkeiten zur Verbesserung und/oder Erweiterung der Suche innerhalb von Guru?

Yev: Wir betrachten sowohl qualitative als auch quantitative Indikatoren. Auf der quantitativen Seite haben wir viel Zeit damit verbracht, das Ereignistracking in das Produkt zu integrieren, sodass wir Daten zur Interaktion zwischen Benutzern und Produkt verfolgen können. Indem wir auf diese Interaktionsdaten schauen, können wir ziemlich genau messen, wie gut die Suche funktioniert. Geben wir relevante Ergebnisse zurück? Interagieren die Benutzer mit ihnen? Wie? In welcher Position erscheinen diese Ergebnisse, wenn Benutzer mit ihnen interagieren? Neben Rückruf, mittlerer durchschnittlicher Präzision (MAP) und anderen Metriken, die typischerweise zur Beantwortung dieser Fragen verwendet werden, betrachten wir auch die Frustration der Benutzer. Suchen die Leute nach etwas anderem, ohne mit den Suchergebnissen zu interagieren? Stellen sie ihre Suchanfragen um? Dies sind nur einige allgemeine Beispiele, und jede Frage kann weiter auf einen bestimmten Teil des Produkts, bestimmten Kontext, Integration usw. verfeinert werden.

Nora: Wie Yev sagte, geben uns Daten unglaubliche Einblicke in die Aktionen unserer Benutzer, was es uns ermöglicht, die Suchleistung im Laufe der Zeit zu messen. Mit diesen Einblicken können wir die Aktionen optimieren, die wir sehen, dass Benutzer kontinuierlich durchführen, und helfen, wo wir schlechte Ergebnisse sehen. Zum Beispiel haben wir gesehen, dass die Suchanfragen der Benutzer oft Wörter enthielten, die im Titel der Karte enthalten sind, nach der sie suchen, also haben wir eine schnelle Titelsuche eingeführt, um ihnen zu helfen, schneller zu diesen Karten zu gelangen. Aktuell konzentrieren wir uns darauf, die Leistung bei längeren Suchen zu verbessern. Daten helfen uns auch, eine Änderung zu bestätigen, bevor wir sie in das Produkt einführen. Mit unseren Tests können wir sehen, ob vorgeschlagene Algorithmusänderungen die Ergebnisse verbessern, bevor sie unseren Kunden zur Verfügung gestellt werden — so können wir sicherstellen, dass jede Änderung, die wir tun freigeben, das Sucherlebnis verbessert.

Yev: Auf der qualitativen Seite überprüfen wir ständig das Kundenfeedback und reden, wenn möglich, in Echtzeit mit den Kunden, um zu bestimmen, was funktioniert und was nicht.

Nora: Ja, wir sprechen so oft wie möglich mit unseren Nutzern — Daten ermöglichen es uns, viel abzuleiten, aber Gespräche mit den Nutzern helfen uns, die Motivation hinter den Aktionen zu verstehen. Das hilft uns, die Trends zu überprüfen oder zu widerlegen, die wir in den Daten sehen. Zum Beispiel, wenn wir uns die Karten ansehen, die die Benutzer regelmäßig verwenden, sind sie oft auf ein paar Sammlungen und Boards beschränkt. Wenn wir dies jedoch mit den Benutzern besprechen, sind sie sich in der Regel nicht der organisatorischen Struktur ihres Guru-Teams bewusst. Das zeigt uns, dass zusätzliche organisatorische Filter in der Suche potenziell Verwirrung erzeugen könnten, anstatt es einfacher zu machen, die Karte zu finden, nach der sie suchen.

Es scheint, dass Änderungen am Suchalgorithmus die Erfahrungen der Nutzer beim Finden von Wissen in Guru beeinflussen können. Wie testet ihr potenzielle Änderungen, um zu sehen, welche Auswirkungen sie haben werden? Wie entscheidet ihr, ob ihr sie live schaltet (oder nicht)?

Yev: Tolle Frage! Bei Guru pflegen wir eine Kultur der Experimentation, und unser unglaublicher Such-Pod hat ein Suchversuchsframework entwickelt, das es uns ermöglicht, Suchanfragen schnell abzuspielen, um viele Ideen zu testen, ohne die Live-Suchfunktionalität zu beeinträchtigen. Sobald wir die Daten analysiert und bestätigt haben, dass die getestete Hypothese tatsächlich zu einer Verbesserung führt, machen wir dann einen begrenzten Live-Test direkt im Produkt für eine kleine Gruppe von Teams und Benutzern. Wenn dieser Test erfolgreich ist, führen wir die Änderung dann für unsere Kunden ein.

Vielen Dank, dass ihr all das heute mit uns geteilt habt! Bevor wir gehen, könnt ihr uns sagen, was als nächstes für Gurus Suche ansteht?

Yev: Eine Menge Verbesserungen!

Nora: Ja, viele Verbesserungen stehen bevor. In diesem Quartal haben wir uns auf die Verbesserung des Sucherlebnisses bei längeren Suchen konzentriert, und in diesem Jahr optimieren wir die Algorithmusverbesserungen. Wir haben auch unsere Systeme aufgerüstet, um die Geschwindigkeit zu erhöhen, mit der wir Änderungen für unsere Benutzer testen und freigeben können.

Um über die fortlaufenden Verbesserungen der Suchfunktionalität von Guru auf dem Laufenden zu bleiben, abonniert unseren Blog und haltet Ausschau nach bevorstehenden Funktionsveröffentlichungen.