Schau dir einen von Gurus Produkt- Blogbeiträgen zur Produkteinführung an, und du wirst ein wiederkehrendes Thema bemerken: die Verbesserung der Sucherfahrung für unsere Kunden. Und aus gutem Grund — mit einem engagierten Suchteam aus Datenwissenschaftlern, Produktmanagern und Ingenieuren wird die Suche und Wissenserkennung in Guru ständig getestet und verbessert. Wie bei jedem Technologieunternehmen mit Suchfunktionalität ist es ein grundlegender Bestandteil von Guru, den wir immer weiter verfeinern und perfektionieren werden. Während Suchverbesserungen vielleicht nicht so „aufsehenerregend“ sind wie UI-Änderungen, KI-Verbesserungen oder neue Funktionen, haben sie sicherlich immer noch einen erheblichen Einfluss — und verbessern erheblich die Benutzererfahrung mit unserem Produkt. Heute holen wir mit unserem Suchteam auf, um zu sehen, woran sie in den letzten Monaten gearbeitet haben.

Danke euch dreien, dass ihr heute bei uns seid! Um anzufangen, könnt ihr uns ein wenig über euch erzählen und was ihr im Guru’s Search Pod macht?

Nina: Ich bin Datenwissenschaftlerin im Search Pod, daher konzentriere ich mich darauf herauszufinden, welche Methoden des maschinellen Lernens wir ausprobieren können, um die Suche zu verbessern. Ich habe mich in letzter Zeit darauf konzentriert, wie wir die Art und Weise, wie Karten (das Format, in dem Informationen bei Guru dokumentiert sind) genutzt werden (Anzeigen, Link oder Inhalt kopieren, favorisieren), in unseren Suchalgorithmus einbeziehen können. Weiterhin werde ich untersuchen, wie wir die Absicht der Benutzer beim Suchen besser verstehen können, um sicherzustellen, dass wir ihnen die relevantesten Karten bringen.

Laura: Ich bin Produktmanagerin für den Search Pod, daher verbringe ich viel Zeit mit unseren Kunden, um ihr Feedback zu erhalten und zu verstehen, was für sie am hilfreichsten und wichtigsten ist. Dann bringe ich dies zurück ins Team, damit wir Entscheidungen treffen können, wie wir die Suche im Laufe der Zeit verbessern und weiterentwickeln können. Ich plane unsere kurz-, mittel- und langfristigen Ziele, damit wir kontinuierlich an verschiedenen Aspekten der Suche Verbesserungen vornehmen können.

Jenna: Ich bin ebenfalls Datenwissenschaftlerin im Search Pod und konzentriere mich speziell auf unseren Algorithmus. Momentan konzentriere ich mich auf unsere internen Werkzeuge, die es uns ermöglichen, mit verschiedenen Algorithmusanpassungen zu experimentieren und zu verstehen, wie sie sich auf die Suchergebnisse für unsere Kunden auswirken könnten. Ich mache auch Datenanalysen, um zu vergleichen, wie unsere Suche derzeit funktioniert im Vergleich dazu, wie sie mit möglichen Änderungen funktionieren würde.

Das letzte Mal, als wir uns mit dem Search Pod austauschten, haben wir über bevorstehende Änderungen an unserem Algorithmus und die Methoden gesprochen, mit denen wir Suchverbesserungen testen. Könnt ihr uns ein wenig darüber erzählen, wie die Arbeit dabei verläuft?

Laura: Unsere kürzlichen Änderungen bezogen sich darauf, die Nutzung von Karten als einen weiteren Faktor bei der Suche nach den relevantesten und nützlichsten Ergebnissen zu berücksichtigen.

Nina: Die Idee entstand aus dem Wunsch, zu verstehen, wie die Nutzungsdaten von Karten die KI-Arbeit bei Guru im Allgemeinen beeinflussen könnten. Bevor wir diese Fragen speziell zur Suche angewandt haben, haben wir untersucht, wie die „Beliebtheit“ von Karten mit deren Nützlichkeit in einem Hackathon-Projekt korreliert!

Jenna: Die Nutzung von Karten fällt unter unseren größeren Fokus im Search Pod, neue Datenquellen einzuführen, die uns helfen können, die Relevanz von Karten zu verstehen. Die Nutzung wäre also eine Datenquelle, ebenso wie die Arbeit, die Nina macht, um die Absicht zu verstehen.

Zu Beginn wussten wir, dass wir viele Daten über die Nutzung von Karten in verschiedenen Teams hatten, und wir hatten die Hypothese, dass das Benutzerverhalten hinsichtlich Karten die Verbesserungen der Suche beeinflussen könnte.

Nina: Ich denke, es ist wichtig zu beachten, dass die Suche nicht nur Schlüsselbegriffe abgleicht — es geht auch darum, den Kontext zu verstehen, wo und wann Karten verwendet werden.

Laura: Wir betrachten die Nutzung von Karten, um unseren Benutzern in anderen Bereichen des Produkts zu helfen — zum Beispiel, du kannst Nutzungsdaten zu Karten sehen, die auf deine Bestätigung in „Meine Aufgaben“ warten.

Wir haben auch Beliebtheitswerte über die App — diese Nutzungsdaten sollen den Benutzern helfen zu verstehen, welche Informationen für ihr Team am kritischsten sind.

Diese Daten in die Suche einzubeziehen hilft uns, ein universelleres Erlebnis zu schaffen.

Jenna: Das hilft uns auch sicherzustellen, dass die Suchergebnisse hilfreich und dynamisch sind — zum Beispiel, vielleicht ändert sich der Inhalt einer Karte im Laufe eines Jahres nicht viel, aber die Nutzung steigt während desselben Zeitraums dramatisch an. Das könnte darauf hindeuten, dass die Karte für das Team zunehmend nützlicher wird und die Suchergebnisse das widerspiegeln sollten.

Könnt ihr uns erzählen, wie das Pod Entscheidungen darüber trifft, ob Änderungen vorgenommen werden oder nicht?

Jenna: Das Pod ist in unserem Ansatz sehr experimentell, und wir haben verschiedene Ebenen für Experimente. Unsere Testumgebungen sind völlig isoliert von Kundenkonten, und es gibt mehrere Testrunden, die ein Experiment „bestehen“ muss, bevor wir überhaupt in Betracht ziehen, die Änderungen unseren Kunden zur Verfügung zu stellen. Aufgrund unserer experimentellen Einrichtung sind wir in der Lage, Änderungen schnell zu testen und haben mehr Vertrauen in die Änderungen, die wir letztendlich unseren Kunden bereitstellen.

Nina: Ich würde auch hinzufügen, dass all diese Experimente extrem datengetrieben sind. Wir werden an mehreren Versuchen einer Änderung gleichzeitig arbeiten und dann Daten verwenden, um zu verstehen, welcher die beste beabsichtigte Auswirkung auf die Ergebnisse hatte. Zum Beispiel haben wir kürzlich einen Sprint mit 110 Experimenten unterschiedlicher Granularität und Komplexität durchgeführt — 2 von denen haben wir tatsächlich basierend auf den Ergebnissen weiterverfolgt. Manchmal dauert es Dutzende von Experimenten, um sich auf eine Änderung zu entscheiden, manchmal dauert es mehr.

Laura: Alle unsere Metriken sind darauf ausgerichtet, die relevantesten Ergebnisse so weit wie möglich nach oben auf der Ergebnisliste zu haben. Aber aufgrund der Vielfalt unserer Kunden-Teams und der Inhalte in ihren Konten müssen wir dieses strenge Testverfahren durchlaufen, um sicherzustellen, dass wir positive Ergebnisse über unsere gesamte Kundenbasis hinweg sehen.

Jenna: Jedes Experiment, das wir durchführen, simuliert Hunderttausende von Suchen, was es uns ermöglicht, das Suchvolumen zu simulieren, das wir benötigen, um mit Zuversicht sagen zu können, dass eine Änderung sich positiv auf die Kunden auswirken wird.

Sobald wir Änderungen an unsere Nutzer ausrollen, wie messen wir deren Erfolg, um ihnen zu helfen, das zu finden, was sie brauchen?

Laura: Eine der größten Möglichkeiten, wie wir überwachen, wie die Suche für Kunden funktioniert, ist, eine Reihe von Metriken zu beobachten, die wir zusammengestellt haben. Es gibt eine Reihe von branchenüblichen Suchmetriken, die sich um Präzision und Rückruf drehen, die wir verwenden, um ein Gesamtbild davon zu bekommen, wie es läuft. Dies sind Formeln, die uns helfen, zu messen, ob wir relevante Inhalte zurückgeben und ob es für Suchende einfach ist, das zu finden, was sie in der Ergebnisliste benötigen (d.h. es ist oben). Wir sehen uns dann gezieltere Metriken an, die zeigen, wie es für verschiedene Arten von Suchen läuft. Wir werden also darauf achten, wie sich eine vorgeschlagene Änderung auf diese Metriken auswirkt, und dann, als nachfolgendes Indiz, auf das Kundenfeedback. Je nach Änderung erwarten wir möglicherweise (und erhalten) nicht viel Kundenfeedback, aber die Erwartung ist, dass sie den Einfluss der Änderungen spüren, indem sie das, was sie benötigen, schneller und mit weniger Reibung finden können.

Jenna: Wir versuchen im Grunde, zwei Fragen zu beantworten: Erstens, stellen wir nützliche Karten bereit? Und zweitens, vermeiden wir es, irrelevante Karten anzuzeigen? Ein weiterer Weg, wie wir die Auswirkungen bewerten, besteht darin, das Benutzerverhalten zu betrachten, nachdem ihre Ergebnisse angezeigt wurden — suchen sie erneut? Sehen sie sich mehr Karten an? Dies liefert hilfreiche Einblicke in den Erfolg ihrer Ergebnisse.

Wir enden mit meiner Lieblingsfrage — was kommt als Nächstes für Gurus Suche?

Laura: Kontinuierliche Verbesserung! Ich denke an zwei Hauptbereiche, an denen wir in Bezug auf die Suche arbeiten — den Algorithmus und die Benutzererfahrung des Suchprozesses. Im Moment konzentrieren wir uns mehr auf den Algorithmus, aber wir betrachten beide Aspekte als wichtig.

Langfristig wollen wir mehr Kontext in die Suche einbeziehen — einschließlich der voraussichtlichen Nutzung eines Benutzers basierend darauf, in welchem Team er ist, wie er mit anderen Karten interagiert usw. — um eine personalisierte Sucherfahrung zu bieten.

Nina: Wir möchten auch maschinelles Lernen nutzen, um die Absicht hinter einer Benutzersuche zu verstehen. Manchmal gibt es eine Lücke zwischen dem, was ein Benutzer tatsächlich eingibt, und dem, wonach er sucht. Zum Beispiel könnte ein Benutzer nach "Vertriebskommission" suchen, während die relevante Karte den Begriff "Provision" verwendet — also werden wir daran arbeiten, maschinelles Lernen zu verwenden, um diese Lücken zu schließen.

Jenna: Letztendlich kommt all dies mit der Einschränkung des Testens. Während wir all diese möglichen Änderungen testen, können wir mit Vertrauen sagen, dass wir niemals etwas ausrollen werden, das nicht im Rahmen unserer Experimentiermuster Verbesserungen zeigt.