How Data Scientists Improve Guru's Search Functionality

Découvrez n'importe lequel des articles de lancement de produit de Guru, et vous remarquerez un thème récurrent : améliorer l'expérience de recherche pour nos clients. Et pour de bonnes raisons — avec une équipe de recherche dédiée de scientifiques des données, de chefs de produit et d'ingénieurs, la recherche et la découvrabilité des connaissances dans Guru sont toujours testées et améliorées. Comme toute entreprise technologique disposant de fonctionnalités de recherche, il s'agit d'une partie fondamentale de Guru que nous chercherons toujours à affiner et à perfectionner. Bien que les améliorations de recherche puissent ne pas être aussi "voyantes" que les changements d'interface utilisateur, les améliorations d'IA ou les nouvelles fonctionnalités, elles ont certainement un impact considérable — et améliorent significativement l'expérience d'un utilisateur avec notre produit. Aujourd'hui, nous faisons le point avec notre équipe de recherche pour voir sur quoi ils ont travaillé au cours des derniers mois.

Merci à vous trois de vous joindre à nous aujourd'hui ! Pour commencer, pouvez-vous nous parler un peu de vous et de ce que vous faites dans l’équipe de recherche de Guru ?

Nina : Je suis scientifique de données dans l'équipe de recherche, donc je me concentre sur la compréhension des méthodes d'apprentissage automatique que nous pouvons expérimenter pour améliorer la recherche. Je me suis récemment concentrée sur la façon dont nous pouvons incorporer la manière dont les Cartes (le format dans lequel l'information est documentée avec Guru) sont utilisées (visualisation, copie du lien ou du contenu, ajout aux favoris) dans notre algorithme de recherche, et je vais de l'avant, je vais examiner comment nous pouvons mieux comprendre l'intention des utilisateurs lors de la recherche pour nous assurer que nous leur apportons les Cartes les plus pertinentes.

Laura : Je suis responsable produit pour l'équipe de recherche, donc je passe beaucoup de temps avec nos clients pour obtenir leurs retours et comprendre ce qui leur est le plus utile et important. Ensuite, je ramène cela à l'équipe afin que nous puissions prendre des décisions sur la manière d'améliorer et d'évoluer la recherche au fil du temps. Je planifie nos objectifs à court, moyen et long terme afin que nous puissions apporter des améliorations continues sur plusieurs aspects de la recherche.

Jenna : Je suis aussi scientifique de données dans l'équipe de recherche, et je me concentre spécifiquement sur notre algorithme. En ce moment, je me concentre sur nos outils internes qui nous permettent d'expérimenter différents ajustements d'algorithmes et de comprendre comment ils pourraient impacter les résultats de recherche pour nos clients. Je fais aussi de l'analyse de données pour comparer la manière dont notre recherche fonctionne actuellement par rapport à comment elle fonctionnerait avec des changements potentiels.

La dernière fois que nous avons fait le point avec l'équipe de recherche, nous avons parlé des changements à venir dans notre algorithme et des façons dont nous testons les améliorations de la recherche. Pouvez-vous nous dire un peu comment ce travail se passe ?

Laura : Nos changements récents ont porté sur le fait de prendre en compte l'utilisation des Cartes comme un autre facteur pour trouver les résultats les plus pertinents et utiles.

Nina : L'idée est née de la volonté de comprendre comment les données d'utilisation des Cartes pourraient impacter le travail d'IA chez Guru en général. Avant d'appliquer ces questions spécifiquement à la recherche, nous avons exploré comment la "popularité" des Cartes était corrélée à leur utilité dans un projet de hackathon !

Jenna : L'utilisation des Cartes relève de notre plus grand objectif dans l'équipe de recherche d'intégrer de nouvelles sources de données qui peuvent nous aider à comprendre la pertinence des Cartes. Ainsi, l'utilisation serait une source de données, tout comme le travail que Nina fait pour comprendre l'intention.

Au début, nous savions que nous avions beaucoup de données sur les façons dont les Cartes étaient utilisées à travers les équipes, et nous avons émis l'hypothèse que le comportement des utilisateurs autour des Cartes pourrait informer les améliorations de la recherche.

Nina : Je pense qu'il est important de noter que la recherche ne consiste pas seulement à faire correspondre des termes clés — il s'agit aussi de comprendre le contexte dans lequel et quand les Cartes sont utilisées.

Laura : Nous regardons l'utilisation des Cartes pour aider nos utilisateurs dans d'autres domaines du produit — par exemple, vous pouvez voir des données d'utilisation concernant les Cartes en attente de votre vérification dans « Mes tâches ».

Nous avons également des scores de popularité dans toute l'application — ces données d'utilisation sont destinées à aider les utilisateurs à comprendre quelles informations sont les plus critiques pour leur équipe.

Intégrer ces données dans la recherche nous aide à rendre cela plus universel.

Jenna : Cela nous aide également à nous assurer que les résultats de recherche sont utiles et dynamiques — par exemple, peut-être qu'un contenu de Carte ne change pas beaucoup au cours de l'année, mais l'utilisation augmente considérablement au même moment. Cela peut indiquer que la Carte devient de plus en plus utile pour l'équipe, et que les résultats de recherche devraient le refléter.

Pouvez-vous nous dire comment l'équipe prend des décisions sur la question de savoir s'il faut ou non aller de l'avant avec des changements ?

Jenna : L'équipe est très expérimentale dans notre approche, et nous avons une variété de niveaux pour les expériences. Nos environnements de test sont complètement isolés des comptes clients, et il y a plusieurs tours de tests qu'une expérience doit "réussir" avant que nous envisagions même de publier les modifications à nos clients. En raison de notre configuration expérimentale, nous pouvons tester les changements très rapidement, et être plus confiants sur les changements que nous déployons finalement auprès de nos clients.

Nina : J'ajouterais également que toutes ces expériences sont extrêmement axées sur les données. Nous travaillerons sur plusieurs essais d'un changement en même temps, puis utiliserons les données pour comprendre lequel a eu le meilleur impact voulu sur les résultats. Par exemple, nous avons récemment réalisé un sprint avec 110 expériences de différents degrés de granularité et de complexité — dont 2 que nous avons finalement décidées d'avancer sur la base des résultats. Parfois, il faut des dizaines d'expériences pour décider d'un changement, parfois cela en nécessite plus.

Laura : Tous nos indicateurs sont centrés sur le fait d'avoir les résultats les plus pertinents aussi haut que possible sur la liste des résultats. Mais en raison de la diversité de nos équipes clientes et du contenu dans leurs comptes, nous devons passer par ces tests rigoureux pour nous assurer que nous obtiendrons des résultats positifs pour l'ensemble de notre clientèle.

Jenna : Chaque expérience que nous faisons simule des centaines de milliers de recherches, ce qui nous permet de simuler le volume de recherche dont nous avons besoin pour affirmer avec confiance qu'un changement impactera positivement les clients dans l'ensemble.

Une fois que nous avons déployé des changements pour nos utilisateurs, comment mesurons-nous leur succès à les aider à trouver ce dont ils ont besoin ?

Laura : L'un des plus grands moyens de surveiller la performance de la recherche pour les clients est d'observer un ensemble de métriques que nous avons mises en place. Il existe un certain nombre de métriques standard de l'industrie pour la recherche qui sont centrées sur la précision et le rappel que nous utilisons pour obtenir une vue d'ensemble de la situation. Ce sont des formules qui nous aident à mesurer si nous renvoyons un contenu pertinent et s'il est facile pour les chercheurs de trouver ce dont ils ont besoin dans la liste des résultats (c'est-à-dire, c'est près du sommet). Nous examinons ensuite des métriques plus ciblées qui nous montrent comment les choses évoluent pour différents types de recherches. Ainsi, nous examinerons comment un changement proposé impacte ces métriques, et ensuite, comme un indicateur retardé, les retours des clients. En fonction du changement, nous ne nous attendons pas forcément à beaucoup de retours clients, mais l'attente est qu'ils ressentent l'impact des changements en étant capables de trouver ce dont ils ont besoin plus rapidement et avec moins de friction.

Jenna : Nous essayons essentiellement de répondre à deux questions : d'abord, faisons-nous remonter des Cartes utiles ? Et deuxièmement, évitons-nous de faire remonter des Cartes non pertinentes ? Une autre façon d'évaluer l'impact est d'examiner le comportement des utilisateurs après que leurs résultats ont été affichés — recherchent-ils à nouveau ? Visualisent-ils plus de Cartes ? Cela fournit des informations utiles sur le succès de leurs résultats.

Nous terminerons par ma question préférée : quel est l'avenir de la recherche chez Guru ?

Laura : Amélioration continue ! Je pense à deux grands domaines sur lesquels nous travaillons concernant la recherche — l'algorithme et l'expérience utilisateur du processus de recherche. En ce moment, nous sommes plus concentrés sur l'algorithme, mais nous considérons que les deux aspects sont importants.

À long terme, nous voulons intégrer plus de contexte dans la recherche — y compris l'utilisation anticipée d'un utilisateur basée sur l'équipe à laquelle il appartient, comment il interagit avec d'autres Cartes, etc. — pour offrir une expérience de recherche plus personnalisée.

Nina : Nous souhaitons également utiliser l'apprentissage automatique pour comprendre l'intention derrière la recherche d'un utilisateur. Parfois, il y a un écart entre ce qu'un utilisateur tape réellement et ce qu'il recherche. Par exemple, un utilisateur pourrait rechercher "compensation des ventes" tandis que la Carte pertinente utilise le terme "commission", donc nous allons travailler à utiliser l'apprentissage automatique pour combler ces lacunes.

Jenna : En fin de compte, tout cela s'accompagne de la condition de test. Alors que nous testons tous ces changements possibles, nous pouvons dire avec confiance que nous ne déploierons jamais rien qui ne démontre pas d'amélioration dans notre cadre d'expérimentation.