Consulta cualquiera de las publicaciones del blog de lanzamiento de Guru, y notarás un tema recurrente: mejorar la experiencia de búsqueda para nuestros clientes. Y con razón — con un equipo de búsqueda dedicado de científicos de datos, gerentes de producto e ingenieros, la búsqueda y la descubierta de conocimiento en Guru siempre están siendo probadas y mejoradas. Como cualquier empresa de tecnología con funcionalidad de búsqueda, es una parte fundamental de Guru que siempre buscamos refinar y perfeccionar. Mientras que las mejoras en la búsqueda pueden no ser tan “llamativas” como los cambios en la interfaz de usuario, las mejoras de IA o nuevas funciones, ciertamente tienen un impacto — y mejoran significativamente la experiencia de un usuario con nuestro producto. Hoy estamos poniéndonos al día con nuestro equipo de búsqueda para ver en qué han estado trabajando en los últimos meses.

Gracias a los tres por acompañarnos hoy! Para comenzar, ¿pueden contarnos un poco sobre ustedes y lo que hacen en el Search Pod de Guru?

Nina: Soy científica de datos en el Search Pod, así que me enfoco en averiguar qué métodos de aprendizaje automático podemos experimentar para mejorar la búsqueda. Recientemente me he centrado en cómo podemos incorporar la manera en que se utilizan las Tarjetas (el formato en que la información se documenta en Guru) (ver, copiar el enlace o contenido, marcar como favorito) en nuestro algoritmo de búsqueda, y de ahora en adelante, investigaré cómo podemos entender mejor la intención del usuario al buscar para asegurarnos de que les traemos las Tarjetas más relevantes.

Laura: Soy gerente de producto en el Search Pod, así que paso mucho tiempo con nuestros clientes para obtener sus comentarios y entender qué es lo más útil e importante para ellos. Luego, llevo esto de regreso al equipo, para que podamos tomar decisiones sobre cómo mejorar y evolucionar la búsqueda a lo largo del tiempo. Planeo nuestros objetivos a corto, mediano y largo plazo para que podamos realizar mejoras continuamente en múltiples aspectos de la búsqueda.

Jenna: También soy científica de datos en el Search Pod, y me enfoco específicamente en nuestro algoritmo. En este momento, me estoy enfocando en nuestras herramientas internas que nos permiten experimentar con diferentes ajustes del algoritmo y entender cómo podrían impactar los resultados de búsqueda para nuestros clientes. También hago análisis de datos para comparar cómo está funcionando actualmente nuestra búsqueda frente a cómo funcionaría con cambios potenciales.

La última vez que nos pusimos al día con el Search Pod, hablamos sobre los cambios futuros en nuestro algoritmo y las maneras en que probamos mejoras de búsqueda. ¿Pueden contarnos un poco sobre cómo ha ido ese trabajo?

Laura: Nuestros cambios recientes han estado enfocados en tener en cuenta el uso de Tarjetas como otro factor para encontrar los resultados más relevantes y útiles.

Nina: La idea surgió del deseo de entender cómo los datos de uso de Tarjetas podrían impactar el trabajo de IA en Guru en general. Antes de aplicar estas preguntas a la búsqueda específicamente, exploramos cómo la “popularidad” de las Tarjetas se correlacionaba con su utilidad en un proyecto de hackathon.

Jenna: El uso de Tarjetas cae bajo nuestro enfoque más amplio en el Search Pod de incorporar nuevas fuentes de datos que puedan ayudarnos a comprender la relevancia de las Tarjetas. Así que el uso sería una fuente de datos, así como el trabajo que Nina está haciendo para entender la intención.

Al principio, sabíamos que teníamos muchos datos sobre las formas en que las Tarjetas eran usadas en los equipos, y supusimos que el comportamiento del usuario alrededor de las Tarjetas podría informar mejoras en la búsqueda.

Nina: Creo que es importante señalar que la búsqueda no solo está emparejando términos clave — también es entender el contexto de dónde y cuándo se están usando las Tarjetas.

Laura: Observamos el uso de Tarjetas para ayudar a nuestros usuarios en otras áreas del producto — por ejemplo, puedes ver datos de uso sobre Tarjetas que están esperando tu verificación en “Mis Tareas.”

También tenemos puntajes de popularidad en toda la aplicación — estos puntos de datos de uso están destinados a ayudar a los usuarios a entender qué información es más crítica para su equipo.

Incorporar esos datos en la búsqueda nos ayuda a hacer que sea una experiencia más universal.

Jenna: Esto también nos ayuda a asegurarnos de que los resultados de búsqueda sean útiles y dinámicos — por ejemplo, tal vez el contenido de una Tarjeta no cambie mucho en el transcurso de un año, pero el uso aumenta drásticamente durante el mismo período. Esto puede indicar que la Tarjeta se está volviendo cada vez más útil para el equipo, y los resultados de búsqueda deberían reflejar eso.

¿Pueden contarnos cómo el pod toma decisiones sobre si avanzar o no con cambios?

Jenna: El pod es muy experimental en nuestro enfoque, y tenemos una variedad de niveles para los experimentos. Nuestros entornos para pruebas están completamente aislados de las cuentas de los clientes, y hay varias rondas de pruebas por las que un experimento debe “pasar” antes de que siquiera consideremos liberar los cambios a nuestros clientes. Debido a nuestra configuración experimental, podemos probar cambios realmente rápido y tener más confianza sobre los cambios que finalmente implementamos a nuestros clientes.

Nina: También diría que todos estos experimentos están extremadamente basados en datos. Trabajaremos en varias pruebas de un cambio a la vez, y luego usaremos datos para entender cuál tuvo el mejor impacto previsto en los resultados. Por ejemplo, recientemente realizamos un sprint con 110 experimentos de diversos grados de granularidad y complejidad — 2 de los cuales terminamos moviendo hacia adelante basándonos en los resultados. A veces, se requieren docenas de experimentos para decidir sobre un cambio, a veces se necesitan más.

Laura: Todas nuestras métricas están centradas en tener los resultados más relevantes lo más alto posible en la lista de resultados. Pero debido a la variedad de nuestros equipos de clientes y el contenido en sus cuentas, debemos pasar por esta rigurosa prueba para asegurarnos de que obtendremos resultados positivos en toda nuestra base de clientes.

Jenna: Cada experimento que realizamos simula cientos de miles de búsquedas, lo que nos permite simular el volumen de búsqueda que necesitamos para decir con confianza que un cambio tendrá un impacto positivo en los clientes.

Una vez que implementemos cambios para nuestros usuarios, ¿cómo medimos su éxito en ayudarles a encontrar lo que necesitan?

Laura: Una de las principales formas en que monitoreamos cómo está funcionando la búsqueda para los clientes es observando un conjunto de métricas que hemos elaborado. Hay una serie de métricas estándar de la industria para la búsqueda que giran en torno a la precisión y el recuerdo que utilizamos para obtener una imagen general de cómo van las cosas. Estas son fórmulas que nos ayudan a medir si estamos devolviendo contenido relevante y si es fácil para los buscadores encontrar lo que necesitan en la lista de resultados (es decir, está cerca de la parte superior). Luego miramos métricas más específicas que nos muestran cómo están las cosas para diferentes tipos de búsquedas. Así que analizaremos cómo un cambio propuesto impacta esas métricas, y luego, como indicador rezagado, los comentarios de los clientes. Dependiendo del cambio, podemos o no esperar (y obtener) muchos comentarios de clientes, pero la expectativa es que ellos sientan el impacto de los cambios al poder encontrar lo que necesitan más rápido y con menos fricción.

Jenna: Básicamente, estamos tratando de responder a dos preguntas: una, ¿estamos destacando Tarjetas útiles? Y dos, ¿estamos evitando mostrar Tarjetas irrelevantes? Otra manera en que evaluamos el impacto es mirando el comportamiento del usuario después de que se han mostrado sus resultados — ¿están buscando de nuevo? ¿Viendo más Tarjetas? Esto proporciona información útil sobre el éxito de sus resultados.

Terminaremos con mi pregunta favorita — ¿qué sigue para la búsqueda de Guru?

Laura: ¡Mejora continua! Pienso en dos áreas principales en las que trabajamos con respecto a la búsqueda — el algoritmo y la experiencia del usuario en el proceso de búsqueda. En este momento, nos enfocamos más en el algoritmo, pero consideramos que ambos aspectos son importantes.

A largo plazo, queremos incorporar más contexto en la búsqueda — incluyendo el uso anticipado de un usuario basado en en qué equipo están, cómo interactúan con otras Tarjetas, etc. — para proporcionar una experiencia de búsqueda más personalizada.

Nina: También queremos utilizar el aprendizaje automático para entender la intención detrás de la búsqueda de un usuario. A veces, existe una brecha entre lo que un usuario realmente escribe y lo que está buscando. Por ejemplo, un usuario puede buscar "compensación de ventas" mientras que la Tarjeta relevante utiliza el término "comisión" así que trabajaremos para utilizar el aprendizaje automático para abordar esas brechas.

Jenna: En última instancia, todo esto viene con la advertencia de la prueba. A medida que probamos todos estos posibles cambios, podemos afirmar con confianza que nunca lanzaremos nada que no demuestre una mejora en nuestro marco de experimentación.