Confira qualquer um dos posts no blog sobre lançamentos do Guru e você notará um tema recorrente: melhorar a experiência de busca para nossos clientes. E com boa razão — com uma equipe de busca dedicada composta por cientistas de dados, gerentes de produto e engenheiros, a descoberta de busca e conhecimento no Guru está sempre sendo testada e aprimorada. Como qualquer empresa de tecnologia com funcionalidade de busca, é uma parte fundamental do Guru que nós sempre buscaremos refinar e aperfeiçoar. Enquanto as melhorias na busca podem não ser tão "esplêndidas" quanto as mudanças na interface do usuário, melhorias em IA ou novos recursos, elas certamente ainda têm um grande impacto — e melhoram significativamente a experiência do usuário com nosso produto. Hoje, estamos atualizando com nossa equipe de busca para ver no que eles têm trabalhado nos últimos meses.

Obrigado a vocês três por se juntarem a nós hoje! Para começar, vocês podem nos contar um pouco sobre vocês e o que fazem no Search Pod do Guru?

Nina: Eu sou uma cientista de dados no Search Pod, então me concentro em descobrir quais métodos de aprendizado de máquina podemos experimentar para melhorar a busca. Recentemente, tenho me concentrado em como podemos incorporar a forma como Cards (o formato no qual as informações são documentadas no Guru) são usadas (visualizando, copiando o link ou conteúdo, adicionando aos favoritos) em nosso algoritmo de busca e, a partir de agora, estarei investigando como podemos entender melhor a intenção dos usuários durante a busca para garantir que estamos trazendo os Cards mais relevantes.

Laura: Sou gerente de produto do Search Pod, então passo muito tempo com nossos clientes para obter seu feedback e entender o que é mais útil e importante para eles. Em seguida, trago isso de volta para a equipe, para que possamos tomar decisões sobre como melhorar e evoluir a busca ao longo do tempo. Eu planejo nossas metas de curto, médio e longo prazo para que possamos fazer melhorias continuamente em vários aspectos da busca.

Jenna: Também sou uma cientista de dados no Search Pod e me concentro especificamente em nosso algoritmo. Neste momento, estou focada em nossas ferramentas internas que nos permitem experimentar diferentes ajustes de algoritmo e entender como eles podem impactar os resultados da busca para nossos clientes. Eu também faço análise de dados para comparar como nossa busca está se saindo atualmente versus como ela se comportaria com mudanças potenciais.

A última vez que conversamos com o Search Pod, falamos sobre mudanças futuras em nosso algoritmo e as maneiras pelas quais testamos melhorias de busca. Você pode nos contar um pouco sobre como esse trabalho está indo?

Laura: Nossas mudanças recentes têm se concentrado em levar em conta o uso dos Cards como um fator adicional para encontrar os resultados mais relevantes e úteis.

Nina: A ideia surgiu do desejo de entender como os dados de uso dos Cards poderiam impactar o trabalho de IA no Guru em geral. Antes de aplicar essas questões à busca especificamente, exploramos como a "popularidade" dos Cards se correlacionava com a utilidade em um projeto de hackathon!

Jenna: O uso de Cards se enquadra em nosso foco mais abrangente do Search Pod de trazer novas fontes de dados que podem nos ajudar a entender a relevância dos Cards. Então, o uso seria uma fonte de dados, assim como o trabalho que Nina está fazendo para entender a intenção.

No início, sabíamos que tínhamos muitos dados sobre as maneiras como os Cards estavam sendo usados pelas equipes e hipotetizamos que o comportamento dos usuários em relação aos Cards poderia informar as melhorias na busca.

Nina: Acho importante notar que a busca não é apenas piorando os termos-chave — é também entender o contexto de onde e quando os Cards estão sendo usados.

Laura: Observamos o uso de Cards para ajudar nossos usuários em outras áreas do produto — por exemplo, você pode ver dados de uso sobre Cards que estão aguardando sua verificação em "Minhas Tarefas".

Também temos pontuações de popularidade em todo o aplicativo — esses pontos de dados de uso são destinados a ajudar os usuários a entender quais informações são mais críticas para sua equipe.

Trazer esses dados para a busca nos ajuda a tornar isso uma experiência mais universal.

Jenna: Isso também nos ajuda a garantir que os resultados da busca sejam úteis e dinâmicos — por exemplo, talvez o conteúdo de um Card não mude muito ao longo de um ano, mas o uso aumenta dramaticamente durante o mesmo período. Isso pode indicar que o Card está se tornando cada vez mais útil para a equipe e os resultados da busca devem refletir isso.

Vocês podem nos contar como o pod toma decisões sobre se devemos ou não seguir em frente com as mudanças?

Jenna: O pod é muito experimental em nossa abordagem, e temos uma variedade de níveis para os experimentos. Nossos ambientes para testes estão completamente isolados das contas dos clientes, e há várias rodadas de testes que um experimento deve "passar" antes que possamos até considerar liberar as mudanças para nossos clientes. Por causa da nossa configuração experimental, conseguimos testar mudanças muito rapidamente e nos sentir mais confiantes sobre as mudanças que realmente implementamos para nossos clientes.

Nina: Eu também acrescentaria que todos esses experimentos são extremamente baseados em dados. Trabalharemos em várias tentativas de uma mudança ao mesmo tempo e, em seguida, usaremos dados para entender qual teve o melhor impacto pretendido nos resultados. Por exemplo, recentemente realizamos uma sprint com 110 experimentos de diferentes graus de granularidade e complexidade — 2 dos quais acabamos seguindo em frente com base nos resultados. Às vezes, leva dezenas de experimentos para decidir por uma mudança; às vezes, leva mais.

Laura: Todas as nossas métricas estão centradas em ter os resultados mais relevantes o mais alto possível na lista de resultados. Mas devido à variedade de nossas equipes de clientes e ao conteúdo em suas contas, temos que passar por esse rigoroso teste para garantir que veremos resultados positivos em nossa base de clientes em geral.

Jenna: Cada experimento que executamos simula centenas de milhares de buscas, o que nos permite simular o volume de busca que precisamos para afirmar com confiança que uma mudança impactará positivamente todos os clientes.

Uma vez que implementamos mudanças para nossos usuários, como medimos seu sucesso em ajudá-los a encontrar o que precisam?

Laura: Uma das maiores maneiras de monitorarmos como a busca está se saindo para os clientes é observando um conjunto de métricas que reunimos. Existem várias métricas padrão do setor para busca que se concentram em precisão e recorde, que usamos para obter uma visão geral de como as coisas estão indo. Estas são fórmulas que nos ajudam a medir se estamos retornando conteúdo relevante e se é fácil para os buscadores encontrarem o que precisam na lista de resultados (ou seja, está perto do topo). Em seguida, analisamos métricas mais direcionadas que nos mostram como as coisas estão indo para diferentes tipos de buscas. Então, veremos como uma mudança proposta impacta essas métricas e, como um indicador atrasado, o feedback dos clientes. Dependendo da mudança, podemos ou não esperar (e receber) muito feedback dos clientes, mas a expectativa é que eles sintam o impacto das mudanças sendo capazes de encontrar o que precisam mais rapidamente e com menos fricção.

Jenna: Estamos basicamente tentando responder a duas perguntas: primeiro, estamos trazendo à tona Cards úteis? E segundo, estamos evitando trazer à tona Cards irrelevantes? Outra maneira de avaliarmos o impacto é observando o comportamento do usuário após seus resultados terem sido apresentados — eles estão buscando novamente? Visualizando mais Cards? Isso fornece insights úteis sobre o sucesso de seus resultados.

Vamos terminar com minha pergunta favorita — o que vem a seguir para a busca do Guru?

Laura: Melhoria contínua! Eu penso em duas áreas principais em que trabalhamos em relação à busca — o algoritmo e a experiência do usuário no processo de busca. Neste momento, estamos mais focados no algoritmo, mas consideramos ambos os aspectos importantes.

A longo prazo, queremos incorporar mais contexto na busca — incluindo a utilização antecipada de um usuário com base em qual equipe estão, como interagem com outros Cards, etc. — para fornecer uma experiência de busca mais personalizada.

Nina: Também queremos usar aprendizado de máquina para entender a intenção por trás da busca de um usuário. Às vezes, há uma lacuna entre o que um usuário realmente digita e o que ele está procurando. Por exemplo, um usuário pode buscar por "compensação de vendas", enquanto o Card relevante usa o termo "comissão", então trabalharemos para usar aprendizado de máquina para abordar essas lacunas.

Jenna: Em última análise, tudo isso vem com a condição de teste. À medida que testamos todas essas possíveis mudanças, podemos afirmar com confiança que nunca iremos implementar nada que não demonstre melhorias em nosso framework de experimentação.