Estamos sempre trabalhando para melhorar e aprimorar a experiência dos nossos usuários com o Guru, desde a forma como o conhecimento é criado em nosso editor até a maneira como é compartilhado através do Slack, Teams, e além. Uma área que ocupa um lugar especial no coração da nossa equipe é a funcionalidade de busca, que é fundamental para como nossa plataforma é usada para buscar e compartilhar conhecimento. No último novembro, compartilhamos uma visão de como usamos dados de produtos para melhorar a busca dentro do Guru. Desde então, não desaceleramos nem um pouco, fazendo melhorias incrementais na nossa interface de busca dentro de nosso aplicativo web e extensão de navegador, assim como diretamente em nosso algoritmo. Hoje, vamos nos aprofundar em uma sessão de perguntas e respostas com dois membros da nossa equipe de busca dedicada para entender melhor como garantimos que a busca no Guru está sempre melhorando.

Obrigado por se juntar a nós, Nora e Yev! Vocês podem se apresentar e contar um pouco sobre o que fazem no Guru?

Nora: Obrigada por nos receber! Meu nome é Nora West, e sou a Gerente Sênior de Produto das equipes de busca e autoria no Guru.

Yev: Obrigado, Sydney. Meu nome é Yev Meyer, e sou Cientista de Dados Sênior no Guru.

Para começar, quero perguntar um pouco sobre nossa equipe de busca (“pod”) aqui no Guru. Muitas pessoas talvez nem saibam que temos uma equipe inteira dedicada à experiência de busca — vocês podem nos contar um pouco sobre a equipe?

Yev: Nosso pod de busca é uma equipe multifuncional que é totalmente dedicada a uma única tarefa de fornecer uma experiência de busca fluida para nossos clientes. O pod de busca reúne designers, desenvolvedores front-end, engenheiros back-end, arquitetos, cientistas de dados, engenheiros de aprendizado de máquina e gerentes de produto para planejar e executar uma abordagem equilibrada e sólida para aumentar nossas capacidades de busca.

Nora: Isso mesmo, exatamente. Independentemente de nossos títulos exatos, trabalhamos juntos como uma equipe para criar uma experiência de busca incrível, focando tanto no design externo da busca quanto na função interna do algoritmo. Eu ajudo a priorizar nosso trabalho com base no feedback que estamos recebendo, nos objetivos da empresa e nas informações relevantes do mercado.

Yev: Eu ajudo a equipe a infundir processamento de linguagem natural (NLP) e aprendizado de máquina (ML) mais geralmente em todos os aspectos da busca. Eu também ajudo a equipe a definir nossa estratégia de experimentação, que equilibra cuidadosamente o feedback dos clientes, métricas de desempenho da busca e insights sobre equipe/tecnologia.

A busca não é algo que as pessoas pensam muito, mas é uma funcionalidade central de ferramentas como o Guru. Vocês podem nos dar uma visão básica de como a busca do Guru funciona?

Yev: Não só a busca é incrivelmente importante, mas de acordo com o próprio Google, não é um problema resolvido, e é incrivelmente difícil. Embora a maioria das pessoas não pense muito sobre busca em produtos de software (porque estão tão acostumadas a "googlar" as coisas), há muito acontecendo nos bastidores. Desde entender a consulta de busca (ex.: inferir intenção, extrair significado semântico, corrigir erros de ortografia, reescrever a consulta usando sinônimos ou outras abordagens para capturar melhor a intenção, etc.) até incorporar contexto de busca, recuperar e classificar resultados, tudo em grande escala — é um problema difícil e interessante. O Guru se baseia em trabalhos inovadores em busca das equipes dos projetos open source Lucene, Solr e Elasticsearch, assim como equipes em empresas como Lucidworks, Elastic, Google e AWS para garantir que apresentamos o conhecimento mais relevante para nossos usuários.

Quais são alguns dos indicadores que vocês analisam para determinar como a busca está "funcionando bem"? Como vocês identificam oportunidades para melhorar e/ou aprimorar a busca dentro do Guru?

Yev: Nós olhamos tanto para indicadores qualitativos quanto quantitativos. Do lado quantitativo, passamos muito tempo construindo rastreamento de eventos no produto, para que possamos rastrear dados de interação do usuário com o produto. Ao olhar para esses dados de interação, podemos medir com bastante precisão quão bem a busca está funcionando. Estamos retornando resultados relevantes? Os usuários estão interagindo com eles? Como? Em que posição esses resultados aparecem quando os usuários interagem com eles? Além da precisão, da média harmonizada (MAP) e de outras métricas típicas usadas para responder a essas perguntas, também analisamos a frustração dos usuários. As pessoas estão procurando algo diferente sem interagir com os resultados da busca? Elas estão reformulando suas consultas de busca? Esses são apenas alguns exemplos gerais e cada pergunta pode ser refinada a uma porção particular do produto, contexto específico, integração, etc.

Nora: Como o Yev disse, os dados nos fornecem uma visão incrível sobre as ações que nossos usuários estão tomando, o que nos permite medir o desempenho da busca ao longo do tempo. Com essas percepções, podemos otimizar as ações que vemos que os usuários estão continuamente realizando, e ajudar onde vemos resultados ruins. Por exemplo, vimos que as consultas dos usuários frequentemente incluíam palavras que estão no título do Card que estão procurando, então introduzimos uma pesquisa rápida por título para ajudá-los a encontrar esses Cards mais rápido. Agora, estamos focando esforços em melhorar o desempenho para buscas mais longas. Os dados também nos ajudam a confirmar uma mudança antes de trazê-la para o produto. Com nossos testes, podemos ver se as mudanças propostas no algoritmo irão melhorar os resultados antes de serem lançadas para os clientes — assim podemos ter certeza de que qualquer mudança que fazemos melhora a experiência de busca.

Yev: Do lado qualitativo, examinamos constantemente o feedback dos clientes e conversamos com os clientes em tempo real sempre que possível para determinar o que está funcionando e o que não está.

Nora: Sim, conversamos com nossos usuários o máximo que conseguimos — os dados nos permitem inferir muito, mas conversar com os usuários nos ajuda a entender a motivação por trás das ações. Isso nos ajuda a verificar ou refutar as tendências que estamos vendo nos dados. Por exemplo, ao observar os Cards que os usuários utilizam consistentemente, eles frequentemente estão limitados a algumas Coleções e Painéis. No entanto, quando discutimos isso com os usuários, geralmente eles não estão cientes da estrutura organizacional de sua equipe no Guru. Isso nos diz que filtros organizacionais adicionais na busca poderiam potencialmente aumentar a confusão, em vez de facilitar a localização do Card que eles estavam procurando.

Parece que as mudanças no algoritmo de busca podem impactar a experiência dos usuários ao encontrar conhecimento no Guru. Como vocês testam as possíveis mudanças para ver o impacto que terão? Como vocês decidem colocá-las ao vivo (ou não)?

Yev: Ótima pergunta! No Guru, abraçamos a cultura da experimentação, e nosso incrível pod de busca criou uma estrutura de testes de busca que nos permite rapidamente reproduzir consultas de busca para testar muitas ideias sem afetar a funcionalidade de busca ao vivo. Uma vez que analisamos os dados e confirmamos que a hipótese testada realmente resulta em melhoria, fazemos um teste ao vivo limitado diretamente no produto para um pequeno subconjunto de equipes e usuários. Se esse teste for aprovado, então lançamos a mudança para nossos clientes.

Obrigado a ambos por compartilhar tudo isso conosco hoje! Antes de irmos, vocês podem nos contar o que vem a seguir para a busca do Guru?

Yev: Muitas melhorias!

Nora: Sim, muitas melhorias pela frente. Neste trimestre, focamos em melhorar a experiência de busca para buscas mais longas, e este ano, estamos otimizando para melhorias no algoritmo. Também atualizamos nossos sistemas para aumentar a velocidade com que podemos testar e lançar mudanças para nossos usuários.

Para ficar por dentro das melhorias contínuas na funcionalidade de busca do Guru, assine nosso blog e fique atento às próximas lançamentos de recursos.