Stiamo sempre lavorando per migliorare l'esperienza dei nostri utenti con Guru, dal modo in cui viene creata la conoscenza nel nostro editor a come viene condivisa tramite Slack, Teams e oltre. Un'area che occupa un posto speciale nel cuore del nostro team è la funzionalità di ricerca, che è fondamentale per come la nostra piattaforma viene utilizzata per cercare e condividere conoscenze. Lo scorso novembre, abbiamo condiviso uno sguardo su come utilizziamo i dati del prodotto per migliorare la ricerca all'interno di Guru. Da allora, non abbiamo rallentato affatto, apportando miglioramenti incrementali alla nostra interfaccia di ricerca all'interno della nostra web app e dell'estensione del browser, così come direttamente al nostro algoritmo. Oggi, ci immergeremo in una sessione di domande e risposte con due membri del nostro team di ricerca dedicato per comprendere meglio come ci assicuriamo che la ricerca in Guru stia sempre migliorando.

Grazie per esservi uniti a noi, Nora e Yev! Potete presentarvi e dirci un po' di cosa fate in Guru?

Nora: Grazie per averci avuto! Mi chiamo Nora West e sono il Senior Product Manager per i team di ricerca e redazione di Guru.

Yev: Grazie, Sydney. Mi chiamo Yev Meyer e sono un Data Scientist Senior presso Guru.

Per iniziare, voglio chiedere un po' del nostro team di ricerca (“pod”) qui a Guru. Molte persone potrebbero non sapere nemmeno che abbiamo un intero team dedicato all'esperienza di ricerca — potete dirci un po' del team?

Yev: Il nostro pod di ricerca è un team interfunzionale che è interamente dedicato a un unico compito: fornire un'esperienza di ricerca senza soluzione di continuità per i nostri clienti. Il pod di ricerca riunisce designer, sviluppatori front-end, ingegneri back-end, architetti, data scientist, ingegneri di machine learning e product manager per pianificare ed eseguire un approccio equilibrato e solido per aumentare le nostre capacità di ricerca.

Nora: Sì, esattamente. Indipendentemente dai nostri titoli esatti, lavoriamo insieme come una squadra per creare un'esperienza di ricerca straordinaria, concentrandoci sia sul design esterno della ricerca che sulla funzione dell'algoritmo interno. Aiuto a dare priorità al nostro lavoro in base ai feedback che stiamo ricevendo, agli obiettivi aziendali e alle informazioni relative al mercato.

Yev: Aiuto il team a integrare l'elaborazione del linguaggio naturale (NLP) e l'apprendimento automatico (ML) più in generale in tutti gli aspetti della ricerca. Aiuto anche il team a definire la nostra strategia di sperimentazione, che bilancia attentamente i feedback dei clienti, le metriche di performance della ricerca e le intuizioni del team/tecnologia.

La ricerca non è qualcosa a cui le persone pensano molto, ma è una funzionalità fondamentale di strumenti come Guru. Potete darci una panoramica di base su come funziona la ricerca in Guru?

Yev: Non solo la ricerca è incredibilmente importante, ma secondo lo stesso Google, non è un problema risolto ed è incredibilmente difficile. Sebbene la maggior parte delle persone non pensi molto alla ricerca nei prodotti software (perché sono così abituati a "googlare" le cose), c'è molto che accade dietro le quinte. Dalla comprensione della query di ricerca (ad esempio, inferire l'intento, estrarre il significato semantico, correggere errori di ortografia, riscrivere la query utilizzando sinonimi o altri approcci per meglio catturare l'intento, ecc.) all'incorporazione del contesto di ricerca, fino al recupero e alla classificazione dei risultati, il tutto su larga scala — è un problema difficile e interessante. Guru si basa su lavori all'avanguardia nella ricerca da parte dei team dietro i progetti open source Lucene, Solr e Elasticsearch, così come da parte di team di aziende come Lucidworks, Elastic, Google e AWS per garantire che presentiamo le conoscenze più rilevanti ai nostri utenti.

Quali sono alcuni indicatori che osservate per determinare quanto bene funziona la nostra ricerca? Come identificate le opportunità per migliorare e/o aumentare la ricerca all'interno di Guru?

Yev: Guardiamo sia indicatori qualitativi che quantitativi. Dal lato quantitativo, abbiamo trascorso molto tempo a costruire il tracciamento degli eventi nel prodotto, in modo che possiamo tracciare i dati di interazione utente-prodotto. Guardando a quei dati di interazione, possiamo misurare piuttosto precisamente quanto bene sta funzionando la ricerca. Stiamo restituendo risultati pertinenti? Gli utenti interagiscono con essi? Come? In quale posizione appaiono questi risultati quando gli utenti interagiscono con essi? Oltre al richiamo, alla precisione media (MAP) e ad altre metriche comunemente utilizzate per rispondere a queste domande, osserviamo anche la frustrazione degli utenti. Le persone stanno cercando qualcosa d'altro senza interagire con i risultati di ricerca? Stanno riformulando le loro query di ricerca? Questi sono solo alcuni esempi generali e ogni domanda può essere ulteriormente raffinata a una particolare parte del prodotto, contesto particolare, integrazione, ecc.

Nora: Come ha affermato Yev, i dati ci danno un'incredibile comprensione delle azioni che i nostri utenti stanno intraprendendo, il che ci consente di misurare le prestazioni della ricerca nel tempo. Con queste intuizioni, possiamo ottimizzare per le azioni che vediamo gli utenti intraprendere continuamente e assistere dove vediamo risultati scarsi. Ad esempio, abbiamo visto che le query degli utenti spesso includevano parole che si trovano nel titolo della scheda che stanno cercando, quindi abbiamo introdotto la ricerca rapida per titolo per aiutarli a raggiungere quelle schede più velocemente. Proprio ora, ci stiamo concentrando a migliorare le prestazioni per ricerche più lunghe. I dati ci aiutano anche a confermare un cambiamento prima di portarlo nel prodotto. Con i nostri test, possiamo vedere se i cambiamenti proposti all'algoritmo miglioreranno i risultati prima che vengano rilasciati ai clienti — quindi possiamo essere certi che qualsiasi cambiamento che facciamo rilascia migliora l'esperienza di ricerca.

Yev: Dal lato qualitativo, esaminiamo costantemente il feedback dei clienti e parliamo con i clienti in tempo reale quando possibile per determinare cosa funziona e cosa no.

Nora: Sì, parliamo con i nostri utenti il più possibile — i dati ci consentono di inferire molto, ma parlare con gli utenti ci aiuta a comprendere la motivazione dietro le azioni. Questo ci aiuta a verificare o confutare le tendenze che vediamo nei dati. Ad esempio, osservando le Schede che gli utenti utilizzano costantemente, sono spesso limitate a poche Collezioni e Bacheche. Quando discutiamo di questo con gli utenti, tuttavia, di solito non sono a conoscenza della struttura organizzativa del loro team di Guru. Questo ci dice che filtri organizzativi aggiuntivi nella ricerca potrebbero potenzialmente aumentare la confusione, piuttosto che rendere più facile trovare la scheda che stavano cercando.

Sembra che le modifiche all'algoritmo di ricerca possano influenzare le esperienze degli utenti nel trovare conoscenze in Guru. Come testate potenziali cambiamenti per vedere l'impatto che avranno? Come decidete di attivarli (o meno)?

Yev: Ottima domanda! In Guru, abbracciamo la cultura della sperimentazione e il nostro incredibile pod di ricerca ha costruito un framework di prove di ricerca che ci consente di riprodurre rapidamente le query di ricerca per testare molte idee senza influenzare la funzionalità di ricerca attiva. Una volta che analizziamo i dati e confermiamo che l'ipotesi testata porta effettivamente a un miglioramento, eseguiamo quindi un test dal vivo limitato direttamente nel prodotto per un piccolo sottoinsieme di team e utenti. Se quel test viene superato, poi implementiamo il cambiamento per i nostri clienti.

Grazie a entrambi per aver condiviso tutto questo con noi oggi! Prima di andare, potete dirci cosa c'è in serbo per la ricerca di Guru?

Yev: Un sacco di miglioramenti!

Nora: Sì, molti miglioramenti in arrivo. In questo trimestre, ci siamo concentrati sul miglioramento dell'esperienza di ricerca per ricerche più lunghe e quest'anno stiamo ottimizzando per miglioramenti dell'algoritmo. Abbiamo anche aggiornato i nostri sistemi per aumentare la velocità con cui possiamo testare e rilasciare cambiamenti ai nostri utenti.

Per rimanere aggiornati sulle migliorie iterative alla funzionalità di ricerca di Guru, iscrivetevi al nostro blog e tenete d'occhio le prossime uscite di funzionalità.