Dai un'occhiata a uno qualsiasi dei blog sulle novità dei prodotti di Guru, e noterai un tema ricorrente: migliorare l'esperienza di ricerca per i nostri clienti. E per un buon motivo: con un team di ricerca dedicato di scienziati dei dati, product manager e ingegneri, la ricerca e la reperibilità delle conoscenze in Guru vengono sempre testate e migliorate. Come qualsiasi azienda tecnologica con funzionalità di ricerca, è una parte fondamentale di Guru che noi cerchiamo sempre di perfezionare e raffinare. Anche se i miglioramenti alla ricerca potrebbero non essere così “appariscenti” come i cambiamenti dell'interfaccia utente, i miglioramenti dell'IA o le nuove funzionalità, certamente fanno il loro effetto — e migliorano notevolmente l'esperienza di un utente con il nostro prodotto. Oggi ci stiamo aggiornando con il nostro team di ricerca per vedere su cosa hanno lavorato negli ultimi mesi.

Grazie a tutti e tre per essere con noi oggi! Per iniziare, potete dirci un po' di voi e di cosa vi occupate nel Pod di Ricerca di Guru?

Nina: Sono una scienziata dei dati nel Pod di Ricerca, quindi mi concentro su come possiamo sperimentare con i metodi di apprendimento automatico per migliorare la Ricerca. Ultimamente mi sono concentrata su come possiamo incorporare il modo in cui Cards (il formato in cui le informazioni sono documentate in Guru) vengono utilizzate (visualizzazione, copia del link o contenuto, aggiunta ai preferiti) nel nostro algoritmo di ricerca, e in futuro, mi occuperò di come possiamo capire meglio l'intento dell'utente durante la ricerca per assicurarci di portare loro le Cards più rilevanti.

Laura: Sono un product manager per il Pod di Ricerca, quindi trascorro molto tempo con i nostri clienti per ricevere il loro feedback e capire cosa è più utile e importante per loro. Poi, riporto tutto questo al team, in modo che possiamo prendere decisioni su come migliorare ed evolvere la ricerca nel tempo. Pianifico i nostri obiettivi a breve, medio e lungo termine in modo da poter fare miglioramenti continui su più aspetti della ricerca.

Jenna: Sono anche una scienziata dei dati nel Pod di Ricerca, e mi concentro specificamente sul nostro algoritmo. In questo momento, mi concentro sui nostri strumenti interni che ci permettono di sperimentare con diversi aggiustamenti dell'algoritmo e capire come potrebbero impattare i risultati di ricerca per i nostri clienti. Faccio anche analisi dei dati per confrontare come sta attualmente funzionando la nostra ricerca rispetto a come funzionerebbe con potenziali modifiche.

L'ultima volta che ci siamo aggiornati con il Pod di Ricerca, abbiamo parlato dei prossimi cambiamenti al nostro algoritmo e dei modi in cui testiamo i miglioramenti della ricerca. Puoi dirci un po' su come è andato quel lavoro?

Laura: Le nostre recenti modifiche hanno riguardato il prendere in considerazione l'uso delle Cards come un ulteriore fattore per trovare i risultati più rilevanti e utili.

Nina: L'idea è nata dal voler capire come i dati sull'uso delle Cards potessero influenzare il lavoro di IA in Guru in generale. Prima di applicare queste domande specificamente alla ricerca, abbiamo esplorato come la “popolarità” delle Cards fosse correlata all'utilità in un progetto di hackathon!

Jenna: L'uso delle Cards rientra nel nostro focus più ampio sul Pod di Ricerca di portare nuove fonti di dati che possono aiutarci a capire la pertinenza delle Cards. Quindi l'uso sarebbe una fonte di dati, così come il lavoro che Nina sta facendo per comprendere l'intento.

All'inizio, sapevamo di avere molti dati sui modi in cui le Cards venivano utilizzate tra i team, e abbiamo ipotizzato che il comportamento degli utenti intorno alle Cards potesse informare i miglioramenti della ricerca.

Nina: Penso sia importante notare che la ricerca non è solo abbinare termini chiave — è anche comprendere il contesto in cui e quando le Cards vengono utilizzate.

Laura: Guardiamo l'uso delle Cards per aiutare i nostri utenti in altre aree del prodotto — ad esempio, puoi vedere i dati di utilizzo delle Cards in attesa di verifica in “Le mie attività.”

Abbiamo anche punteggi di popolarità in tutta l'app — questi punti di dati sono destinati ad aiutare gli utenti a capire quali informazioni sono più critiche per il loro team.

Portare questi dati nella ricerca ci aiuta a rendere questa un'esperienza più universale.

Jenna: Questo ci aiuta anche a garantire che i risultati della ricerca siano utili e dinamici — ad esempio, forse il contenuto di una Card non cambia molto nel corso di un anno, ma l'uso aumenta notevolmente nello stesso arco di tempo. Ciò può indicare che la Card sta diventando sempre più utile per il team, e i risultati della ricerca dovrebbero rifletterlo.

Puoi dirci come il pod prende decisioni su se e come procedere con le modifiche?

Jenna: Il pod è molto sperimentale nel nostro approccio, e abbiamo una varietà di livelli per gli esperimenti. I nostri ambienti per i test sono completamente isolati dagli account dei clienti, e ci sono diversi round di testing che un esperimento deve “superare” prima che consideriamo di rilasciare le modifiche ai nostri clienti. Grazie alla nostra configurazione sperimentale, possiamo testare le modifiche molto rapidamente, e avere maggiore fiducia nelle modifiche che infine implementiamo ai nostri clienti.

Nina: Aggiungerei anche che tutti questi esperimenti sono estremamente orientati ai dati. Lavoreremo su diversi trial di una modifica contemporaneamente, per poi usare i dati per capire quale ha avuto il miglior impatto previsto sui risultati. Ad esempio, di recente abbiamo effettuato uno sprint con 110 esperimenti di vari livelli di granularità e complessità — 2 dei quali abbiamo deciso di proseguire in base ai risultati. A volte ci vogliono decine di esperimenti per decidere su una modifica, a volte ne servono di più.

Laura: Tutte le nostre metriche si concentrano sull'avere i risultati più rilevanti il più in alto possibile nella lista dei risultati. Ma a causa della varietà dei nostri team di clienti e dei contenuti nei loro account, dobbiamo passare attraverso questo rigoroso testing per garantire che vedremo risultati positivi in tutto il nostro base clienti.

Jenna: Ogni esperimento che conduciamo simula centinaia di migliaia di ricerche, il che ci consente di simulare il volume di ricerca di cui abbiamo bisogno per dire con fiducia che una modifica avrà un impatto positivo per i clienti su tutta la linea.

Una volta che implementiamo le modifiche agli utenti, come misuriamo il loro successo nell'aiutarli a trovare ciò di cui hanno bisogno?

Laura: Uno dei principali modi in cui monitoriamo come sta andando la ricerca per i clienti è osservando un insieme di metriche che abbiamo messo insieme. Ci sono diverse metriche standard del settore per la ricerca che si concentrano su precisione e richiamo che usiamo per avere un quadro complessivo di come stanno andando le cose. Queste sono formule che ci aiutano a misurare se stiamo restituendo contenuti rilevanti e se è facile per i ricercatori trovare ciò di cui hanno bisogno nell'elenco dei risultati (cioè, che siano in cima). Poi guardiamo metriche più mirate che ci mostrano come stanno andando le cose per diversi tipi di ricerche. Quindi esamineremo come una modifica proposta impatta quelle metriche, e poi come indicatore lagging, il feedback dei clienti. A seconda della modifica, potremmo o meno aspettarci (e ricevere) molti feedback dai clienti, ma l'aspettativa è che loro sentano l'impatto delle modifiche potendo trovare ciò di cui hanno bisogno più rapidamente e con meno attrito.

Jenna: Stiamo sostanzialmente cercando di rispondere a due domande: una, stiamo mettendo in evidenza Cards utili? E due, stiamo evitando di mettere in evidenza Cards irrilevanti? Un altro modo in cui valutiamo l'impatto è osservando il comportamento degli utenti dopo che i loro risultati sono stati messi in evidenza — stanno cercando di nuovo? Vedi più Cards? Ciò fornisce un utile approfondimento sul successo dei loro risultati.

Concluderemo con la mia domanda preferita — cosa c'è in programma per la ricerca di Guru?

Laura: Miglioramento continuo! Penso a due principali aree su cui lavoriamo riguardo alla ricerca: l'algoritmo e l'esperienza dell'utente del processo di ricerca. In questo momento, siamo più concentrati sull'algoritmo, ma consideriamo entrambi gli aspetti come importanti.

A lungo termine, vogliamo incorporare più contesto nella ricerca — incluso l'uso previsto di un utente basato su quale team si trova, come interagiscono con altre Cards, ecc. — per fornire un'esperienza di ricerca più personalizzata.

Nina: Vogliamo anche usare l'apprendimento automatico per capire l'intento dietro la ricerca di un utente. A volte, c'è un divario tra ciò che un utente digita realmente e ciò che sta cercando. Ad esempio, un utente potrebbe cercare "compensazione vendite" mentre la Card rilevante utilizza il termine "commissione" quindi ci impegneremo a utilizzare l'apprendimento automatico per affrontare questi divari.

Jenna: In definitiva, tutto ciò viene con la caution di test. Mentre testiamo tutte queste possibili modifiche, possiamo affermare con certezza che non rilasceremo nulla che non dimostri miglioramenti nel nostro framework di sperimentazione.