Periksa produk Guru mana pun blog peluncuran, dan Anda akan menemukan tema yang berulang: meningkatkan pengalaman pencarian bagi pelanggan kami. Dan dengan alasan yang baik — dengan tim pencarian yang terdiri dari ilmuwan data, manajer produk, dan insinyur, pencarian dan penemuan pengetahuan di Guru selalu diuji dan ditingkatkan. Seperti perusahaan teknologi lain dengan fungsi pencarian, ini merupakan bagian dasar dari Guru yang akan selalu kami upayakan untuk perbaiki dan sempurnakan. Meskipun pengembangan pencarian mungkin tidak semenarik perubahan UI, peningkatan AI, atau fitur baru, mereka pasti masih memberikan dampak besar — dan secara signifikan meningkatkan pengalaman pengguna dengan produk kami. Hari ini kami akan mengejar tim pencarian kami untuk melihat apa yang telah mereka kerjakan dalam beberapa bulan terakhir.

Terima kasih kepada kalian bertiga telah bergabung dengan kami hari ini! Untuk memulai, dapatkah Anda menceritakan sedikit tentang diri Anda dan apa yang Anda kerjakan di Pod Pencarian Guru?

Nina: Saya seorang ilmuwan data di Pod Pencarian, jadi saya fokus untuk mencari tahu metode pembelajaran mesin apa yang dapat kami eksperimen untuk meningkatkan Pencarian. Saya baru-baru ini fokus pada bagaimana kami dapat menggabungkan cara Kartu (format di mana informasi didokumentasikan di Guru) digunakan (melihat, menyalin tautan atau konten, menandai favorit) ke dalam algoritma Pencarian kami, dan ke depan, saya akan mencari bagaimana kami dapat lebih memahami niat pengguna saat mencari untuk memastikan kami memberikan Kartu yang paling relevan.

Laura: Saya juga seorang manajer produk untuk Pod Pencarian, jadi saya menghabiskan banyak waktu dengan pelanggan kami untuk mendapatkan umpan balik mereka dan memahami apa yang paling membantu dan penting bagi mereka. Kemudian, saya membawa ini kembali ke tim, agar kami dapat membuat keputusan tentang bagaimana memperbaiki dan mengembangkan pencarian dari waktu ke waktu. Saya merencanakan tujuan jangka pendek, menengah, dan panjang kami sehingga kami dapat membuat perbaikan secara terus-menerus pada berbagai aspek pencarian.

Jenna: Saya juga seorang ilmuwan data di Pod Pencarian, dan saya fokus pada algoritma kami secara khusus. Saat ini, saya fokus pada alat internal kami yang memungkinkan kami untuk bereksperimen dengan berbagai penyesuaian algoritma dan memahami bagaimana mereka dapat memengaruhi hasil pencarian untuk pelanggan kami. Saya juga melakukan analisis data untuk membandingkan bagaimana pencarian kami saat ini berkinerja dibandingkan dengan bagaimana ia akan berkinerja dengan perubahan yang mungkin dilakukan.

Terakhir kali kami bertemu dengan Pod Pencarian, kami membahas perubahan yang akan datang pada algoritma kami dan cara kami menguji peningkatan pencarian. Dapatkah Anda memberi tahu kami sedikit tentang bagaimana pekerjaan itu berjalan?

Laura: Perubahan terbaru kami berfokus pada penggunaan Kartu sebagai faktor lain untuk menemukan hasil yang paling relevan dan berguna.

Nina: Ide ini muncul dari keinginan untuk memahami bagaimana data penggunaan Kartu dapat memengaruhi pekerjaan AI di Guru secara umum. Sebelum menerapkan pertanyaan-pertanyaan ini secara spesifik pada pencarian, kami menjelajahi bagaimana “popularitas” Kartu berkorelasi dengan kegunaan dalam proyek hackathon!

Jenna: penggunaan Kartu termasuk dalam fokus kami yang lebih luas di Pod Pencarian untuk membawa sumber data baru yang dapat membantu kami memahami relevansi Kartu. Jadi penggunaan akan menjadi sumber data, serta pekerjaan yang dilakukan Nina untuk memahami niat.

Di awal, kami tahu bahwa kami memiliki banyak data tentang cara Kartu digunakan di seluruh tim, dan kami berhipotesis bahwa perilaku pengguna seputar Kartu dapat memberikan informasi untuk peningkatan pencarian.

Nina: Saya rasa penting untuk dicatat bahwa pencarian tidak hanya mencocokkan istilah kunci — itu juga memahami konteks di mana dan kapan Kartu digunakan.

Laura: Kami melihat penggunaan Kartu untuk membantu pengguna kami di area lain dari produk — misalnya, Anda dapat melihat data penggunaan di sekitar Kartu yang menunggu verifikasi Anda di “Tugas Saya.”

Kami juga memiliki skor popularitas di seluruh aplikasi — data penggunaan ini ditujukan untuk membantu pengguna memahami informasi apa yang paling kritis untuk tim mereka.

Membawa data itu ke dalam pencarian membantu kami membuat pengalaman itu lebih universal.

Jenna: Ini juga membantu kami memastikan bahwa hasil pencarian berguna dan dinamis — misalnya, mungkin konten Kartu tidak banyak berubah selama setahun, tetapi penggunaan meningkat secara dramatis selama periode yang sama. Ini mungkin menunjukkan bahwa Kartu tersebut semakin berguna bagi tim, dan hasil pencarian harus mencerminkan itu.

Dapatkah Anda memberi tahu kami bagaimana pod membuat keputusan tentang apakah akan melanjutkan atau tidak dengan perubahan?

Jenna: Pod sangat eksperimental dalam pendekatan kami, dan kami memiliki berbagai tingkat untuk eksperimen. Lingkungan kami untuk pengujian sepenuhnya terisolasi dari akun pelanggan, dan ada beberapa putaran pengujian yang harus dilalui oleh eksperimen sebelum kami bahkan mempertimbangkan untuk merilis perubahan kepada pelanggan kami. Karena pengaturan eksperimental kami, kami dapat menguji perubahan dengan sangat cepat, dan lebih percaya diri tentang perubahan yang akhirnya kami terapkan kepada pelanggan kami.

Nina: Saya juga ingin menambahkan bahwa semua eksperimen ini sangat berbasis data. Kami akan mengerjakan beberapa percobaan perubahan sekaligus, dan kemudian menggunakan data untuk memahami mana yang memiliki dampak terbaik pada hasil. Misalnya, baru-baru ini kami menjalankan sprint dengan 110 eksperimen dengan berbagai tingkat granularitas dan kompleksitas — 2 di antaranya kami lanjutkan berdasarkan hasil. Terkadang dibutuhkan puluhan eksperimen untuk memutuskan sebuah perubahan, terkadang lebih banyak lagi.

Laura: Semua metrik kami berfokus pada memiliki hasil yang paling relevan di daftar hasil setinggi mungkin. Tetapi karena variasi tim pelanggan kami dan konten di akun mereka, kami harus melalui pengujian yang ketat ini untuk memastikan bahwa kami akan melihat hasil positif di seluruh basis pelanggan kami.

Jenna: Setiap eksperimen yang kami jalankan mensimulasikan ratusan ribu pencarian, yang memungkinkan kami untuk mensimulasikan volume pencarian yang kami butuhkan untuk dengan percaya diri mengatakan bahwa sebuah perubahan akan berdampak positif pada pelanggan secara keseluruhan.

Setelah kami melakukan perubahan kepada pengguna kami, bagaimana kami mengukur keberhasilan mereka dalam membantu mereka menemukan apa yang mereka butuhkan?

Laura: Salah satu cara terbesar kami memantau bagaimana pencarian berkinerja untuk pelanggan adalah dengan melihat serangkaian metrik yang telah kami susun. Ada sejumlah metrik standar industri untuk pencarian yang berfokus pada presisi dan recall yang kami gunakan untuk mendapatkan gambaran umum tentang bagaimana keadaan berjalan. Ini adalah rumus yang membantu kami mengukur apakah kami mengembalikan konten yang relevan dan jika itu mudah bagi pencari untuk menemukan apa yang mereka butuhkan dalam daftar hasil (yaitu, itu di dekat bagian atas). Kemudian kami melihat metrik yang lebih terarah yang menunjukan bagaimana keadaan berjalan untuk berbagai jenis pencarian. Jadi kami akan melihat bagaimana perubahan yang diusulkan berdampak pada metrik tersebut, dan kemudian sebagai indikator lagging, umpan balik pelanggan. Tergantung pada perubahan, kami mungkin tidak mengharapkan (dan mendapatkan) banyak umpan balik pelanggan, tetapi harapannya adalah bahwa mereka merasakan dampak perubahan dengan dapat menemukan apa yang mereka butuhkan lebih cepat dan dengan lebih sedikit gesekan.

Jenna: Kami pada dasarnya mencoba menjawab dua pertanyaan: satu, apakah kami menampilkan Kartu yang berguna? Dan dua, apakah kami menghindari menampilkan Kartu yang tidak relevan? Cara lain kami mengevaluasi dampak adalah dengan melihat perilaku pengguna setelah hasil mereka ditampilkan — apakah mereka mencari lagi? Melihat lebih banyak Kartu? Ini memberikan wawasan yang berguna tentang keberhasilan hasil mereka.

Kami akan mengakhiri pada pertanyaan favorit saya — apa yang selanjutnya untuk pencarian Guru?

Laura: Peningkatan berkelanjutan! Saya memikirkan dua bidang utama yang kami kerjakan terkait pencarian — algoritma, dan pengalaman pengguna dari proses pencarian. Saat ini, kami lebih fokus pada algoritma, tetapi kami menganggap kedua aspek ini penting.

Dalam jangka panjang, kami ingin memasukkan lebih banyak konteks ke dalam pencarian — termasuk penggunaan yang diperkirakan pengguna berdasarkan tim mana mereka berada, bagaimana mereka berinteraksi dengan Kartu lainnya, dll. — untuk memberikan pengalaman pencarian yang lebih dipersonalisasi.

Nina: Kami juga ingin menggunakan pembelajaran mesin untuk memahami niat di balik pencarian pengguna. Terkadang, ada jarak antara apa yang sebenarnya diketik pengguna dan apa yang mereka cari. Sebagai contoh, seorang pengguna mungkin mencari "kompensasi penjualan" sementara Kartu yang relevan menggunakan istilah "komisi" sehingga kami akan bekerja untuk menggunakan pembelajaran mesin untuk mengatasi kesenjangan tersebut.

Jenna: Akhirnya, semua ini datang dengan caveat pengujian. Saat kami menguji semua kemungkinan perubahan ini, kami dapat dengan percaya diri mengatakan bahwa kami tidak akan pernah menerapkan apapun yang tidak menunjukkan perbaikan dalam kerangka eksperimen kami.