Kami selalu berusaha untuk meningkatkan dan memperbaiki pengalaman pengguna kami dengan Guru, mulai dari cara pengetahuan dibuat di editor kami hingga bagaimana cara itu dibagikan melalui Slack, Teams, dan seterusnya. Satu area yang memiliki tempat khusus di hati tim kami adalah fungsi pencarian kami, yang merupakan inti dari cara platform kami digunakan untuk mencari dan berbagi pengetahuan. November lalu, kami berbagi sebuah pandangan tentang bagaimana kami menggunakan data produk untuk meningkatkan pencarian di dalam Guru. Sejak saat itu, kami tidak melambat sedikitpun, melakukan peningkatan kecil pada UI pencarian kami di aplikasi web dan ekstensi browser kami, serta langsung pada algoritme kami. Hari ini, kami akan menyelami sesi Tanya Jawab dengan dua anggota tim pencarian kami yang berdedikasi untuk lebih memahami bagaimana kami memastikan bahwa pencarian di Guru selalu meningkat.

Terima kasih telah bergabung dengan kami, Nora dan Yev! Bisakah Anda memperkenalkan diri dan memberi tahu kami sedikit tentang apa yang Anda lakukan di Guru?

Nora: Terima kasih telah memanggil kami! Nama saya adalah Nora West, dan saya adalah Manajer Produk Senior untuk tim pencarian dan pengarang di Guru.

Yev: Terima kasih, Sydney. Nama saya Yev Meyer, dan saya adalah Staff Data Scientist di Guru.

Untuk memulai, saya ingin bertanya sedikit tentang tim pencarian kami (“pod”) di sini di Guru. Banyak orang mungkin tidak tahu bahwa kami memiliki satu tim yang sepenuhnya didedikasikan untuk pengalaman pencarian - dapatkah Anda memberi tahu kami sedikit tentang tim ini?

Yev: Pod pencarian kami adalah tim lintas fungsi yang sepenuhnya didedikasikan untuk satu tugas dalam memberikan pengalaman pencarian yang mulus untuk pelanggan kami. Pod pencarian mengumpulkan desainer, pengembang front-end, insinyur back-end, arsitek, ilmuwan data, insinyur pembelajaran mesin, dan manajer produk untuk merencanakan dan mengeksekusi pendekatan yang seimbang dan tepat untuk meningkatkan kemampuan pencarian kami.

Nora: Ya, tepat sekali. Terlepas dari judul kami yang tepat, kami bekerja sama sebagai tim untuk menciptakan pengalaman pencarian yang luar biasa dengan fokus pada desain eksternal pencarian dan fungsi algoritme internal. Saya membantu memprioritaskan pekerjaan kami berdasarkan umpan balik yang kami lihat, tujuan perusahaan, dan wawasan pasar yang relevan.

Yev: Saya membantu tim mengintegrasikan pemrosesan bahasa alami (NLP) dan pembelajaran mesin (ML) secara umum ke dalam semua aspek pencarian. Saya juga membantu tim menentukan strategi eksperimen kami, yang dengan hati-hati menyeimbangkan umpan balik pelanggan, metrik kinerja pencarian, dan wawasan tim/teknologi.

Pencarian bukanlah sesuatu yang banyak dipikirkan orang, tetapi itu adalah fungsionalitas inti dari alat seperti Guru. Bisakah Anda memberi kami gambaran umum tentang bagaimana pencarian Guru bekerja?

Yev: Bukan hanya pencarian yang sangat penting, tetapi menurut Google sendiri, ini bukanlah masalah yang terpecahkan, dan sangat sulit. Sementara sebagian besar orang tidak memikirkan banyak tentang pencarian dalam produk perangkat lunak (karena mereka sudah terbiasa “mencari” sesuatu), ada banyak hal yang terjadi di balik layar. Mulai dari memahami kueri pencarian (misalnya, menyimpulkan niat, mengekstrak makna semantik, memperbaiki kesalahan pengejaan, menulis ulang kueri menggunakan sinonim atau pendekatan lain untuk lebih baik menangkap niat, dll.) hingga menggabungkan konteks pencarian, hingga mengambil dan meranking hasil, semua pada skala — ini adalah masalah yang sulit dan menarik. Guru dibangun di atas pekerjaan groundbreaking dalam pencarian oleh tim-tim di belakang proyek open source Lucene, Solr, dan Elasticsearch, serta tim di perusahaan seperti Lucidworks, Elastic, Google, dan AWS untuk memastikan kami mengeluarkan pengetahuan yang paling relevan kepada pengguna kami.

Apa saja indikator yang Anda lihat untuk menentukan seberapa “baik” pencarian kami berfungsi? Bagaimana Anda mengidentifikasi peluang untuk meningkatkan dan/atau memperbaiki pencarian di dalam Guru?

Yev: Kami melihat baik indikator kualitatif maupun kuantitatif. Dari sisi kuantitatif, kami telah banyak menghabiskan waktu untuk membangun pelacakan acara ke dalam produk, sehingga kami dapat melacak data interaksi pengguna-produk. Dengan melihat data interaksi itu, kami dapat mengukur dengan cukup tepat seberapa baik pencarian berfungsi. Apakah kami mengembalikan hasil yang relevan? Apakah pengguna berinteraksi dengan hasil tersebut? Bagaimana? Di posisi mana hasil ini muncul ketika pengguna berinteraksi dengan mereka? Selain recall, mean average precision (MAP), dan metrik lain yang biasanya digunakan untuk menjawab pertanyaan ini, kami juga melihat frustrasi pengguna. Apakah orang mencari sesuatu yang lain tanpa berinteraksi dengan hasil pencarian? Apakah mereka merumuskan ulang kueri pencarian mereka? Ini hanya beberapa contoh umum dan setiap pertanyaan dapat lebih diperhalus untuk bagian produk tertentu, konteks tertentu, integrasi, dll.

Nora: Seperti yang dinyatakan Yev, data memberi kami wawasan yang luar biasa tentang tindakan yang diambil pengguna kami, yang memungkinkan kami untuk mengukur kinerja pencarian seiring waktu. Dengan wawasan ini, kami dapat mengoptimalkan untuk tindakan yang kami lihat pengguna terus ambil, dan membantu di mana kami melihat hasil yang buruk. Misalnya, kami melihat bahwa kueri pengguna sering mencakup kata-kata yang ada dalam judul Kartu yang mereka cari, jadi kami memperkenalkan pencarian judul cepat untuk membantu mereka mencapai Kartu tersebut lebih cepat. Saat ini, kami memfokuskan upaya untuk meningkatkan kinerja untuk pencarian yang lebih panjang. Data juga membantu kami mengkonfirmasi perubahan sebelum membawanya ke dalam produk. Dengan pengujian kami, kami dapat melihat apakah perubahan algoritme yang diusulkan akan  meningkatkan hasil sebelum diluncurkan kepada pelanggan — sehingga kami dapat yakin bahwa setiap perubahan yang kami lakukan meningkatkan pengalaman pencarian.

Yev: Di sisi kualitatif, kami terus-menerus memeriksa umpan balik pelanggan, dan berbicara dengan pelanggan secara langsung jika memungkinkan untuk menentukan apa yang berhasil dan apa yang tidak.

Nora: Ya, kami berbicara dengan pengguna kami sebanyak mungkin — data memungkinkan kami untuk menyimpulkan banyak hal, tetapi berbicara dengan pengguna membantu kami memahami motivasi di balik tindakan tersebut. Ini membantu kami untuk memverifikasi atau membantah tren yang kami lihat dalam data. Misalnya, ketika melihat Kartu yang secara konsisten digunakan pengguna, mereka sering dibatasi pada beberapa Koleksi dan Papan. Namun, ketika kami membahas ini dengan pengguna, mereka biasanya tidak menyadari struktur organisasi tim Guru mereka. Ini memberi tahu kami bahwa filter organisasi tambahan dalam pencarian mungkin meningkatkan bingung, daripada membuatnya lebih mudah untuk menemukan Kartu yang mereka cari.

Sepertinya perubahan algoritme pencarian dapat mempengaruhi pengalaman pengguna dalam menemukan pengetahuan di Guru. Bagaimana Anda menguji perubahan potensial untuk melihat dampak yang akan mereka miliki? Bagaimana Anda memutuskan untuk meluncurkannya (atau tidak)?

Yev: Pertanyaan yang bagus! Di Guru, kami mengadopsi budaya eksperimen, dan pod pencarian kami yang luar biasa telah membangun kerangka percobaan pencarian yang memungkinkan kami untuk dengan cepat mengulang kueri pencarian untuk menguji banyak ide tanpa mempengaruhi fungsi pencarian langsung. Setelah kami menganalisis data dan mengkonfirmasi bahwa hipotesis yang diuji memang menghasilkan peningkatan, kami kemudian melakukan uji langsung terbatas langsung di produk untuk sekelompok kecil tim dan pengguna. Jika tes itu lulus, kami kemudian meluncurkan perubahan kepada pelanggan kami.

Terima kasih kepada kalian berdua atas semua ini yang telah dibagikan kepada kami hari ini! Sebelum kami pergi, bisakah Anda memberi tahu kami apa yang selanjutnya untuk pencarian Guru?

Yev: Banyak perbaikan!

Nora: Ya, banyak perbaikan yang akan datang. Kuartal ini, kami fokus pada meningkatkan pengalaman pencarian untuk pencarian yang lebih panjang, dan tahun ini, kami mengoptimalkan untuk perbaikan algoritme. Kami juga meningkatkan sistem kami untuk meningkatkan kecepatan di mana kami dapat menguji dan meluncurkan perubahan kepada pengguna kami.

Untuk tetap up-to-date dengan penambahan iteratif pada fungsi pencarian Guru, langgananlah blog kami dan perhatikan rilis fitur mendatang.