Guru’nun ürün pazarlama blog yazılarından herhangi birini kontrol edin ve sürekli bir tema göreceksiniz: müşterilerimizin arama deneyimini iyileştirmek. Ve haklı bir neden var —veri bilimcileri, ürün yöneticileri ve mühendislerden oluşan özel bir arama ekibi ile Guru'daki arama ve bilgi bulabilirlik sürekli test ediliyor ve geliştiriliyor. Arama işlevselliğine sahip herhangi bir teknoloji şirketi gibi, bu Guru'nun temel bir parçasıdır ve biz de her zaman ince ayar yapmayı hedefleyeceğiz. Arama iyileştirmeleri kullanıcı arayüzü değişiklikleri, yapay zeka iyileştirmeleri veya yeni özellikler kadar “gösterişli” olmayabilir, ancak kesinlikle etkili — ve bir kullanıcının üründeki deneyimini önemli ölçüde artırır. Bugün, arama ekibimizle son birkaç aydır üzerinde çalıştıkları konuda bir görüşme yapıyoruz.

Bugün bizimle birlikte olduğunuz için teşekkürler! Başlamak için, kendiniz ve Guru’nun Arama Podu'ndaki görevleriniz hakkında bize biraz bilgi verir misiniz?

Nina: Ben Arama Podunda bir veri bilimcisiyim, bu yüzden aramayı geliştirmek için hangi makine öğrenme yöntemlerini deneyebileceğimizi bulmaya odaklanıyorum. Son zamanlarda, Kartların (bilgilerin Guru ile belgelendiği format) nasıl kullanıldığını (görüntüleme, bağlantıyı veya içeriği kopyalama, favorilere ekleme) arama algoritmamıza dahil etmenin yollarını düşünüyordum ve ileriye dönük olarak, kullanıcıların arama yaparken niyetlerini daha iyi anlamaya yönelik çalışacağım, böylece onlara en alakalı Kartları sunacağız.

Laura: Ben de Arama Podunda bir ürün yöneticisiyim, bu yüzden müşterilerimizle zaman harcıyorum, onların geri bildirimlerini almak ve en faydalı ve önemli olanı anlamak için. Sonra, bunu ekibe getiriyorum, böylece aramayı geliştirmek ve evrim geçirmek için kararlar alabiliyoruz. Kısa, orta ve uzun vadeli hedeflerimizi planlıyorum, böylece arama ile ilgili çeşitli yönlerde sürekli iyileştirmeler yapabiliyoruz.

Jenna: Ben de Arama Podunda bir veri bilimcisiyim ve özel olarak algoritmamıza odaklanıyorum. Şu anda, algoritmamız üzerinde çalışmamızı sağlayan iç araçlarımıza odaklanıyorum ve bu araçları kullanarak yapılan farklı algoritma ayarlarının müşterilerimiz için arama sonuçlarını nasıl etkileyebileceğini anlayabiliyoruz. Ayrıca, mevcut aramanın performansını potansiyel değişikliklerle nasıl kıyasladığıma dair veri analizi yapıyorum.

Arama Podu ile en son görüşmemizde, algoritmamızdaki yaklaşan değişiklikler ve arama iyileştirilmelerini test etme yöntemleri hakkında konuştuk. Bize bu çalışmaların nasıl gittiği hakkında biraz bilgi verebilir misiniz?

Laura: Son güncellemelerimiz, Kart kullanımını en alakalı ve faydalı sonuçları bulmak için başka bir faktör olarak dikkate almaktı.

Nina: Bu fikrimiz, Kart kullanım verilerinin Genel olarak Guru'daki yapay zeka çalışmalarını nasıl etkileyebileceğini anlamak istememizden ortaya çıktı. Bu soruları özel olarak aramaya uygulamadan önce, Kartların “popülaritesinin” bir hackathon projesinde faydayla nasıl ilişkilendirildiğini keşfettik!

Jenna: Kart kullanımı, arama konusunda yeni veri kaynakları getirmeye odaklanmamızın bir parçasıdır ve bu, Kartların önemini anlamamızda yardımcı olabilir. Bu nedenle kullanımı bir veri kaynağı olarak değerlendiriyoruz, ayrıca Nina'nın niyeti anlamak için yaptığı çalışmaları da göz önünde bulundurarak.

Başlangıçta, Kartların ekipler arasında nasıl kullanıldığını gösteren çok fazla veriye sahip olduğumuzu biliyorduk ve bu nedenle Kartlar etrafında kullanıcı davranışlarının aramayı geliştirmek için bilgi sağlayabileceğini varsaydık.

Nina: Aramanın yalnızca anahtar terimlerin eşleştirilmesi olmadığını belirtmek önemlidir — aynı zamanda Kartların kullanıldığı yerin ve zamanın bağlamını anlamak da önemlidir.

Laura: Kart kullanımına bakarak kullanıcılarımızı ürünün diğer alanlarında nasıl destekleyebileceğimize bakıyoruz — örneğin, “Görevlerim” bölümünde onayınızı bekleyen Kartlar etrafındaki kullanım verilerini görebilirsiniz.

Uygulama genelinde popülarite puanları da mevcut — bu kullanım verileri, kullanıcıların takımlarının en kritik bilgileri anlamalarına yardımcı olmak için tasarlanmıştır.

Bu verilerin aramaya dahil edilmesi, daha evrensel bir deneyim sunmamıza yardımcı olur.

Jenna: Bu aynı zamanda arama sonuçlarının faydalı ve dinamik olmasını sağlamaya da yardımcı olur — örneğin, belki bir Kartın içeriği bir yıl boyunca çok fazla değişmiyor, ancak kullanım aynı süre zarfında dramatik bir şekilde artıyor. Bu durum, Kartın ekip için giderek daha yararlı hale geldiğini ve arama sonuçlarının bunu yansıtması gerektiğini gösterebilir.

Pod’un kararlarını, ilerleyip ilerlememeye nasıl karar verdiklerini anlatır mısınız?

Jenna: Pod’un yaklaşımında çok deneyseliz ve denemeler için çeşitli seviyelere sahibiz. Test için ortamlarımız tamamen müşteri hesaplarından izole edilmiştir ve bir deneyin müşterilerimize değişiklikleri sunmadan önce “geçmesi” gereken birkaç test aşaması vardır. Deneysel düzenimiz sayesinde, değişiklikleri çok hızlı bir şekilde test edebiliyoruz ve müşterilerimize nihayetinde yapacağımız değişiklikler hakkında daha fazla güven duyabiliyoruz.

Nina: Tüm bu deneylerin son derece veri odaklı olduğunu da eklemek isterim. Bir değişiklikle ilgili birkaç denemeyi aynı anda yapacağız ve sonra hangi denemenin sonuçlar üzerindeki en iyi etkiyi sağladığını anlamak için verileri kullanacağız. Örneğin, yakın zamanda 110 deneyle farklı derecelerde granülerlik ve karmaşıklıkta bir sprint düzenledik — bunlardan 2'sini sonuçlara dayanarak ilerlemeye karar verdik. Bazen bir değişiklik karar vermek için onlarca deney gerektiriyor, bazen daha fazlası.

Laura: Tüm metriklerimiz, mümkün olan en alakalı sonuçları liste üzerinden en yukarıda tutmak etrafında merkezlenmiştir. Ancak müşterilerin ekiplerindeki çeşitlilik ve hesaplarındaki içerik nedeniyle, tüm müşteri tabanımızda olumlu sonuçlar görmemizi sağlamak için bu titiz test süreçlerinden geçmemiz gerekiyor.

Jenna: Yürüttüğümüz her deney, yüz binlerce aramanın simülasyonunu yapmaktır ve bu, bir değişikliğin tüm müşteriler üzerinde olumlu bir etkiyi olacağını güvenle söylememizi sağlar.

Değişiklikleri kullanıcılarımıza uyguladıktan sonra, ihtiyaç duydukları şeyleri bulmalarına yardımcı olmanın başarısını nasıl ölçüyoruz?

Laura: Müşteriler için aramanın performansını nasıl izlediğimizin en büyük yollarından biri, oluşturduğumuz bir dizi metrik ile izlemektir. Arama için, genel gidişatı öğrenmek için kullandığımız, kesinlik ve hatırlama odaklı birkaç endüstri standart metrikleri bulunmaktadır. Bu, dönüş yaptığımız içeriğin alaka düzeyini ve arayanların ihtiyaç duydukları şeyi sonuç listesinde (yani, listenin üstünde) bulmalarının ne kadar kolay olduğunu ölçmeyi sağlayan formüllerdir. Sonra, farklı türlerde arama sonuçları için gidişatı gösteren daha hedeflenmiş metriklere bakıyoruz. Bu nedenle, önerilen bir değişikliğin bu metrikleri nasıl etkilediğine bakacağız ve sonra bir gecikmeli göstergesi olarak, müşteri geri bildirimine. Değişikliğe bağlı olarak, çok fazla müşteri geri bildirimi beklemeyebiliriz (ve alabiliriz) ama beklenti, onların neye ihtiyaç duyduklarını daha hızlı ve daha az zorlukla bulduklarında değişikliklerin etkisini hissetmeleridir.

Jenna: Temelde iki soruyu yanıtlamaya çalışıyoruz: bir, faydalı Kartları mı yüzeye çıkarıyoruz? Ve iki, alakasız Kartları yüzeye çıkarmaktan mı kaçınıyoruz? Etkilerini değerlendirmenin bir diğer yolu, sonuçlarının yüzeye çıkmasından sonra kullanıcı davranışını incelemektir — tekrar mı arıyorlar? Daha fazla Kart mı görüntüleyerek? Bu, sonuçlarının başarısı hakkında yardımcı bilgiler sağlar.

En sevdiğim soruyla bitirelim — Guru’nun araması için sıradaki ne?

Laura: Sürekli iyileştirme! Arama ile ilgili çalıştığımız iki ana alanı düşünüyorum — algoritma ve arama sürecinin kullanıcı deneyimi. Şu anda daha çok algoritmaya odaklanıyoruz, ancak her iki yönü de önemli buluyoruz.

Uzun vadede, aramaya daha fazla bağlam dahil etmek istiyoruz — bir kullanıcının belirli bir ekibe dayanan beklenen kullanımını, diğer Kartlarla nasıl etkileşimde bulunduklarını vs. — daha kişiselleştirilmiş bir arama deneyimi sunmak için.

Nina: Ayrıca, bir kullanıcının arama niyetini anlamak için makine öğrenmesini kullanmak istiyoruz. Bazen, bir kullanıcı gerçekten neyi aradığını ve neyi yazdığını anlayabilmektedir. Örneğin, bir kullanıcı "satış tazminatı" diye arama yapabilirken, ilgili Kart "komisyon" terimini kullanıyor, bu nedenle o boşlukları ele almak için makine öğrenmesini kullanmaya çalışacağız.

Jenna: Nihayetinde, tüm bunlar deneme süreci ile gelir. Bu olası değişikliklerin hepsini test ederken, deney frameworkümüz içinde iyileştirme göstermeyen hiçbir şeyi asla gerçekleştirmeyeceğimizi güvenle söyleyebiliriz.