गुरु के उत्पाद लॉन्च ब्लॉग पोस्ट पर नज़र डालें, और आप एक पुनरावर्ती विषय देखेंगे: हमारे ग्राहकों के लिए खोज अनुभव को बेहतर बनाना। और यह सही कारण के लिए है - डेटा वैज्ञानिकों, उत्पाद प्रबंधकों और इंजीनियरों की एक समर्पित खोज टीम के साथ, गुरु में खोज और ज्ञान की खोज हमेशा परीक्षण और सुधार की जा रही है। किसी भी तकनीकी कंपनी की तरह जिसमें खोज कार्यक्षमता होती है, यह गुरु का एक बुनियादी हिस्सा है कि हम हमेशा इसे परिष्कृत और पूर्ण करने का प्रयास करेंगे। जबकि खोज सुधार यूआई परिवर्तनों, एआई सुधारों या नए फीचर्स की तरह “चमकीले” नहीं हो सकते, वे निश्चित रूप से एक पंच पैक करते हैं - और हमारे उत्पाद के साथ उपयोगकर्ता के अनुभव को महत्वपूर्ण रूप से बढ़ाते हैं। आज हम अपने खोज टीम के साथ यह देखने के लिए कैच अप कर रहे हैं कि उन्होंने पिछले कुछ महीनों में क्या काम किया है।

आज हमारे साथ जुड़ने के लिए तीन बार धन्यवाद! शुरू करने के लिए, क्या आप हमें अपने बारे में थोड़ा बता सकते हैं और गुरु के सर्च पॉट पर आप क्या करते हैं?

निना: मैं सर्च पॉट में एक डेटा वैज्ञानिक हूं, इसलिए मैं यह पता लगाने पर ध्यान केंद्रित कर रहा हूं कि हम किस मशीन लर्निंग विधियों के साथ प्रयोग कर सकते हैं जिससे खोज को बेहतर बनाया जा सके। मैं हाल ही में इस पर ध्यान केंद्रित कर रहा हूं कि हम कार्ड (जिस फॉर्मेट में जानकारी गुरु के साथ डॉक्यूमेंट की जाती है) का उपयोग (देखना, लिंक या सामग्री की कॉपी करना, पसंदीदा करना) अपने खोज एल्गोरिदम में कैसे शामिल कर सकते हैं, और आगे बढ़ते हुए, मैं यह देखने पर ध्यान दूंगा कि हम उपयोगकर्ताओं की इरादे को खोजते हुए बेहतर समझ सकते हैं ताकि हम उन्हें सबसे प्रासंगिक कार्ड ला सकें।

लौरा: मैं सर्च पॉट के लिए एक उत्पाद प्रबंधक हूं, इसलिए मैं अपने ग्राहकों के साथ अधिक समय बिताती हूं ताकि उनकी फीडबैक प्राप्त कर सकूं और यह समझ सकूं कि उनके लिए क्या सबसे मददगार और महत्वपूर्ण है। फिर, मैं इसे टीम को वापस लाती हूं, ताकि हम समय-समय पर खोज को सुधारने और विकसित करने के बारे में निर्णय ले सकें। मैं हमारी छोटी, मध्यम और दीर्घकालिक लक्ष्यों की योजना बनाती हूं ताकि हम खोज के कई पहलुओं में लगातार सुधार कर सकें।

जैना: मैं सर्च पॉट में भी एक डेटा वैज्ञानिक हूं, और मैं विशेष रूप से हमारे एल्गोरिदम पर ध्यान केंद्रित करती हूं। अब, मैं हमारे आंतरिक टूलिंग पर ध्यान केंद्रित कर रही हूं जो हमें विभिन्न एल्गोरिदम समायोजनों के साथ प्रयोग करने और समझने में मदद करता है कि वे हमारे ग्राहकों के लिए खोज परिणामों को कैसे प्रभावित कर सकते हैं। मैं यह भी डेटा विश्लेषण करती हूं कि हमारे खोज को वर्तमान में कैसे प्रदर्शन किया जा रहा है बनाम संभावित परिवर्तनों के साथ यह कैसे प्रदर्शन करेगा।

आखिरी बार जब हम सर्च पॉट के साथ कैच अप में थे, हमने हमारे एल्गोरिदम के संभावित परिवर्तनों और खोज सुधारों के परीक्षण के तरीकों पर चर्चा की थी। क्या आप हमें बता सकते हैं कि उस काम का प्रदर्शन कैसा रहा है?

लौरा: हमारे हाल के परिवर्तन कार्ड के उपयोग को एक और कारक के रूप में ध्यान में रखते हुए सबसे प्रासंगिक और उपयोगी परिणाम ढूंढने के बारे में रहे हैं।

निना: यह विचार इस चाह से उत्पन्न हुआ कि हम यह समझना चाहते हैं कि कार्ड के उपयोग के डेटा का गुरु में एआई कार्य पर कैसे प्रभाव पड़ सकता है। खासकर सर्च पर इन सवालों को लागू करने से पहले, हमने देखा कि कार्ड की “लोकप्रियता” किस तरह उपयोगिता के साथ संबंधित थी।

जैना: कार्ड का उपयोग हम सर्च पॉट के बारे में जिन नए डेटा स्रोतों पर ध्यान केंद्रित करते हैं, में गिरता है जो हमें कार्ड के प्रासंगिकता को समझने में मदद कर सकते हैं। तो उपयोग डेटा स्रोत होगा, जैसे कि निना का काम जो इरादे को समझने के लिए है।

शुरुआत में, हमें पता था कि कई तरह से कार्ड का उपयोग करने के लिए हमारे पास बहुत डेटा था, और हमने अनुमान लगाया कि कार्ड के चारों ओर उपयोगकर्ता व्यवहार खोज के सुधारों को सूचित कर सकता है।

निना: मैं यह नोट करना महत्वपूर्ण समझती हूं कि खोज केवल मुख्य शब्दों को मिलाना नहीं है - यह यह समझना है कि कार्ड कब और कहां उपयोग किए जा रहे हैं।

लौरा: हम कार्ड के उपयोग को हमारे उत्पाद के अन्य क्षेत्रों में मदद करने के लिए देखते हैं - उदाहरण के लिए, आप उन कार्डों के चारों ओर उपयोग डेटा देख सकते हैं जो आपके “मेरे कार्य” में आपकी सत्यापन की प्रतीक्षा कर रहे हैं।

हमारे पास पूरे ऐप में लोकप्रियता स्कोर भी हैं - ये उपयोग डेटा बिंदु उपयोगकर्ताओं को यह समझने में मदद करने के लिए हैं कि उनके टीम के लिए कौन सी जानकारी सबसे महत्वपूर्ण है।

उन डेटा को खोज में लाना हमारे लिए एक अधिक सार्वभौमिक अनुभव बनाने में मदद करता है।

जैना: यह हमें यह सुनिश्चित करने में भी मदद करता है कि खोज परिणाम सहायक और गतिशील हैं - उदाहरण के लिए, शायद एक कार्ड की सामग्री पूरे साल में ज्यादा नहीं बदलती, लेकिन उसी समय सीमा के दौरान उपयोग में नाटकीय वृद्धि होती है। इसके द्वारा यह संकेत मिल सकता है कि कार्ड टीम के लिए अधिक उपयोगी होता जा रहा है, और खोज परिणामों को इस पर प्रतिबिंबित करना चाहिए।

क्या आप हमें बता सकते हैं कि पॉट निर्णय कैसे लेते हैं कि आगे बढ़ना है या नहीं?

जैना: पॉट हमारे दृष्टिकोण में बहुत प्रयोगात्मक है, और हमारे पास प्रयोगों के लिए कई स्तर हैं। हमारे परीक्षण के वातावरण ग्राहक खातों से पूरी तरह अलग हैं, और एक प्रयोग को “पास” करने के लिए कई परीक्षण राउंड होते हैं, इससे पहले कि हम अपने ग्राहकों को परिवर्तन जारी करने पर विचार करें। हमारे प्रयोगात्मक सेटअप के कारण, हम परिवर्तनों का तेजी से परीक्षण कर सकते हैं, और उन परिवर्तनों के बारे में अधिक आत्मविश्वास महसूस कर सकते हैं जिन्हें हम अंततः अपने ग्राहकों को लागू करते हैं।

निना: मैं यह भी जोड़ूंगी कि सभी ये प्रयोग अत्यधिक डेटा-प्रेरित होते हैं। हम एक समय में बदलाव के कई परीक्षणों पर काम करेंगे, और फिर यह समझने के लिए डेटा का उपयोग करेंगे कि किसने परिणाम पर सबसे अच्छी प्रभाव डाला। उदाहरण के लिए, हमने हाल ही में 110 प्रयोगों के साथ एक स्प्रिंट चलाया जिनकी विभिन्न डिग्री और जटिलता थी - 2 में से जिनके साथ हम अंततः परिणामों के आधार पर आगे बढ़ गए। कभी-कभी, एक परिवर्तन पर निर्णय लेने के लिए दर्जनों प्रयोगों की आवश्यकता होती है, कभी-कभी इससे अधिक।

लौरा: हमारी सभी मैट्रिक्स सबसे प्रासंगिक परिणामों को परिणाम सूची में ऊपर लाने के चारों ओर केंद्रित हैं। लेकिन ग्राहक टीमों की विविधता और उनकी खातों की सामग्री के कारण, हमें यह सुनिश्चित करने के लिए इस कठोर परीक्षण के माध्यम से जाना चाहिए कि हम अपने संपूर्ण ग्राहक आधार के पार सकारात्मक परिणाम देखेंगे।

जैना: हम जो भी प्रयोग चलाते हैं, वे सैकड़ों हजारों खोजों का अनुकरण करते हैं, जो हमें यह कहने की अनुमति देता है कि एक परिवर्तन पूरे बोर्ड पर ग्राहकों पर सकारात्मक प्रभाव डालने वाला होगा।

एक बार जब हम अपने उपयोगकर्ताओं के लिए परिवर्तनों को लागू करते हैं, तो हम उनके सफल होने को मापने के लिए उन्हें कैसे ढूंढते हैं?

लौरा: हम यह देखने के लिए कई मैट्रिक्स पर नज़र रखते हैं कि खोज ग्राहकों के लिए कैसे प्रदर्शन कर रही है जो हमने एकत्रित की है। खोज के लिए कुछ उद्योग मानक मैट्रिक्स हैं जो सटीकता और यादों के चारों ओर केंद्रित होते हैं, जिन्हें हम यह देखने के लिए उपयोग करते हैं कि चीजें कैसे चल रही हैं। ये सूत्र हैं जो हमें यह मापने में मदद करते हैं कि क्या हम प्रासंगिक सामग्री वापस कर रहे हैं और क्या खोजकर्ताओं के लिए परिणामों की सूची में उनकी जरूरत की चीजें खोजने के लिए यह आसान है (यानी, यह शीर्ष पर है)। फिर हम अधिक लक्षित मैट्रिक्स पर ध्यान देते हैं जो हमें बताते हैं कि विभिन्न प्रकार की खोजों के लिए चीजें कैसे चल रही हैं। इसलिए हम यह देखेंगे कि किस प्रस्तावित परिवर्तन का उन मैट्रिक्स पर प्रभाव डालता है, और फिर एक देर से संकेत के रूप में, ग्राहक की प्रतिक्रिया। परिवर्तन के आधार पर, हम ग्राहक की प्रतिक्रिया की अपेक्षा कर सकते हैं या नहीं, लेकिन अपेक्षा है कि वे परिवर्तनों का असर महसूस करें तेजी से और कम रुकावट के साथ।

जैना: हम मूलतः दो सवालों का उत्तर देने की कोशिश कर रहे हैं: एक, क्या हम उपयोगी कार्ड लाते हैं? और दो, क्या हम अप्रासंगिक कार्ड लाने से बच रहे हैं? एक और तरीका है कि हम प्रभाव का आकलन करते हैं - क्या उपयोगकर्ता अपने परिणामों की सतह के बाद फिर से खोज कर रहे हैं? अधिक कार्ड देख रहे हैं? यह उनके परिणामों की सफलता में सहायक जानकारी प्रदान करता है।

हम अपने प्रिय प्रश्न पर खत्म करेंगे - गुरु के खोज के लिए अगला क्या है?

लौरा: निरंतर सुधार! मैं खोज से संबंधित दो मुख्य क्षेत्रों के बारे में सोचती हूं - एल्गोरिदम, और खोज प्रक्रिया का उपयोगकर्ता अनुभव। अब हम एल्गोरिदम पर अधिक ध्यान केंद्रित कर रहे हैं, लेकिन हम दोनों पहलुओं को महत्वपूर्ण मानते हैं।

दीर्घकालिक में, हम खोज में और अधिक संदर्भ जोड़ना चाहते हैं - जिसमें उपयोगकर्ताओं के उपयोग की अपेक्षा होती है कि वे जिस टीम पर हैं, वे अन्य कार्डों के साथ कैसे बातचीत करते हैं, आदि - ताकि अधिक व्यक्तिगत खोज अनुभव प्रदान किया जा सके।

निना: हम यह भी मशीन लर्निंग का उपयोग करना चाहते हैं ताकि हम एक उपयोगकर्ता की खोज के पीछे की मंशा को समझ सकें। कभी-कभी, एक उपयोगकर्ता वास्तव में क्या टाइप करता है और वे क्या खोज रहे हैं, के बीच में एक अंतर होता है। उदाहरण के लिए, एक उपयोगकर्ता “बिक्री मुआवजा” की खोज कर सकता है जबकि प्रासंगिक कार्ड “कमिशन” शब्द का उपयोग करता है, इसलिए हम उन अंतरालों को संबोधित करने के लिए मशीन लर्निंग का उपयोग करने पर काम करेंगे।

जैना: अंततः, इन सभी के साथ परीक्षण करने का एक चेतावनी है। जब हम इन संभावित परिवर्तनों का परीक्षण करते हैं, तो हम आत्मविश्वास से कह सकते हैं कि हम कभी भी कुछ ऐसा नहीं लागू करेंगे जो हमारे प्रयोगात्मक ढांचे में सुधार नहीं करता है।