בדוק כל אחד מהפוסטים בבלוג על השקת מוצרים של גורו, ותש huom שמדבר חוזר: שיפור חוויות החיפוש עבור הלקוחות שלנו. ובן סיבה טובה: עם צוות חיפוש ייעודי של מדעני נתונים, מנהלי מוצרים ומהנדסים, החיפוש וגילוי הידע בגורו תמיד נבחנים ומשופרים. כמו כל חברה טכנולוגית עם פונקציית חיפוש, זה חלק בסיסי מגורו שנשואף תמיד לשפר ולמקסם. בעוד ששיפורי החיפוש עשויים לא להיות "מלהיבים" כמו שיפוט ה-UI, שיפוטים בשימוש הבינה המלאכותית, או תכונות חדשות, הם בהחלט עדיין מצליחים — ומחזקים משמעותית את חוויית המשתמש עם המוצר שלנו. היום אנו נפגשים עם צוות החיפוש שלנו כדי לראות מה הם עבדו עליו בחודשים האחרונים.

תודה שלוש על שהצטרפתם אלינו היום! כדי להתחיל, האם תוכלו להגיד לנו קצת על עצמכם ומה אתם עושים בפוד החיפוש של גורו?

נינה: אני מדענית נתונים בפוד החיפוש, אז אני מתמקדת בלגלות אילו שיטות למידת מכונה נוכל לנסות כדי לשפר את החיפוש. אני מתמקדת לאחרונה כיצד נוכל לשלב את השימוש בכרטיסים (הפורמט שבו המידע מצונן עם גורו) (צפיה, העתקת הקישור או התוכן, הוספה לרשימה אהובה) לתוך האלגוריתם של החיפוש שלנו, ומעבר לכך, אני אסתכל כיצד נוכל להבין טוב יותר את כוונת המשתמש בזמן חיפוש כדי להבטיח שאנחנו מביאים להם את הכרטיסים הרלוונטיים ביותר.

לורה: אני מנהלת מוצר בפוד החיפוש, אז אני מבלה הרבה זמן עם הלקוחות שלנו כדי לקבל את הפידבק שלהם ולהבין מה הכי עוזר וחשוב להם. לאחר מכן, אני מביאה את זה חזרה לצוות, כדי שנוכל לקבל החלטות כיצד לשפר ולפתח את החיפוש עם הזמן. אני מתכננת את המטרות הקצרות, הבינוניות והארוכות שלנו כך שנוכל לשפר באופן רציף על פני כמה היבטים של החיפוש.

ג’נה: אני גם מדענית נתונים בפוד החיפוש, ואני מתמקדת במיוחד באלגוריתם שלנו. עכשיו, אני מתמקדת בכלים פנימיים שמאפשרים לנו לנסות שינויים שונים באלגוריתם ולהבין כיצד הם יכולים להשפיע על תוצאות החיפוש ללקוחות שלנו. אני גם עושה ניתוח נתונים כדי להשוות את הביצועים של החיפוש שלנו כרגע מול מה שהייתם מבצעים עם שינויים פוטנציאליים.

פעם הקודמת שדיברנו עם הפוד חיפוש, שוחחנו על שינויים קרבים לאלגוריתם שלנו והדרכים בהן אנחנו בודקים שיפורי חיפוש. האם תוכל להגיד לנו קצת על כך שהעבודה מתקתקת?

לורה: השינויים האחרונים שלנו היו סביב לקחת בחשבון את השימוש בכרטיסים כגורם נוסף למציאת התוצאות הרלוונטיות והשימושיות ביותר.

נינה: הרעיון התפתח מתוך רצון להבין כיצד נתוני השימוש בכרטיסים עשויים להשפיע על עבודת הבינה המלאכותית בגורו באופן כללי. לפני שניישם את השאלות האלו לחיפוש באופן ספציפי, חקרנו כיצד "פופולריות" כרטיסים מתוארת עם שימושיות בפרוייקט האקתון!

ג’נה: השימוש בכרטיסים נמצא תחת הפוקוס הרחב יותר שלנו בפוד החיפוש להביא מקורות נתונים חדשים שיכולים לעזור לנו להבין את הרלוונטיות של הכרטיסים. אז השימוש יהיה מקור נתונים, כמו גם העובדה שנינה עושה להבין את הכוונה.

בהתחלה, ידענו שיש לנו הרבה נתונים על הדרכים שבהן הכרטיסים שימשו בין צוותים, והיפותזנו שהתנהגות המשתמש סביב הכרטיסים יכולה לידע שיפורי חיפוש.

נינה: אני חושבת שזה חשוב לציין שהחיפוש לא רק תואם מונחים מרכזיים — זה גם להבין את ההקשר של איפה ומתי הכרטיסים בשימוש.

לורה: אנו מתבוננים בשימוש בכרטיסים כדי לעזור למשתמשים שלנו באזורים אחרים של המוצר — לדוגמה, תוכלו לראות נתוני שימוש סביב כרטיסים הממתינים לאישורכם ב"המשימות שלי".

אנו גם מחזיקים נקודות נתוני פופולריות בכל האפליקציה — נתוני השימוש הללו נועדים לעזור למשתמשים להבין איזו מידע הוא קריטי ביותר עבור הצוות שלהם.

להביא את הנתונים הללו לחיפוש עוזר לנו ליצור חוויות אוניברסליות יותר.

ג’נה: זה גם עוזר לנו לוודא שהתוצאות מהחיפוש מועילות ודינמיות — לדוגמה, אולי תוכן של כרטיס לא משתנה הרבה במהלך זמן בשנה, אך השימוש גובר בצורה דרמטית באותו טווח זמן. זה עשוי להעיד שהכרטיס הופך להיות שימושי יותר ויותר לצוות, ותוצאות החיפוש צריכות לשקף זאת.

האם תוכל להגיד לנו כיצד הפוד מקבלת החלטות האם להעביר שינויים?

ג’נה: הפוד מאוד ניסי בגישה שלנו, ויש לנו מגוון של רמות עבור ניסויים. הסביבות שלנו עבור ניסויים מופרדות לחלוטין מחשבונות הלקוחות, וישנן כמה סבבי בדיקה שניסוי חייב "לעבור" לפני שנחשוב אפילו להוציא את השינויים ללקוחות שלנו. בזמן ההגדרה הניסי שלנו, אנו יכולים לבדוק שינויים באופן מהיר מאוד, ומתוד שינויים שמועברים ללקוחות שלנו.

נינה: הייתי מוסיפה שכל הניסויים האלה נתמכים בנתונים. נעבוד על מספר ניסויים של שינוי באותו זמן, ואז נשתמש בנתונים כדי להבין אילו מהשנים הייתה ההשפעה הטובה ביותר על התוצאות. לדוגמה, לאחרונה ערכנו ניסוי עם 110 ניסויים ברמות שונות של גרסאות מורכבות — 2 מהם בסופו של דבר עברנו עם עיקרי על פי התוצאות. לפעמים זה לוקח עשרות ניסויים כדי להבין שינוי, לפעמים זה לוקח יותר.

לורה: כל המדדים שלנו מתמקדים סביב השגת התוצאות הרלוונטיות ביותר בראש רשימת התוצאות. אבל בגלל המגוון של צוותי הלקוחות שלנו והתוכן בחשבונותיהם, אנו חייבים לעבור את הבדיקה הקפדנית הזו כדי לוודא שנראה תוצאות חיוביות בכל בסיס הלקוחות שלנו.

ג’נה: כל ניסוי שאנחנו מריצים מדמה מאות אלפי חיפושים, מה שמאפשר לנו לדמות את נפח החיפוש שדרוש לנו כדי להגיד בביטחון ששינוי ישפיע לטובה על הלקוחות.

כאשר אנו משיקים שינויים ללקוחות שלנו, כיצד אנו מודדים את הצלחתם בעזרה להם למצוא מה שהם צריכים?

לורה: אחת הדרכים הגדולות ביותר שאנו עוקבים כדי לראות כיצד החיפוש פועל עבור לקוחות היא באמצעות צפייה בקבוצת מדדים שהכנו. יש מספר מדדים סטנדרטיים בענף לחיפוש שמתמקדים סביב דיוק ואחזור שאנו משתמשים בהם כדי לקבל תמונה כללית כיצד הדברים מתנהלים. אלה הם נוסחאות שמעזרות לנו למדוד אם אנו מחזירים תוכן רלוונטי והאם קל למבצע חיפוש למצוא מה שהם צריכים ברשימת התוצאות (כלומר, זה קרוב לראש). לאחר מכן אנו בודקים מדדים ממוקדים יותר המראים לנו כיצד הדברים מתנהלים לסוגי חיפוש שונים. אז נבחן כיצד השינוי המוצע משפיע על מדדים אלה, ולאחר מכן כגורם פיגור, תגובות הלקוחות. בהתבסס על השינוי, ייתכן ואנחנו לא מצפים (ולא נקבל) הרבה פידבק מלקוחות, אבל הציפייה היא שהם מרגישים את ההשפעה של השינויים בכך שהם יכולים למצוא מה שהם צריכים מהר יותר ופחות קושי.

ג’נה: אנחנו בעצם מנסים לענות על שני שאלות: אחת, האם אנו שולפים כרטיסים שימושיים? ושתיים, האם אנחנו избегать שולפים כרטיסים לא רלוונטיים? דרך נוספת בה אנו מעריכים את ההשפעה היא על ידי הבנת ההתנהגות של המשתמש לאחר שהתוצאות שלהם הוצגו — האם הם מחפשים שוב? צפיות בכרטיסים נוספים? זה מספק תובנות מועילות להצלחות של תוצאותיהם.

נסיים בשאלה האהובה עליי — מה הצפוי עבור חיפוש גורו?

לורה: שיפור מתמיד! אני חושבת על שני תחומים חשובים בהם אנו עובדים בכל הנוגע לחיפוש — האלגוריתם, וחוויית המשתמש של תהליך החיפוש. עכשיו, אנו מתמקדים יותר באלגוריתם, אבל אנו רואים בשני ההיבטים כחשובים.

לטווח הארוך, אנחנו רוצים לכלול יותר הקשר לחיפוש — כולל את השימוש המתקבל מראש של המשתמש בהתבסס על הצוות שבו הם נמצאים, כיצד הם מתקשרים עם כרטיסים נוספים, וכו' — כדי לספק חוויית חיפוש מותאמת יותר.

נינה: אנו גם רוצים להשתמש בלמידת מכונה כדי להבין את הכוונה מאחורי החיפוש של המשתמש. לפעמים, יש פער בין מה שמשתמש מתקלד וממה שהם מחפשים. למשל, משתמש עשוי לחפש "פיצוי מכירות" בעוד הכרטיס הרלוונטי משתמש במונח "עמלה" אז נעבוד להשתמש בלמידת מכונה כדי לפתור את הפערים הללו.

ג’נה: בסופו של דבר, הכל מגיע עם ההערה של בדיקה. ככל שנבחן את כל השינויים האפשריים הללו, אנו יכולים לומר בביטחון שאנחנו לא נעביר דבר שאינו מראה שיפור במסגרת הניסויים שלנו.