ตรวจสอบผลิตภัณฑ์ใด ๆ ของ Guru เช่น บล็อกการเปิดตัว และคุณจะสังเกตเห็นธีมทั่วไปที่กลับมา: การปรับปรุงประสบการณ์การค้นหาสำหรับลูกค้าของเรา. และด้วยเหตุผลที่ดี — ด้วยทีมค้นหาที่มีนักวิทยาศาสตร์ข้อมูล ผู้จัดการผลิตภัณฑ์ และวิศวกร การค้นหาและความสามารถในการค้นหาใน Guru จึงเป็นสิ่งที่ถูกทดสอบและปรับปรุงอย่างต่อเนื่อง. เหมือนกับบริษัทเทคโนโลยีใด ๆ ที่มีฟังก์ชันการค้นหา นี่เป็นส่วนพื้นฐานของ Guru ที่เราจะ พยายาม ปรับปรุงและทำให้สมบูรณ์อยู่เสมอ. ในขณะที่การพัฒนาการค้นหาอาจจะไม่โดดเด่นเหมือนการเปลี่ยนแปลง UI การพัฒนา AI หรือฟีเจอร์ใหม่ ๆ แต่ก็ยังมีผลกระทบอย่างมาก — และเพิ่มประสบการณ์ของผู้ใช้กับผลิตภัณฑ์ของเราอย่างมีนัยสำคัญ. วันนี้เรากำลังติดต่อกับทีมค้นหาของเราเพื่อตรวจสอบสิ่งที่พวกเขากำลังทำในช่วงสองสามเดือนที่ผ่านมา.

ขอบคุณทั้งสามคนที่เข้าร่วมกับเราในวันนี้! เริ่มต้นกันเถอะ คุณช่วยบอกเราเกี่ยวกับตัวคุณและสิ่งที่คุณทำใน Search Pod ของ Guru หน่อยได้ไหม?

นีน่า: ฉันเป็นนักวิทยาศาสตร์ข้อมูลใน Search Pod โดยมุ่งเน้นไปที่การหาวิธีการเรียนรู้ของเครื่องที่จะทดลองเพื่อปรับปรุงการค้นหา. ในขณะนี้ ฉันมุ่งเน้นไปที่วิธีที่เราสามารถรวมวิธีการใช้ การ์ด (รูปแบบที่ข้อมูลถูกบันทึกใน Guru) เข้ากับอัลกอริธึมการค้นหาของเรา และต่อไปฉันจะหาวิธีที่เราจะเข้าใจเจตนาของผู้ใช้ขณะค้นหาให้ดีขึ้นเพื่อให้แน่ใจว่าเรานำการ์ดที่มีความเกี่ยวข้องมากที่สุดมาให้พวกเขา.

ลอรา: ฉันเป็นผู้จัดการผลิตภัณฑ์ใน Search Pod ดังนั้นฉันใช้เวลามากมายกับลูกค้าเพื่อขอความคิดเห็นและเข้าใจในสิ่งที่เป็นประโยชน์และสำคัญที่สุดสำหรับพวกเขา. จากนั้นฉันจะนำสิ่งนี้กลับไปที่ทีมเพื่อที่เราจะได้ตัดสินใจเกี่ยวกับวิธีการปรับปรุงและพัฒนาการค้นหาในระยะยาว. ฉันวางแผนเป้าหมายระยะสั้น ระยะกลาง และระยะยาวเพื่อให้เราสามารถปรับปรุงอยู่ตลอดเวลาในหลาย ๆ ด้านของการค้นหา.

เจน: ฉันยังเป็นนักวิทยาศาสตร์ข้อมูลใน Search Pod และมุ่งเน้นไปที่อัลกอริธึมของเราโดยเฉพาะ. ตอนนี้ฉันมุ่งเน้นไปที่เครื่องมือภายในของเราที่ช่วยให้เราทดลองปรับเปลี่ยนอัลกอริธึมต่าง ๆ และเข้าใจว่าพวกมันส่งผลกระทบต่อผลการค้นหาสำหรับลูกค้าอย่างไร. ฉันยังทำการวิเคราะห์ข้อมูลเพื่อเปรียบเทียบการค้นหาของเราขณะนี้กับวิธีที่มันจะทำงานด้วยการเปลี่ยนแปลงที่คาดการณ์ไว้.

เวลาที่ผ่านมา เราติดต่อกัน กับ Search Pod เราได้พูดถึงการเปลี่ยนแปลงที่จะเกิดขึ้นเกี่ยวกับอัลกอริธึมของเราและวิธีที่เราทดสอบการปรับปรุงการค้นหา. คุณช่วยบอกเราเกี่ยวกับความก้าวหน้าของงานนั้นได้ไหม?

ลอรา: การเปลี่ยนแปลงล่าสุดของเรามีแนวโน้มที่จะคำนึงถึงการใช้การ์ดเพื่อเป็นปัจจัยหนึ่งในการค้นหาผลลัพธ์ที่เกี่ยวข้องและมีประโยชน์ที่สุด.

นีน่า: แนวคิดนี้เริ่มต้นจากการที่เราต้องการเข้าใจว่าข้อมูลการใช้การ์ดสามารถส่งผลกระทบต่อการทำงานของ AI ที่ Guru ได้อย่างไรโดยรวม. ก่อนที่จะนำคำถามเหล่านี้ไปใช้ในการค้นหาโดยเฉพาะเราได้สำรวจว่าความนิยมของการ์ดสัมพันธ์กับประโยชน์ในโปรเจค hackathon อย่างไร!

เจน: การใช้การ์ดอยู่ภายใต้ความสนใจที่ใหญ่กว่าใน Search Pod ของเราที่จะนำแหล่งข้อมูลใหม่ ๆ ที่สามารถช่วยให้เราเข้าใจความเกี่ยวข้องของการ์ด. ดังนั้นการใช้งานจะเป็นแหล่งข้อมูล รวมถึงงานที่นีน่ากำลังทำเพื่อทำความเข้าใจเจตนา.

ในตอนเริ่มต้น เรารู้ว่าเรามีข้อมูลมากมายเกี่ยวกับวิธีการที่การ์ดถูกใช้ระหว่างทีมต่าง ๆ และเราคาดการณ์ถึงพฤติกรรมของผู้ใช้รอบ ๆ การ์ดซึ่งสามารถช่วยปรับปรุงการค้นหาได้.

นีน่า: ฉันคิดว่ามันสำคัญที่จะต้องสังเกตว่าการค้นหาไม่ได้หมายถึงการจับคู่คำหลักเท่านั้น — มันยังหมายถึงการเข้าใจบริบทที่การ์ดถูกใช้ด้วย.

ลอรา: เรามองไปที่การใช้การ์ดเพื่อช่วยผู้ใช้ของเราในพื้นที่อื่น ๆ ของผลิตภัณฑ์ — ตัวอย่างเช่น คุณสามารถดูข้อมูลการใช้งานเกี่ยวกับการ์ดที่รอการตรวจสอบใน “My Tasks.”

เรายังมีคะแนนความนิยมทั่วทั้งแอป — จุดข้อมูลการใช้งานเหล่านี้มีจุดประสงค์เพื่อช่วยผู้ใช้เข้าใจว่าสิ่งใดมีความสำคัญที่สุดสำหรับทีมของพวกเขา.

การนำข้อมูลนั้นมาใช้ในช่วงการค้นหาช่วยให้เราสร้างประสบการณ์ที่เป็นสากลมากขึ้น.

เจน: สิ่งนี้ยังช่วยให้เรามั่นใจได้ว่าผลลัพธ์การค้นหามีคุณประโยชน์และมีพลศาสตร์ — ตัวอย่างเช่น บางทีเนื้อหาของการ์ดอาจไม่เปลี่ยนแปลงมากนักในระหว่างปี แต่การใช้งานอาจเพิ่มขึ้นอย่างมากในช่วงเวลาเดียวกัน. ซึ่งอาจบ่งชี้ว่าการ์ดนั้นกลายเป็นประโยชน์มากขึ้นสำหรับทีม และผลการค้นหาก็ควรสะท้อนถึงเรื่องนั้น.

คุณช่วยบอกเราว่าทีมทำการตัดสินใจเกี่ยวกับการเปลี่ยนแปลงได้อย่างไร?

เจน: ทีมมีความคิดที่ทดลองในแนวทางของเรา และเรามีระดับหลากหลายสำหรับการทดลอง. สภาพแวดล้อมของเราสำหรับการทดสอบจะถูกแยกออกจากบัญชีของลูกค้าอย่างสิ้นเชิง และมีหลายรอบของการทดสอบที่การทดลองต้อง “ผ่าน” ก่อนที่เราจะพิจารณาปล่อยการเปลี่ยนแปลงไปยังลูกค้า. เนื่องจากการตั้งค่าการทดลองของเรา เราจึงสามารถทดสอบการเปลี่ยนแปลงได้อย่างรวดเร็ว โดยมั่นใจเกี่ยวกับการเปลี่ยนแปลงที่เราจะนำไปใช้กับลูกค้าในท้ายที่สุด.

นีน่า: ฉันยังจะเพิ่มว่าการทดลองเหล่านี้มีการขับเคลื่อนด้วยข้อมูลอย่างมาก. เราจะทำการทดลองหลายรายการของการเปลี่ยนแปลงในครั้งเดียว จากนั้นใช้ข้อมูลเพื่อทำความเข้าใจว่าการทดลองไหนมีผลกระทบที่ดีที่สุดต่อผลลัพธ์. ตัวอย่างเช่น เราเพิ่งดำเนินการสปรินต์โดยมีการทดลอง 110 รายการที่มีระดับความละเอียดและความซับซ้อนที่แตกต่างกัน — 2 รายการที่เราเดินหน้าต่อไปตามผลลัพธ์. บางครั้งอาจจำเป็นต้องใช้การทดลองหลายสิบรายการเพื่อกำหนดการเปลี่ยนแปลง บางครั้งอาจใช้เวลามากกว่านั้น.

ลอรา: เมตริกทั้งหมดของเราเน้นไปที่การมีผลลัพธ์ที่เกี่ยวข้องสูงสุดอยู่ในรายการผลลัพธ์ให้มากที่สุดเท่าที่จะเป็นไปได้. แต่เนื่องจากความหลากหลายของทีมลูกค้าของเราและเนื้อหาในบัญชีของพวกเขา เราจึงต้องผ่านการทดสอบที่เข้มงวดนี้เพื่อให้แน่ใจว่าเราจะเห็นผลลัพธ์ที่ดีทั่วทั้งฐานลูกค้าของเรา.

เจน: ทุกการทดลองที่เราทำจะจำลองการค้นหาหลายหมื่นครั้ง ซึ่งช่วยให้เราจำลองปริมาณการค้นหาที่เราต้องการที่จะกล่าวอย่างมั่นใจว่าการเปลี่ยนแปลงจะส่งผลดีต่อลูกค้าทั้งหมด.

เมื่อเราเปิดตัวการเปลี่ยนแปลงไปยังผู้ใช้ของเรา เราจะวัดความสำเร็จของพวกเขาในความช่วยเหลือในการค้นหาสิ่งที่พวกเขาต้องการได้อย่างไร?

ลอรา: หนึ่งในวิธีที่ใหญ่ที่สุดที่เราติดตามว่าการค้นหาทำงานสำหรับลูกค้าอย่างไรคือการสังเกตชุดเมตริกที่เราจัดทำขึ้น. มีเมตริกมาตรฐานในอุตสาหกรรมหลายประการสำหรับการค้นหาที่เน้นไปที่ความถูกต้องและการเรียกคืนซึ่งเราใช้เพื่อให้เห็นภาพรวมว่าทุกอย่างเป็นอย่างไร. นี่เป็นสูตรที่ช่วยให้เราวัดว่าเรากำลังส่งคืนเนื้อหาที่เกี่ยวข้องหรือไม่ และมันง่ายเพียงใดสำหรับผู้ค้นหาในการหาสิ่งที่พวกเขาต้องการในรายการผลลัพธ์ (เช่น มันอยู่ใกล้ด้านบน). จากนั้นจึงมองไปที่เมตริกที่มุ่งเป้าหมายมากขึ้นซึ่งแสดงให้เราเห็นว่าอะไรเป็นอย่างไรสำหรับประเภทการค้นหาที่แตกต่างกัน. เราจะดูว่าการเปลี่ยนแปลงที่เสนอมีผลกระทบต่อเมตริกเหล่านั้นอย่างไร และในฐานะตัวบ่งชี้ที่ล่าช้า ความคิดเห็นจากลูกค้า. ขึ้นอยู่กับการเปลี่ยนแปลง เราอาจคาดหวัง (และได้รับ) ความคิดเห็นจากลูกค้ามากมายหรือไม่ก็ตาม แต่ความคาดหวังคือพวกเขาจะ รู้สึก ถึงผลกระทบจากการเปลี่ยนแปลงที่พวกเขาสามารถหาสิ่งที่ต้องการได้เร็วขึ้นและลดความขัดข้อง.

เจน: เรากำลังพยายามตอบสองคำถาม: หนึ่ง คือตัวเรากำลังนำเสนอการ์ดที่มีประโยชน์หรือไม่? และสอง เรากำลังหลีกเลี่ยงการนำเสนอการ์ดที่ไม่มีความเกี่ยวข้องหรือไม่? อีกวิธีหนึ่งที่เราประเมินผลกระทบคือการดูพฤติกรรมของผู้ใช้หลังจากที่ผลลัพธ์ของพวกเขาได้รับการแสดง — พวกเขากำลังค้นหาอีกครั้งหรือไม่? ดูการ์ดมากขึ้นหรือไม่? นี่ให้ข้อมูลที่เป็นประโยชน์เกี่ยวกับความสำเร็จของผลลัพธ์ของพวกเขา.

เราจะจบที่คำถามที่ฉันชอบที่สุด — อะไรต่อไปสำหรับการค้นหาของ Guru?

ลอรา: การปรับปรุงอย่างต่อเนื่อง! ในแง่ของการค้นหา ฉันคิดถึงสองด้านหลักที่เราทำงาน — อัลกอริธึม และประสบการณ์ของผู้ใช้ในการค้นหา. ในตอนนี้เรามุ่งเน้นไปที่อัลกอริธึมมากกว่า แต่เราเห็นว่าทั้งสองด้านควรมีความสำคัญ.

ในระยะยาว เราต้องการรวมบริบทเพิ่มเติมเข้ากับการค้นหา — รวมถึงการใช้งานที่ผู้ใช้คาดการณ์ไว้ตามทีมที่พวกเขาอยู่ วิธีที่พวกเขามีปฏิสัมพันธ์กับการ์ดอื่น ๆ เป็นต้น — เพื่อให้ประสบการณ์การค้นหามีความเฉพาะเจาะจงมากขึ้น.

นีน่า: เรายังต้องการใช้การเรียนรู้ของเครื่องเพื่อตระหนักถึงเจตนาที่อยู่เบื้องหลังการค้นหาของผู้ใช้. บางครั้ง จะมีช่องว่างระหว่างสิ่งที่ผู้ใช้พิมพ์และสิ่งที่พวกเขาต้องการค้นหา. ตัวอย่างเช่น ผู้ใช้อาจค้นหาคำว่า "ค่าตอบแทนการขาย" ขณะที่การ์ดที่เกี่ยวข้องใช้คำว่า "ค่าคอมมิชชั่น" ดังนั้นเราจะทำงานเพื่อใช้การเรียนรู้ของเครื่องในการแก้ไขช่องว่างเหล่านั้น.

เจน: สุดท้ายแล้ว ทั้งหมดนี้มาพร้อมกับข้อกำหนดของการทดลอง. เมื่อเราทดสอบการเปลี่ยนแปลงทั้งหมดเหล่านี้ เราสามารถมั่นใจได้ว่าเราจะไม่เปิดตัวสิ่งใดที่ไม่ได้แสดงให้เห็นถึงการปรับปรุงในกรอบการทดลองของเรา.