Hãy xem bất kỳ bài viết cập nhật sản phẩm nào của Guru, và bạn sẽ nhận thấy một chủ đề tái diễn: cải thiện trải nghiệm tìm kiếm cho khách hàng của chúng tôi. Và có lý do chính đáng — với một đội ngũ tìm kiếm gồm các nhà khoa học dữ liệu, quản lý sản phẩm và kỹ sư, việc tìm kiếm và khả năng khám phá kiến thức trong Guru luôn được thử nghiệm và cải tiến. Giống như bất kỳ công ty công nghệ nào có chức năng tìm kiếm, đây là một phần cơ bản của Guru mà chúng tôi luôn mong muốn hoàn thiện. Mặc dù các cải thiện tìm kiếm có thể không “nổi bật” như thay đổi giao diện người dùng, các cải tiến AI, hoặc các tính năng mới, nhưng chúng chắc chắn vẫn có sức mạnh — và tăng cường đáng kể trải nghiệm của người dùng với sản phẩm của chúng tôi. Hôm nay chúng tôi đang cập nhật với đội ngũ tìm kiếm của mình để xem họ đã làm việc gì trong vài tháng qua.

Cảm ơn ba bạn đã tham gia với chúng tôi hôm nay! Để bắt đầu, bạn có thể cho chúng tôi biết một chút về bản thân và những gì bạn làm trong Bảng Tìm kiếm của Guru?

Nina: Tôi là một nhà khoa học dữ liệu trong Bảng Tìm kiếm, vì vậy tôi tập trung vào việc tìm ra những phương pháp học máy nào mà chúng tôi có thể thử nghiệm để cải thiện Tìm kiếm. Gần đây tôi đã tập trung vào cách chúng tôi có thể tích hợp cách Thẻ (định dạng mà thông tin được tài liệu với Guru) được sử dụng (xem, sao chép liên kết hoặc nội dung, đánh dấu yêu thích) vào thuật toán tìm kiếm của chúng tôi, và trong tương lai, tôi sẽ tìm hiểu xem chúng tôi có thể hiểu rõ hơn về ý định của người dùng khi tìm kiếm để đảm bảo chúng tôi mang đến cho họ những Thẻ phù hợp nhất.

Laura: Tôi là một quản lý sản phẩm cho Bảng Tìm kiếm, vì vậy tôi dành nhiều thời gian với khách hàng của chúng tôi để nhận phản hồi của họ và hiểu điều gì là hữu ích và quan trọng nhất đối với họ. Sau đó, tôi mang những điều này trở lại nhóm, để chúng tôi có thể đưa ra quyết định về cách cải thiện và phát triển tìm kiếm theo thời gian. Tôi lập kế hoạch cho các mục tiêu ngắn hạn, trung hạn và dài hạn của chúng tôi để có thể cải thiện liên tục trên nhiều khía cạnh của tìm kiếm.

Jenna: Tôi cũng là một nhà khoa học dữ liệu trong Bảng Tìm kiếm, và tôi tập trung vào thuật toán của chúng tôi một cách cụ thể. Hiện tại, tôi đang tập trung vào công cụ nội bộ của chúng tôi cho phép chúng tôi thử nghiệm các điều chỉnh thuật toán khác nhau và hiểu cách chúng có thể ảnh hưởng đến kết quả tìm kiếm cho khách hàng của chúng tôi. Tôi cũng thực hiện phân tích dữ liệu để so sánh cách tìm kiếm của chúng tôi hiện đang hoạt động so với cách nó sẽ hoạt động với những thay đổi tiềm năng.

lần cuối cùng mà chúng tôi cập nhật với Bảng Tìm kiếm, chúng tôi đã nói về những thay đổi sắp tới đối với thuật toán của chúng tôi và những cách mà chúng tôi thử nghiệm các cải tiến tìm kiếm. Bạn có thể cho chúng tôi biết một chút về cách mà công việc đó đang diễn ra không?

Laura: Những thay đổi gần đây của chúng tôi đã liên quan đến việc xem xét việc sử dụng Thẻ như một yếu tố khác để tìm ra những kết quả phù hợp và hữu ích nhất.

Nina: Ý tưởng bắt nguồn từ việc muốn hiểu cách mà dữ liệu sử dụng Thẻ có thể ảnh hưởng đến công việc AI tại Guru nói chung. Trước khi áp dụng những câu hỏi này vào tìm kiếm cụ thể, chúng tôi đã khám phá cách mà “độ phổ biến” của Thẻ liên quan đến tính hữu ích trong một dự án hackathon!

Jenna: Việc sử dụng Thẻ nằm trong trọng tâm lớn hơn của Bảng Tìm kiếm về việc đưa vào những nguồn dữ liệu mới có thể giúp chúng tôi hiểu rõ hơn về độ liên quan của Thẻ. Vậy việc sử dụng sẽ là một nguồn dữ liệu, cũng như công việc mà Nina đang làm để hiểu rõ ý định.

Ban đầu, chúng tôi biết rằng chúng tôi có rất nhiều dữ liệu về cách mà Thẻ được sử dụng qua các đội, và chúng tôi giả định rằng hành vi của người dùng xung quanh Thẻ có thể cung cấp thông tin cho các cải tiến trong tìm kiếm.

Nina: Tôi nghĩ điều quan trọng là lưu ý rằng tìm kiếm không chỉ đơn thuần là khớp các thuật ngữ chính — nó cũng cần phải hiểu ngữ cảnh của nơi và thời điểm mà các Thẻ đang được sử dụng.

Laura: Chúng tôi xem xét việc sử dụng Thẻ để giúp người dùng của chúng tôi trong các lĩnh vực khác của sản phẩm — ví dụ, bạn có thể thấy dữ liệu sử dụng xung quanh các Thẻ đang chờ xác minh của bạn trong “Công việc của tôi.”

Chúng tôi cũng có các điểm số độ phổ biến trên toàn bộ ứng dụng — các điểm dữ liệu sử dụng này nhằm giúp người dùng hiểu thông tin nào là quan trọng nhất đối với đội của họ.

Việc đưa dữ liệu đó vào tìm kiếm giúp chúng tôi tạo ra một trải nghiệm toàn diện hơn.

Jenna: Điều này cũng giúp chúng tôi đảm bảo rằng kết quả tìm kiếm hữu ích và năng động — ví dụ, có thể nội dung của một Thẻ không thay đổi nhiều trong suốt một năm, nhưng mức sử dụng tăng vọt trong cùng một khoảng thời gian. Điều này có thể chỉ ra rằng Thẻ đang trở nên ngày càng hữu ích hơn cho đội, và các kết quả tìm kiếm nên phản ánh điều đó.

Bạn có thể cho chúng tôi biết Bảng làm thế nào đưa ra quyết định về việc có tiếp tục với những thay đổi hay không?

Jenna: Bảng rất thử nghiệm trong cách tiếp cận của chúng tôi, và chúng tôi có nhiều cấp độ cho các thử nghiệm. Môi trường của chúng tôi cho việc thử nghiệm hoàn toàn tách biệt khỏi các tài khoản của khách hàng, và có nhiều vòng thử nghiệm mà một thử nghiệm phải “qua” trước khi chúng tôi thậm chí xem xét việc phát hành những thay đổi cho khách hàng. Bởi vì thiết lập thử nghiệm của chúng tôi, chúng tôi có thể thử nghiệm các thay đổi một cách nhanh chóng và tự tin hơn về những thay đổi mà chúng tôi cuối cùng triển khai cho khách hàng.

Nina: Tôi cũng muốn thêm rằng tất cả những thử nghiệm này đều dựa vào dữ liệu. Chúng tôi sẽ làm việc trên nhiều thử nghiệm của một thay đổi cùng một lúc và sau đó sử dụng dữ liệu để hiểu cái nào đã tác động tốt nhất đến kết quả. Ví dụ, gần đây chúng tôi đã thực hiện một cuộc chạy nước rút với 110 thử nghiệm với nhiều mức độ chi tiết và độ phức tạp — 2 trong số đó chúng tôi đã quyết định tiếp tục dựa trên kết quả. Đôi khi, mất hàng chục thử nghiệm để quyết định một thay đổi, đôi khi sẽ mất nhiều hơn.

Laura: Tất cả các chỉ số của chúng tôi đều tập trung vào việc có những kết quả phù hợp nhất nằm càng cao trong danh sách kết quả càng tốt. Nhưng do sự đa dạng của các đội ngũ khách hàng và nội dung trong các tài khoản của họ, chúng tôi phải trải qua quy trình thử nghiệm nghiêm ngặt này để đảm bảo rằng chúng tôi sẽ thấy được kết quả tích cực trên toàn bộ cơ sở khách hàng của chúng tôi.

Jenna: Mỗi thử nghiệm mà chúng tôi thực hiện mô phỏng hàng trăm ngàn lượt tìm kiếm, điều này cho phép chúng tôi mô phỏng khối lượng tìm kiếm mà chúng tôi cần để tự tin nói rằng một thay đổi sẽ tác động tích cực đến khách hàng trên diện rộng.

Khi chúng tôi triển khai các thay đổi cho người dùng của mình, làm thế nào chúng tôi đo lường thành công của họ trong việc giúp họ tìm những gì họ cần?

Laura: Một trong những cách lớn nhất mà chúng tôi theo dõi cách tìm kiếm đang hoạt động cho khách hàng là bằng cách theo dõi một tập hợp các chỉ số mà chúng tôi đã tổng hợp. Có một số chỉ số tiêu chuẩn ngành cho tìm kiếm tập trung vào độ chính xác và độ hồi tưởng mà chúng tôi sử dụng để có cái nhìn tổng thể về cách mọi thứ đang diễn ra. Đây là các công thức giúp chúng tôi đo lường xem chúng tôi có trả về nội dung liên quan và liệu nó có dễ dàng cho người tìm kiếm để tìm thấy những gì họ cần trong danh sách kết quả (tức là nó gần ở đầu) hay không. Sau đó, chúng tôi nhìn vào các chỉ số cụ thể hơn cho thấy cách mọi thứ đang diễn ra cho các loại tìm kiếm khác nhau. Vì vậy, chúng tôi sẽ xem xét cách một thay đổi đề xuất ảnh hưởng đến những chỉ số đó, và sau đó như một chỉ số trễ, phản hồi từ khách hàng. Tùy thuộc vào thay đổi, chúng tôi có thể kỳ vọng (và nhận được) nhiều phản hồi từ khách hàng hay không, nhưng mong đợi là họ cảm nhận được tác động của những thay đổi bằng cách có thể tìm những gì họ cần nhanh hơn và ít cản trở hơn.

Jenna: Chúng tôi cơ bản đang cố gắng trả lời hai câu hỏi: một, chúng tôi có đang đưa ra những Thẻ hữu ích không? Và hai, chúng tôi có đang tránh việc đưa ra những Thẻ không liên quan không? Một cách khác để chúng tôi đánh giá tác động là bằng cách nhìn vào hành vi của người dùng sau khi kết quả của họ đã được đưa ra — họ có đang tìm kiếm lại không? Xem thêm Thẻ không? Điều này cung cấp thông tin hữu ích về sự thành công của kết quả của họ.

Chúng tôi sẽ kết thúc với câu hỏi mà tôi yêu thích — điều gì tiếp theo cho tìm kiếm của Guru?

Laura: Cải tiến liên tục! Tôi nghĩ về hai lĩnh vực chính mà chúng tôi làm việc liên quan đến tìm kiếm — thuật toán, và trải nghiệm người dùng của quá trình tìm kiếm. Hiện tại, chúng tôi đang tập trung nhiều hơn vào thuật toán, nhưng chúng tôi coi cả hai khía cạnh là quan trọng.

Trong dài hạn, chúng tôi muốn tích hợp nhiều ngữ cảnh hơn vào tìm kiếm — bao gồm việc sử dụng dự kiến của người dùng dựa trên đội của họ, cách họ tương tác với các Thẻ khác, v.v. — để cung cấp một trải nghiệm tìm kiếm cá nhân hơn.

Nina: Chúng tôi cũng muốn sử dụng học máy để hiểu ý định phía sau tìm kiếm của người dùng. Đôi khi, có một khoảng cách giữa những gì người dùng thực sự nhập và những gì họ đang tìm kiếm. Ví dụ, một người dùng có thể tìm kiếm "bồi thường bán hàng" trong khi Thẻ phù hợp sử dụng thuật ngữ "hoa hồng", vì vậy chúng tôi sẽ làm việc để sử dụng học máy để giải quyết những khoảng cách đó.

Jenna: Cuối cùng, tất cả điều này đi kèm với điều kiện là thử nghiệm. Khi chúng tôi thử nghiệm tất cả những thay đổi có thể này, chúng tôi có thể tự tin nói rằng chúng tôi sẽ không bao giờ triển khai bất kỳ điều gì mà không cho thấy sự cải thiện trong khung thử nghiệm của chúng tôi.