구루의 출시 블로그 게시물 중 하나를 확인하면 반복되는 주제를 발견하게 될 것입니다: 고객을 위한 검색 경험 향상. 좋은 이유가 있습니다. — 데이터 과학자, 제품 관리자 및 엔지니어로 구성된 전담 검색 팀 덕분에 구루의 검색 및 지식 발견 가능성은 항상 테스트되고 개선되고 있습니다. 검색 기능이 있는 모든 기술 회사와 마찬가지로, 구루에서 이것은 항상 향상 및 완벽한 기능의 기초가 되는 부분입니다. 검색 향상이 UI 변화, AI 개선 또는 새로운 기능과 같이 "눈에 띄지" 않을 수 있지만, 여전히 상당한 효과를 지니며 사용자에게 우리 제품과의 경험을 크게 향상시킵니다. 오늘 우리는 검색 팀과 함께 만나 지난 몇 개월 간 그들이 무엇을 작업해 왔는지 알아보고 있습니다.

오늘 참여해 주신 세 분에게 감사합니다! 시작하기 위해, 여러분에 대해 조금 이야기해 주시고 구루의 검색 팟에서 무엇을 하고 있는지 말씀해 주실 수 있나요?

니나: 저는 검색 팟의 데이터 과학자라서, 기계 학습 방법을 실험해 보며 검색을 개선하는 방법에 대해 집중하고 있습니다. 최근에는 카드가 어떻게 사용되는지를 검색 알고리즘에 통합할 수 있는 방법을 조사하고 있으며, 앞으로는 사용자가 검색할 때 그들의 의도를 더 잘 이해하는 방법을 모색할 것입니다. 이를 통해 가장 관련성 높은 카드를 가져올 수 있도록 할 것입니다.

로라: 저는 검색 팟의 제품 관리자이며, 고객과 많이 시간을 보내며 그들의 피드백을 받고 무엇이 가장 유용하고 중요한지를 이해합니다. 그렇기 때문에 저는 이를 팀에 전달하여 검색을 개선하고 발전시키는 방법에 대해 결정할 수 있도록 하고 있습니다. 단기, 중기 및 장기 목표를 계획하여 검색의 다양한 측면을 지속적으로 개선할 수 있도록 하고 있습니다.

제나: 저도 검색 팟의 데이터 과학자이며, 우리의 알고리즘에 집중하고 있습니다. 현재, 저는 다양한 알고리즘 조정을 실험할 수 있는 내부 도구에 주력하고 있으며 고객의 검색 결과에 어떤 영향을 미칠지 이해하고 있습니다. 또한 검색이 현재 어떻게 수행되고 있는지와 잠재적인 변경사항에 따라 어떻게 수행될 수 있는지를 비교하기 위해 데이터 분석도 수행합니다.

마지막으로 검색 팟과 만난 때 우리가 알고리즘의 변화와 검색 개선 방법을 논의했습니다. 그 작업이 어떻게 진행되었는지 말씀해 주시겠습니까?

로라: 우리의 최근 변화는 카드를 사용하는 것을 가장 관련성이 높고 유용한 결과를 찾는 또 다른 요소로 고려하는 것입니다.

니나: 이 아이디어는 카드 사용 데이터가 구루의 AI 작업에 어떤 영향을 미칠 수 있는지를 이해하고 싶다는 데서 비롯되었습니다. 이 질문들을 검색에 적용하기 전에, 우리는 카드의 '인기도'가 해커톤 프로젝트에서 유용성과 어떻게 연관되고 있는지를 조사했습니다!

제나: 카드를 사용하는 것은 검색 팟의 더 큰 초점 중 하나이며, 새로운 데이터 소스를 도입하여 카드의 관련성을 이해하는 것입니다. 사용은 데이터 소스가 될 것이며, 니나가 의도를 이해하기 위해 하고 있는 작업도 포함됩니다.

시작할 때 우리는 카드가 다양한 팀에서 어떻게 사용되고 있는지에 대한 많은 데이터가 있다고 알고 있었고, 사용자 행동이 카드에 대해 개선을 알릴 수 있을 것이라는 가설을 세웠습니다.

니나: 검색은 단지 키 용어를 일치시키는 것이 아니라 — 카드가 어디서 어떤 시간에 사용되고 있는지를 이해하는 것과 관련이 있다는 점을 지적하는 것이 중요합니다.

로라: 우리는 카드 사용을 통해 다른 영역에서 사용자에게 도움을 주고 있습니다. 예를 들어, "내 작업"에서 확인해야 할 카드 주변의 사용 데이터도 볼 수 있습니다.

앱 전반에 걸쳐 인기 점수가 있으며, 이러한 사용 데이터는 사용자가 팀에 가장 중요한 정보가 무엇인지 이해하는 데 도움이 되도록 만들어져 있습니다.

이 데이터를 검색에 반영하면 보다 보편적인 경험을 제공할 수 있습니다.

제나: 이는 검색 결과가 유용하고 동적일 수 있도록 도와줍니다. 예를 들어, 카드의 내용이 1년 동안 크게 변하지 않더라도, 사용량은 같은 기간 동안 급격히 증가할 수 있습니다. 이는 카드가 팀에게 점점 더 유용해지고 있다는 것을 나타내며, 검색 결과는 이를 반영해야 합니다.

팟이 변경사항을 진행할지 여부를 어떻게 결정하는지 말씀해 주시겠습니까?

제나: 이 팟은 실험적인 접근 방식을 채택하고 있으며, 다양한 실험 수준이 존재합니다. 우리가 테스트하는 환경은 고객 계정과 완전히 격리되어 있으며, 실험이 고객에게 변경 사항을 배포하는 것을 고려하기 전에 "통과"해야 하는 여러 라운드의 테스트가 있습니다. 실험적 설정 덕분에 우리는 변경 사항을 매우 빠르게 테스트할 수 있으며 최종적으로 고객에게 배포하는 변경 사항에 대해 더 자신감을 가질 수 있습니다.

니나: 저는 또한 이러한 모든 실험이 매우 데이터 기반이라는 점을 강조하고 싶습니다. 우리는 여러 가지 변경 사항의 트라이얼을 동시에 진행하며, 그 후 데이터를 사용하여 어떤 것이 결과에 더 긍정적인 영향을 미쳤는지를 이해합니다. 예를 들어, 최근 110개의 다양한 실험을 진행했으며, 그 중 결과를 바탕으로 진행하기로 결정한 2개가 있었습니다. 변경 사항에 대한 결정을 내리기 위해 수십 개의 실험이 필요할 때도 있고, 더 필요할 때도 있습니다.

로라: 우리의 모든 메트릭은 가장 관련성 높은 결과를 가능한 최대한 높은 위치에 배치하는 것을 중심으로 합니다. 그러나 고객 팀과 그들의 계정에 있는 콘텐츠의 다양성 때문에 우리는 모든 고객 기반에서 긍정적인 결과를 보장하기 위해 이러한 엄격한 테스트를 거쳐야 합니다.

제나: 우리가 진행하는 모든 실험은 수십만 번의 검색을 시뮬레이션하여, 고객에게 긍정적인 영향을 미칠 것이라는 자신감을 가지고 변경 사항이 필요하다는 검색량을 시뮬레이션할 수 있도록 합니다.

사용자에게 변경 사항을 배포한 후, 그들이 필요한 것을 찾는 데 얼마나 도움이 되는지를 어떻게 측정합니까?

로라: 고객을 위해 검색 성능을 모니터링하는 가장 큰 방법 중 하나는 우리가 설정한 여러 메트릭을 주목하는 것입니다. 검색을 위한 업계 표준 메트릭은 여러 가지가 있으며, 정밀도 및 재현율과 관련이 있습니다. 이를 통해 전반적으로 상황이 어떻게 진행되고 있는지 파악하고 있습니다. 이들은 우리가 관련 콘텐츠를 반환하고 있는지, 검색자가 결과 목록에서 필요한 것을 찾기 쉬운지를 측정하는 데 도움이 되는 공식입니다 (즉, 상위에 있습니다). 그 다음으로 특정 검색 유형에 대해 어떻게 진행되고 있는지를 보여주는 더 타겟화된 메트릭을 살펴봅니다. 따라서 우리는 제안된 변경이 이러한 메트릭에 어떤 영향을 미치는지 살펴보며, 지연 지표로 고객 피드백을 고려합니다. 변경 사항에 따라 고객 피드백이 많을 수도 있고 적을 수도 있지만, 고객이 빠르고 마찰 없이 필요한 것을 찾을 수 있도록 해야 한다는 기대는 가지고 있습니다.

제나: 우리는 기본적으로 두 가지 질문에 답하려고 합니다: 하나, 우리는 유용한 카드를 노출하고 있나요? 둘째, 우리는 관련이 없는 카드를 노출하지 않고 있나요? 영향을 평가하는 또 다른 방법은 노출된 결과 후 사용자 행동을 살펴보는 것입니다. — 검색을 다시 하나요? 더 많은 카드를 보고 있나요? 이것은 그들의 결과의 성공에 대한 유용한 통찰력을 제공합니다.

내가 가장 좋아하는 질문으로 마무리하겠습니다. — 구루의 검색의 다음 단계는 무엇인가요?

로라: 지속적인 개선! 저는 검색과 관련하여 우리가 다루는 두 가지 주 영역이 있습니다. — 알고리즘, 그리고 검색 과정의 사용자 경험입니다. 현재, 우리는 알고리즘에 더 집중하고 있지만, 두 가지 측면 모두 중요하다고 생각합니다.

장기적으로, 사용자들의 팀 소속에 기반하여 그들의 예상된 사용을 포함한 더 많은 맥락을 검색에 통합하고, 보다 개인화된 검색 경험을 제공하고자 합니다.

니나: 우리는 또한 사용자의 검색 뒤에 있는 의도를 이해하기 위해 기계 학습을 사용하고자 합니다. 때때로 사용자가 입력한 것과 그들이 원하는 것 사이에 간극이 존재합니다. 예를 들어, 사용자가 "판매 보상"을 검색할 때, 관련 카드에서는 "커미션"이라는 용어를 사용하므로 이러한 간극을 해결하기 위해 기계 학습을 활용할 것입니다.

제나: 궁극적으로 이러한 모든 것에는 테스트라는 경고가 따릅니다. 우리는 이러한 가능한 모든 변경을 테스트하면서, 우리의 실험 프레임워크에서 개선을 입증하지 않는 어떤 것도 결코 배포하지 않을 것이라고 자신 있게 말할 수 있습니다.