우리는 항상 Guru와 함께 사용자 경험을 향상하고 개선하기 위해 노력하고 있으며, 여기서 지식이 생성되는 방식부터 Slack, Teams 및 그 너머까지 어떻게 공유되는지를 포함합니다. 우리 팀의 마음속에 특별한 자리를 차지하는 한 영역은 바로 검색 기능입니다. 이는 우리 플랫폼이 지식을 탐색하고 공유하는 데 핵심적입니다. 지난 11월, 우리는 제품 데이터를 사용하여 Guru 내 검색을 개선하는 방식에 대한 미리보기를 공유했습니다. 그 이후로 우리는 한 발자국도 물러서지 않고, 웹 앱과 브라우저 확장에서 검색 UI에 점진적인 개선을 이루어 내고, 알고리즘을 직접 업데이트하고 있습니다. 오늘은 우리의 헌신적인 검색 팀의 두 멤버와 함께 Q&A 세션을 진행하여 Guru에서 검색을 항상 개선할 수 있도록 어떻게 노력하는지 더 잘 이해해봅시다.

함께 해주셔서 감사합니다, 노라와 예브! 자기소개를 하고 Guru에서 하는 일에 대해 조금 알려주실 수 있나요?

노라: 초대해 주셔서 감사합니다! 저는 노라 웨스트이며, Guru의 검색 및 저자 팀의 선임 제품 관리자입니다.

예브: 감사합니다, 시드니. 저는 예브 메이어이며, Guru의 스탭 데이터 과학자입니다.

시작하기에 앞서, Guru의 검색 팀(“팟”)에 대해 조금 물어보고 싶습니다. 많은 사람들은 우리가 검색 경험에 전념하는 팀이 있다는 것을 모를 수도 있습니다 — 팀에 대해 조금 말씀해 주실 수 있나요?

예브: 우리의 검색 팟은 고객에게 원활한 검색 경험을 제공하기 위해 전적으로 헌신하는 다기능 팀입니다. 검색 팀은 검색 기능을 증강하기 위한 균형 잡힌 접근 방식을 계획하고 실행하기 위해 디자이너, 프론트엔드 개발자, 백엔드 엔지니어, 아키텍트, 데이터 과학자, 머신 러닝 엔지니어 및 제품 관리자들을 모읍니다.

노라: 맞아요, 정확합니다. 직함에 관계없이, 우리는 팀으로 함께 협력하여 검색의 외부 디자인과 내부 알고리즘 기능 두 가지 모두에 초점을 맞춘 놀라운 검색 경험을 만들어 갑니다. 저는 우리가 보고 있는 피드백, 회사 목표 및 관련 시장 통찰력을 바탕으로 우리의 작업 우선순위를 정하는 데 도움을 줍니다.

예브: 저는 팀이 자연어 처리(NLP)와 머신 러닝(ML)을 검색의 모든 측면에 주입하는 데 도움을 줍니다. 저는 또한 팀이 고객 피드백, 검색 성능 메트릭 및 팀/기술 통찰력의 균형을 맞추는 실험 전략을 찾는 데 도움을 줍니다.

검색은 사람들이 많은 생각을 하지 않는 부분이지만, Guru와 같은 도구의 핵심 기능입니다. Guru의 검색이 어떻게 작동하는지 기본 개요를 제공해 주실 수 있나요?

예브: 검색은 믿을 수 없을 만큼 중요한 부분이며, 심지어 구글 자체에 따르면, 해결되지 않은 문제이며, 매우 어렵습니다. 대부분의 사람들은 소프트웨어 제품에서 검색에 많은 신경을 쓰지 않지만(그들은 “구글링”하는 것에 익숙하기 때문에), 그 뒤에서 많은 일이 발생합니다. 검색 쿼리를 이해하는 것(예: 의도를 추론하고, 의미를 추출하고, 철자 오류를 수정하고, 의도를 더 잘 포착하기 위해 유의어 또는 다른 접근 방식을 사용하여 쿼리를 다시 작성하는 것 등)에서 검색 컨텍스트를 포함하여 결과를 검색하고 순위를 정하는 것까지, 모든 것을 대규모로 수행하는 것은 어렵고 흥미로운 문제입니다. Guru는 Lucene, Solr 및 Elasticsearch 오픈 소스 프로젝트 뒤에 있는 팀들과 Lucidworks, Elastic, Google 및 AWS와 같은 기업의 팀들이 수행해 온 획기적인 작업 기반 위에 구축되어 가장 관련성 높은 지식을 사용자에게 제공합니다.

검색이 “잘” 작동하는지 판단하기 위해 어떤 지표를 살펴보시나요? Guru 내에서 검색을 개선하거나 강화할 기회를 어떻게 식별하시나요?

예브: 우리는 정성적 및 정량적 지표를 모두 살펴봅니다. 정량적인 측면에서, 우리는 사용자-제품 상호 작용 데이터를 추적할 수 있도록 제품에 이벤트 추적을 구축하는 데 많은 시간을 투자했습니다. 그 상호 작용 데이터를 살펴보면 검색 성능이 얼마나 잘 이루어지고 있는지 정확히 측정할 수 있습니다. 우리가 관련 결과를 반환하고 있나요? 사용자와의 상호 작용은 어떻게 이루어질까요? 어떻게요? 이 결과들이 사용자와 상호 작용할 때 어떤 위치에 나타나나요? 재현율, 평균 정밀도(MAP) 및 일반적으로 이러한 질문에 답하는 데 사용되는 기타 메트릭 외에도, 우리는 사용자 불만도 살펴봅니다. 사람들이 검색 결과와 상호 작용하지 않고 다른 것을 검색하고 있나요? 그들이 검색 쿼리를 재작성하고 있나요? 이 질문들은 몇 가지 일반적인 예일 뿐이며, 각 질문은 제품의 특정 부분, 특정 맥락, 통합 등을 기준으로 더 세분화될 수 있습니다.

노라: 예브가 말했듯이, 데이터는 사용자들이 취하는 행동에 대한 놀라운 통찰을 제공하여 시간에 따른 검색 성능을 측정할 수 있게 해줍니다. 이러한 통찰을 통해 우리는 사용자가 계속해서 취하는 행동에 최적화하고, 좋지 않은 결과가 보이는 부분을 지원할 수 있습니다. 예를 들어, 사용자의 쿼리에는 그들이 찾고 있는 카드의 제목에 있는 단어가 종종 포함되어 있다는 것을 보았기 때문에, 우리는 빠른 제목 검색을 도입하여 사용자들이 더 빨리 그 카드에 도달하도록 돕고 있습니다. 현재 우리는 긴 검색에 대한 성능 개선에 집중하고 있습니다. 데이터는 또한 우리가 제품에 변경 사항을 가져오기 전에 확인하는 데 도움을 줍니다. 테스트를 통해 우리는 제안된 알고리즘 변경이 고객에게 릴리스되기 전에 결과를 개선할 수 있는지를 확인할 수 있습니다 — 그래서 우리가 릴리스하는 모든 변경 사항이 검색 경험을 개선한다는 것을 확신할 수 있습니다.

예브: 정성적인 측면에서는, 우리는 고객 피드백을 지속적으로 조사하고, 가능할 때 실시간으로 고객과 대화하여 무엇이 작동하고 있는지, 무엇이 작동하지 않는지를 파악합니다.

노라: 네, 우리는 가능한 한 사용자와 대화합니다 — 데이터는 많은 것을 추론할 수 있게 해주지만, 사용자와의 대화는 행동 뒤에 있는 동기를 이해하는 데 도움이 됩니다. 이것은 우리가 데이터에서 보고 있는 추세를 검증하거나 반박하는 데 도움을 줍니다. 예를 들어, 사용자가 꾸준히 사용하는 카드들을 살펴보면, 종종 몇 가지 수집 및 보드로 제한되어 있습니다. 그러나 사용자와 이 점에 대해 이야기하면, 그들은 보통 Guru 팀의 조직 구조에 대해서는 인지하지 못하고 있습니다. 이는 우리가 검색에 추가적인 조직 필터가 혼란을 증가시킬 수 있다는 것을 알 수 있게 해줍니다. 그들은 찾고자 한 카드를 더 쉽게 찾는 것보다 말이죠.

검색 알고리즘의 변경이 사용자가 Guru에서 지식을 찾는 경험에 영향을 미칠 수 있다는 것 같습니다. 잠재적인 변경 사항의 영향을 보려면 어떻게 테스트합니까? 이들을 실시간으로 설정하는 결정을 어떻게 내리나요(아니면 내지 않나요)?

예브: 좋은 질문입니다! Guru에서는 실험의 문화를 수용하고 있으며, 우리의 뛰어난 검색 팟은 라이브 검색 기능에 영향을 미치지 않으면서 많은 아이디어를 테스트하기 위해 검색 쿼리를 신속하게 재생할 수 있는 검색 시험 프레임워크를 구축해 왔습니다. 데이터를 분석하고 테스트된 가설이 실제로 개선을 가져온다고 확인하면, 그 후 몇몇 팀과 사용자를 위해 제품 내에서 제한된 라이브 테스트를 진행합니다. 그 테스트를 통과하면, 우리는 변경 사항을 고객에게 배포합니다.

오늘 우리와 함께 해 주셔서 두 분 모두 감사합니다! 가기 전에, Guru의 검색에 대한 다음 계획을 말씀해 주실 수 있나요?

예브: 많은 개선 사항이 있습니다!

노라: 네, 많은 개선이 기다리고 있습니다. 이번 분기에는 긴 검색을 개선하기 위해 집중하였으며, 올해에는 알고리즘 개선에 최적화하고 있습니다. 우리는 또한 시스템을 업그레이드하여 사용자에게 변경 사항을 테스트하고 배포하는 속도를 높였습니다.

Guru의 검색 기능에 대한 지속적인 개선사항을 최신 상태로 유지하려면, 블로그를 구독하고 곧 출시될 기능에 대한 내용을 주시하세요.