검색엔진 성능평가

검색엔진의 성능평가

검색엔진의 성능을 평가한다면, 어떤 검색엔진이 좋은 검색엔진이냐라는 것인데, 여러가지를 생각할 수 있다.

검색결과가 정확해야 한다든지,
새로운 데이터나 정보가 검색결과에 즉시 반영된다든지,
특별한 관리가 필요없다든지,
다양한 파일이나 문서포맷을 검색할 수 있어야 한다든지,
최근 유행하는 추천검색어나 인기검색어기능이 제공되어야 한다든지,
동의어 등이 처리가 되어야 한다든지 등등

우리가 어떤 물건을 살때 사는 기준이 천차만별인만큼 다양한 기준을 생각할 수 있다.


기능유무

실제로 유용한지를 떠나서 어떤 기능들이 있는지에 대해서 평가를 하는 것인데, 성능평가 기준이 모호하기에 특정한 검색엔진의 특정 기능을 선호해서 이러한 기준으로 검색엔진의 성능평가가 이루어지는 경우도 있다.

하지만, 대부분의 검색엔진은 커스터마이징을 통해서 없는 기능을 짧은 기간안에 구현할 수 있다. 그만큼 기능유무는 성능평가로 적합하지 않다. 다만 자신의 검색 서비스에서 목표가 무엇이고 사용자들에게 제공해야 하는 benefit에 따라서 특정 기능이 필요할 수 있다.


검색엔진의 성능요소

성능요소는 정확도, 재현율, 색인속도/주기, 색인크기, 수집속도, 대용량 데이터처리 등이라고 볼 수 있는데...색인과 관련된 속도, 주기, 크기는 모두 검색엔진을 구축하는 하드웨어와 깊은 관계가 있다.

색인 속도나 주기에 따라서 저장공간이 추가로 필요할 수 있고, 디스크 I/O(색인을 만들기 위해 디스크에 Read/Write)를 최소화하기 위해서 메모리가 많이 필요하다든지 등등

하지만, 색인은 Back office단의 즉, 관리자의 영역에서 일어나는(물론 사용자에게 영향을 주지만) 것이기에 성능 요소라 할 수 있을지 모르지만, 관리자 또한 또 다른 사용자이므로, 주요한 요소라고 볼 수 있다.

그렇다면.. 진정한 성능평가 기준은 정확도, 재현율 정도라고 볼 수 있다.

원하는 결과를 얼마나 정확하게 찾아주는지인데.. 이것은 매우 주관적인 부분이다. 네이버가 정확하다 구글이 정확하다는 정말 모호한 기준이라할 수 있다.

검색결과에 내가 생각하는 결과에 연관성이 높은(Relevance) 결과가 있는지에 따라서라면 - 정확도 또는 찾을 수 없을 것 같은 정보까지도 찾아준다면 - 재현율
을 봐야 하지만, 이것 역시 정확한 기준이 없이는 평가가 불가능하다.


그렇다면...

학술대회 차원에서 특정 쿼리에 대한 정확한 결과를 사전에 정의한 Collection을 주고 검색엔진을 평가하는 형태로 경진대회가 있기도 하다. 하지만, 이런 경우 Collection이 신문기사인지 논문인지 그냥 웹 문서인지 등에 따라 검색정확도가 달라 질 수 있다.

따라서 기업에서 검색엔진을 도입하기 위해서는 검색엔진을 통해서 목적하는 바를 구현해 낼 수 있는 검색엔진을 도입해야 할 것이고, Collection 형태나 량 등의 기준에 따른 검색엔진 성능 평가를 할 수 있는 공공서비스가 필요한것은 아닌가 생각되기도 한다.