hakia vs. Google 결과는?

hakia

Semantic search를 한다고 하는 업체가 몇개 있는데, 작년에 MS에 인수된 Powerset과 Hakia가 대표적이다. Semantic search라고 하면, 사용자의 질문의 의도와 뜻을 이해하여 검색결과를 제공하는 검색이라고 할 수 있다.

2007/06/18 - [검색엔진]Hakia

하지만, 사용자의 질문의 의도와 뜻을 이해하기보다는 질문과 의도를 문장으로 받아서 처리하는 수준이지, 의도와 뜻을 이해하지는 못하고 있다. 개인적으로 의도와 뜻을 파악하는 것은 최소한 추론이라는 과정이 있어야 그나마 뜻과 의도를 이해한다고 이야기할 수 있는 것 아닌가 생각된다.

어찌되었든 Powerset이나 hakia 모두 구글에 대한 대항마라기 보다는 구글이 제대로 하지 못하는 문장단위의 질의를 처리하여 검색하는 '자연어 검색'분야의 선두주자라고 할 수 있다.


hakia vs. Google

그런데 재미있게도 Hakia는 자신들과 구글( + 야후, MS)을 비교해서 자신들이 훨씬 낫다는 서비스를 제공하고 있다. (hakia와 비교 말고도 구글, 야후, MS가 간접비교를 할 수 있으니 테스트해보시기를)

접속을 하면 자동으로 'penguins'라는 질의어가 입력되고 위의 이미지처럼 검색결과가 비교가 된다. 확실히 hakia의 검색결과가 구글에 비해서 연관도(relevancy)가 높아 보인다.

몇가지를 더 테스트해보면 알겠지만, 내가 입력한 질의어와 연관있는 결과가 나와서 정확하게 보이는데, 결국 자연어 검색이라는 것을 통해서 단순히 문서에서 질의어가 많이 나온 순서대로 결과를 보여주는 것이 아니라 구문 관계나 의미 관계까지 고려를 해서 결과가 나오기에 훨씬 더 정확해 보이는 것 같다.

자연어 검색

그럼 다시 자연어 검색이 대세가 될까? 위에서도 잠깐 언급했었지만, hakia나 Powerset 모두 구글의 대항마라기 보다는 구글의 부족한 부분을 파고드는 니치 마켓(niche market) 검색이라고 할 수 있겠다.

특히나 우리나라에서는 자연어 검색이라는 것은 한물 지나간 기술로 취급받고 있고, 실제로 대학에서 자연어 검색을 연구하는 곳도 많이 줄어들고 자연어 검색을 전공하는 대학원생도 줄어들고 있다.

자연어 기술과 시장 관련해서 모란소프트의 조영환 대표님이 좋은 말씀을 해주셨는데, 결국 돈이 되지 않는 기술이라고 시장에서 생각하고 있는 것이 현실이기는 한데, 자연어 기술이라는 것은 대단히 중요한 원천기술인데 더 이상 연구개발할만한 새로운 주제가 없어서 그런지 몰라도 투자도 제대로 이루어지지 않고 관련 회사도 많이 없어지는 것이 안타까울 따름이다.

현재 대부분의  자연어처리 기술 관련 인력은 주요 포탈에 흡수되어 있지만 이렇다할 만한 성과를 보여주지 못하고 있는 것도 현실이다.

아무튼 우리나라도 다시 hakia와 같은 새로운 도전을 해 줄 수 있는 검색엔진이 나타나기를 빌어본다.


 마루날의 雜學辭典|잡학사전을 RSS리더로 편하게 구독하세요~