"웹호스팅을 이용중인데 지난 6월 이후 트래픽 초과요금으로 매달 1년 약정 요금보다 비싼 비용을 치르고 있어요. 원인에 대해 카페24 측에 문의를 했는데  페이스북 관련 검색 봇이 원인이더라고요"

웹호스팅 이용자 가운데 최근 몇 달간 알 수 없는 이유로 트래픽 요금 폭탄을 맞았다는 불만이 이어지고 있다.

정보통신업을 하는 A씨는 10년째 한 웹호스팅 업체를 통해 홈페이지를 운영해왔는데 최근 들어 트래픽 초과로 사이트가 막히는 일을 겪었다.  

자신의 사이트에 유입자가 급증한 것은 반가운 일이나 그로인해 호스팅 비용이 증가하는 것은 감내해야 할 일이라 여겼다. 결국 용량을 올리기 위해 서버호스팅을 고민하던 A 씨는 업계 관계자로부터 뜻밖의 조언을 들었다고 한다. 최근 미국 페이스북 관련 검색 봇 'facebookexternalhit'으로 인한 트래픽 증가가 말썽이라는 내용이었다.

A 씨 역시 최근 트래픽 증가의 원인을 확인해 보니 페이스북 검색봇이 초과 트래픽 80%를 차지하고 있었던 것이다.

A 씨는 "URL을 보면 페이스북인데 혹시 이를 가장한 스팸인가 의심스러워 IP를 조회해 보니 모두 페이스북 소유인 것을 확인했다"면서 "해당 검색 봇은 페이스북에서 누군가 링크를 남기면 이 링크에 대한 썸네일 이미지(대표 이미지)와 내용을 보여주기 위해 크롤링을 하는데 방문자를 높인다는 측면에서는 좋은 일이라고 할 수 있지만 높은 트래픽 부하를 준다"고 했다.

이로 인해 페이스북 봇은 해외 커뮤니티에서도 논란이 되고 있다. 다만 페이스북의 봇 'facebookexternalhit'의 근접을 막아야 할지 말아야 할지는 명확한 결론이 나지 않은 상태다.

A 씨는 "최근 트래픽이 급증한 경우 페이스북 검색 봇의 접근이 있었는지 확인해볼 필요가 있다"면서 "확인해보니 페이스북의 검색 봇의 이런 문제가 발생한 게 한 두 해가 아니더라. 검색 봇이 과도한 트래픽을 발생시켜 스팸에 가깝게 서버에 부하를 주는 건 심각한 문제다. 페이스북 측의 즉각적인 개선이 필요해 보인다"고 지적했다.