KoreaWho
KoreaWho
기업과산업  인터넷·게임·콘텐츠

클로바X와 바드 챗GPT 성능 비교하니, 한국 정보와 '환각현상'은 네이버 승리

윤휘종 기자 yhj@businesspost.co.kr 2023-08-27 14:57:31
확대 축소
공유하기
페이스북 공유하기 X 공유하기 네이버 공유하기 카카오톡 공유하기 유튜브 공유하기 url 공유하기 인쇄하기

[비즈니스포스트] 네이버의 클로바X와 구글의 바드, 오픈AI의 챗GPT 가운데 질문에 가장 적절한 대답을 해 주는 인공지능은 무엇일까?

네이버가 자체 개발한 생성형 인공지능(AI) 하이퍼클로바X를 공개한 뒤 하이퍼클로바X를 활용한 인공지능 챗봇 클로바X를 향한 관심도 높아지고 있다.
  
클로바X와 바드 챗GPT 성능 비교하니, 한국 정보와 '환각현상'은 네이버 승리
▲ 네이버가 공개한 생성형 인공지능 챗봇, 클로바X의 메인화면. <클로바X 홈페이지 갈무리>

실제로 네이버 주가는 네이버가 하이퍼클로바X를 공개한 24일 6.26% 급등했지만 바로 다음날인 25일에는 오히려 7.86% 급락했다. 

시장에서는 네이버 주가 급락의 원인을 두고 네이버의 클로바X를 사용해 본 이용자들이 기존의 생성형 인공지능 챗봇인 바드, 챗GPT보다 성능이 떨어졌다고 판단했기 때문이라는 분석도 나온다.

클로바X의 성능은 바드, 챗GPT와 비교해 정말로 떨어지는 것일까?

바드, 챗GPT와 비교해 클로바X의 강점은 무엇이 있을까?

이 질문에 대한 답을 찾기 위해 클로바X와 바드, 챗GPT에 같은 질문을 던졌을 때 나오는 대답을 비교해봤다.

단, 챗GPT는 보유한 데이터가 2021년까지밖에 없다는 것을 감안해 최근 데이터가 필요한 질문은 하지 않았다.

네이버는 하이퍼클로바X를 내놓으면서 한국에 대한 정보는 세상의 그 어떤 인공지능보다 많이 학습했다는 점을 강조했다.

◆ ‘한국’에 대한 정보는 네이버 클로바X의 압승, 바드는 “구로역에서 KTX에 탑승해라”

이 말이 진짜인지 알아보기 위해 한국의 교통, 그리고 맛집 증과 관련된 질문을 던져봤다.

먼저 서울시 금천구에 위치한 기자의 집에서 광주광역시에 위치한 호텔까지 대중교통을 이용해 가는 방법을 클로바X와 바드에게 각각 질문했다.

결과는 네이버의 압승이었다. 바드는 한국의 교통상황을 제대로 파악하지 못하고 있는 듯 지하철역인 금천구청역에서 KTX에 탑승하라는 황당한 답변을 내놨다.

금천구청역에서는 KTX에 탑승할 수 없다는 점을 지적한 뒤에도 지하철역인 구로역, 그리고 호남선 열차가 정차하지 않는 영등포역에서 KTX를 타면 된다는 답변이 돌아왔다. 
클로바X와 바드 챗GPT 성능 비교하니, 한국 정보와 '환각현상'은 네이버 승리
▲ 구글의 바드는 금천구청역이 KTX역이 아니라는 반문에 구로역에서 KTX를 이용하라는 잘못된 답변을 제시했다.
하지만 클로바X는 달랐다. 기자는 용산역에서 KTX를 타고 광주송정역으로 가는 방법을 생각하고 있었지만, 클로바X는 기자의 집에서 용산역보다 광명역이 더 가깝다는 것을 짚어내며 광명역에서 KTX를 타라고 안내했다. 

맛집 질문도 마찬가지였다. 합정에서 갈 수 있는 초밥 오마카세집을 추천해달라는 질문에 클로바X와 바드는 모두 비슷한 음식점들을 추천해줬지만, 바드가 추천해준 음식점 가운데는 2021년에 이미 영업을 종료한 업장이 포함돼 있었다.

삼행시 등 한국 고유의 문화 역시 클로바X가 훨씬 더 잘 이해하고 있는 모습을 보여줬다. 

'사랑해'로 삼행시를 지어달라는 질문에 클로바X는 당장 멋들어진 삼행시를 내놓았지만 바드는 '랑대하고 싶은 마음' 등의 알 수 없는 용어를 활용한 삼행시를 지어줬다. 챗GPT는 삼행시가 무엇인지조차 이해하지 못하는 모습을 보였다. 
클로바X와 바드 챗GPT 성능 비교하니, 한국 정보와 '환각현상'은 네이버 승리
▲ 클로바X(왼쪽)와 바드에게 각각 사랑해로 삼행시를 지어달라고 했을 때의 결과물. 클로바X는 두음법칙까지 활용하며 멋들어진 삼행시를 지어냈다.
◆ 생성형 인공지능의 최대 단점 ‘환각 현상’, 클로바X에서는 찾아보기 어려워

생성형 인공지능의 ‘환각 현상(할루시네이션)’을 회피하는 성능 역시 바드, 챗GPT보다 네이버의 클로바X가 뛰어난 것으로 보인다.

기자는 환각 현상에 대한 실험을 위해 챗GPT와 바드, 클로바X에 각각 ‘조선시대에 발생한 연금술사들의 반란에 대해 설명해 줘’라는 황당무계한 질문을 던졌다. 이 질문은 챗GPT의 환각 현상을 보여주는 가장 유명한 질문으로 한 때 인터넷 커뮤니티들을 뜨겁게 달궜던 질문이기도 하다.

챗GPT는 환각 현상의 원조답게 여전히 그럴듯한 거짓말을 지어내는 모습을 보였다. 챗GPT는 조선 연금술사의 난이 16세기 중반에서 17세기 초반에 발생했다고 설명하며 조선시대의 정치, 사회, 경제적 변화와 관련이 깊다는 그럴듯한 설명까지 덧붙였다.

바드는 ‘조선시대에 연금술사의 난이 발생했다는 것은 역사적 사실이 아닙니다’며 순조롭게 환각 현상을 피해가는 듯 했지만, 곧이어 조선의 대표적 연금술사로 이순지, 정인지, 유자광, 이황 등이 있고 이들은 불로장생의 약을 만드는 방법을 연구했다는 기상천외한 답변을 내놓았다.
 
클로바X와 바드 챗GPT 성능 비교하니, 한국 정보와 '환각현상'은 네이버 승리
▲ 바드의 환각 현상. 조선시대의 연금술사로 정인지와 이황 등을 꼽았다. 
반면 클로바X는 “조선시대에 연금술사들의 난이 일어났다는 역사적 기록은 존재하지 않는다”며 “연금술은 중세 유럽에서 유행했던 기술이고, 조선에서는 연금술보다 금속가공술, 화학 등이 더욱 발달했다”는 지식까지 제공해줬다.

황당무계한 질문이 아닌 정상적 질문에서도 클로바X는 바드와 달리 환각 현상을 피해갔다. 

대한민국의 제 1야당 당대표에 대해 설명해달라는 질문에 클로바X는 정확하게 이재명 대표에 대해 설명했지만, 바드는 현재 경기도 도지사인 김동연 지사가 2023년 8월24일 더불어민주당 당대표에 선출됐다며 잘못된 정보를 사실인 것처럼 안내했다.

◆ 정보의 자세함이나 답변 속도에서는 바드의 승리

이처럼 바드, 챗GPT와 비교해 여러 장점을 보여준 클로바X였지만 정보의 자세함이나 답변 속도에서는 ‘선배’들에게 미치지 못하는 모습을 보여줬다.

현재 대한민국 대통령에 대해 설명해달라는 질문에 클로바X는 윤석열 대통령의 경력, 임기와 관련된 정보만을 제공했지만 바드는 윤 대통령의 대선 득표율, 주요 공약, 정책적 행보까지 자세하게 설명했다.

여행 일정을 짜달라는 질문에도 클로바X의 답변은 바드와 비교해 매우 간략하게 제공됐다. 

일본 후쿠오카를 3박4일 동안 여행하는 일정을 짜달라는 질문에 클로바X는 후쿠오카에서 갈 수 있는 관광지, 맛집 정도를 3박4일 동안 펼쳐주는 것에서 그쳤지만 바드는 시간 단위로 동선을 구상해주는 한편 교통편까지도 추천해주는 치밀함을 보였다. 

답변 속도 역시 바드의 승리였다. 

세 서비스 모두 비교적 답변 속도는 빨랐지만, 챗GPT는 한국어로 된 질문에는 확연히 답변 속도가 느려지는 모습을 보였으며 클로바X 역시 가끔 답변이 수 초 가량 지연되는 모습을 보였다. 하지만 바드는 기자가 여러 가지 질문을 던지는 동안 한 차례도 답변이 지연되지 않고 질문을 입력하자마자 답변을 제공받을 수 있었다. 윤휘종 기자

최신기사

비트코인 시세 10만 달러 안팎 '박스권' 가능성, 장기 투자자 매도세 힘 실려
테슬라 사이버트럭 중국 출시 가능성, 현지 당국에서 에너지 소비평가 획득 
GM '로보택시 중단'에 증권가 평가 긍정적, 투자 부담에 주주들 불안 커져
챗GPT 오전 내내 접속장애 "아이폰 GPT 탑재로 사용자 급증이 원인 가능성"
엑손모빌 천연가스 발전소 신설해 전력산업 첫 진출, 데이터센터에 공급 목적
[엠브레인퍼블릭] 국민 78% "윤석열 탄핵해야", 차기대권 후보 적합도 이재명 37%..
중국 반도체 수입과 수출액 모두 대폭 늘어, 미국 규제 대응해 '투트랙' 전략
한화오션 'KDDX 개념설계 보고서 불법인용 의혹'에 "규정 절차 지켜"
한화투자 "한국타이어 목표주가 상향, 올해 이어 내년도 호실적 전망"
현대차 미국 슈퍼널 본사 캘리포니아로 이전, 워싱턴DC 사무실은 정책 대응
koreawho

댓글 (1)

  • - 200자까지 쓰실 수 있습니다. (현재 0 byte / 최대 400byte)
  • - 저작권 등 다른 사람의 권리를 침해하거나 명예를 훼손하는 댓글은 관련 법률에 의해 제재를 받을 수 있습니다.
  • - 타인에게 불쾌감을 주는 욕설 등 비하하는 단어가 내용에 포함되거나 인신공격성 글은 관리자의 판단에 의해 삭제 합니다.
사기전과4범 리재명
교활. 음흉. 야비. 간악. 음흉 뻔뻔의 아이콘 전과4범 리재명입니다.
나를 사이코패스라고 비난하시는 분들이 많습니다.
나도 궁금해서, 몇년전 형님을 강제입원시켰던
성남 휴엔자임 정신병원을 지난주 다녀왔습니다.
사이코패스성격장애종합평가 CAPP와 PCL-R 테스트로 측정해 본 결과...
"지존파를 능가하는 90% Psychopath로 판명되며,
기괴할 정도의 강한 자신감과 자기확신으로 타인의 견해나 감정을 짓누르는
반사회적 품행의 속성
   (2023-08-27 16:23:10)