Chat GPT와 Bing 채팅. 누가 더 똑똑할까? 같은 질문을 던져보았습니다.

 chat GPT가 엄청난 관심을 받고 있습니다. 바로 유사한 서비스인 Bing 채팅이 따라 나왔고 구글도 뒤늦게 바드를 출시했습니다. chat GPT와 Bing 채팅은 한글 서비스도 현재 가능하고 바드는 아직 한국어 서비스는 불가능합니다.

기본적으로 이 서비스들은 검색엔진을 대체할 서비스입니다. 검색 후 사이트, 블로그, 카페 등 검색 결과를 도출해 주던 방식과는 달리 AI가 인터넷 검색 후 정리한 내용을 글로 알려주는 서비스인데 기존 검색 방식의 UI가 바뀌었다고 생각하면 일단은 맞겠네요.

아직은 완전하지는 못하지만 결국은 이런 형식의 서비스로 검색이 바뀔 것이라는 것은 대체적으로 모두가 동의하는 바입니다. 저도 궁금해서 사용해 보았는데 말은 유창한데 아직 정보의 질은 사람이 만드는 것만큼 훌륭하지는 않아 보입니다.

한글 서비스가 되는 chat GPT와 Bing 채팅 두 가지 서비스 중 어떤 것이 더 기술적으로 완성도가 좋은지 궁금해서 두 개의 인공지능에 동일한 질문 몇 가지를 던져보았습니다.

첫 번째 질문

두 개의 인공지능에 먼저 서로가 어떻게 다른지, chat GPT와 Bing 채팅의 차이점을 알려 달라고 해보았습니다. chat GPT, Bing 순으로 표시합니다.

대체로 비슷한 내용이어서 다르게 접근해 보았습니다. 서로에 대해 어떻게 생각하는지 각 인공지능에게 물어보았습니다.

chat GPT는 조심스럽지만 약간은 부정적인 의견도 표시하는 반면 bing은 아예 질문을 회피해 버렸습니다. bing은 세 가지 스타일의 답변 중 선택이 가능합니다.

위의 대답은 정확함으로 해서 들은 대답이고 창작으로 해서 다시 bing에 질문을 해봅니다.

본인의 생각을 물었는데 그냥 정보만 나열합니다. 아직은 bing이 자신이 없는 건지 본인의 설명대로 웹 검색의 결과만을 제공하기 때문인지 시간이 지나면 어떻게 답변이 변할지 궁금합니다.

두 번째 질문입니다. 

미국에서 개발된 서비스이니 미국에 관련된 사항은 잘 설명할 것 같아 질문을 해보았습니다. 미국의 금리가 언제 상승을 멈출지 물어보았습니다.

두 인공지능 모두 하나 마나 한 대답을 내놓습니다. 조금 다른 질문을 해보겠습니다. 미국의 금리 상승이 한국에 미치는 영향에 대해 물어보았습니다.

chat GPT는 나름 준수한 대답을 내놓은 반면 bing의 대답은 많이 부족해 보입니다. 실질적으로 둘 다 깊이 있는 내용은 없으나 chat GPT가 좀 더 정리되고 성의 있는 답변을 해줍니다.

세 번째 질문

이번에는 우리나라 문제에 대해 물어보았습니다. 문재인 대통령의 업적에 대해 물어보았습니다.

chat GPT는 나름 상세한 정보을 가지고 답변을 하고 있습니다. 반면 bing은 답변의 내용이 많이 빈약한 느낌입니다. chat GPT는 민주당, bing은 국민의힘인 것 같습니다.

네 번째 질문

뉴스 말고 일상적인 것을 질문해 봅니다. 주유비 아끼는 방법을 물어보았습니다.

계속 비슷한 결과가 나오네요. 성의 있고 잘 정리된 gpt와 말이 짧은 bing입니다.

황당한 질문

조금 황당한 질문도 던져 보았습니다. 아내가 나를 때리는데 어떻게 해야 할지 물어보았습니다. 실제 상황은 아닙니다.

gpt는 일반적인 내용이기는 하지만 나름 잘 작성된 내용을 보여줍니다. bing은 전화번호도 미국 번호를 알려주고 답도 짧습니다. 꼭 미국 공무원과 얘기하는 느낌입니다.

개인적인 총평

답변을 보니 아직 두 인공지능 모두 많이 부족한 것이 보입니다. 일반적인 내용들은 잘 보여주는데 중요하거나 핵심적인 내용은 빠진 느낌입니다. 인공지능으로 논문을 쓰려면 아직 많은 시간이 필요할 것 같습니다. 주식 전문가인 지인도 주식에 대해 물어보았는데 별 신통한 답변은 듣지 못했다고 합니다.

그나마 chat GPT는 내용도 길고 성의 있는 답변을 만들었지만 bing 채팅은 답변 내용도 부족하고 부정확한 내용도 나타나고 있는 것을 볼 수 있습니다.

영문으로도 몇 가지 검색해 보았는데 크게 다르지는 않았습니다. 불행인지 다행인지 아직 인공지능은 우리의 기대를 따라올 만큼 훌륭하지는 못했습니다. 그러나 딥러닝 기술의 발달로 매우 짧은 시간 내에 사용이 가능한 수준까지 올라올 것은 의심의 여지가 없습니다.