40일간 ChatGPT를 쓰면서 알게 된 10가지

ChatGPT에 대한 지극히 개인적인 사용 후기

12월 1일 ChatGPT를 만나고 40일 정도 하루 두세 시간 사용을 해왔습니다. 해외 트위터와 유튜버들의 사용사례를 따라 해 보면서 정말 재밌게 여러가지 실험을 해봤어요.

국내 ChatGPT 오픈채팅방도 순식간에 800명 가까이 모여들어 사용팁들을 공유하고 있고 'ChatGPT' 키워드로 설정한 구글 알림에는 매일 서너개의 관련 뉴스가 보입니다.

이렇게 뜨거운 관심에도 불구하고 ChatGPT를 써 본 분들이 조금씩 볼멘 소리를 하기 시작했습니다. 처음 쓰기 시작할 때는 '우와 뭐 이런게 있나' 하며 열광 했는데 쓰면 쓸수록 생각보다  잘 쓰기가 어렵기 때문이죠.

저도 비슷한 경험을 하고 있습니다.  처음 며칠 써보고 감탄을 했었어요

"이거 하나면 이제 하루에 서너시간 더 여유가 생기겠다. 최고다!"

그렇다면 사용한지 한달이 조금 지난 지금 제 생각은요?  

"ChatGPT, 이 놈 물건이긴 한데 내 뜻대로 움직여 주지는 않네. 흠..."

아직 써보지 않은 분들이나  쓰고 있지만 ChatGPT에 대해 아직 감을 못잡으신 분들을 위해 지난 40일간 써보며 느낀 점을 ChatGPT의 능력, 한계, 가능성 면에서 적어보려 합니다.

장점 1 : 발상 능력

ChatGPT가 가장 잘하는 것 중 하나는 새로운 아이디어를 만들어 주는 것입니다. 전혀 새로운 아이디어가 필요할 때 이 녀석은 생각보다 놀라운 아이디어를 던져 주곤 합니다. 저 같은 경우에는 인공지능을 이용한 유아용 SaaS 서비스 아이디어를 물어봤습니다. 'Ai를 이용한 스토리텔러'를 포함한 몇 가지는 정말 사업성이 있어 보였습니다.

장점 2 : 정리 요약 능력  

ChatGPT는 요약도 깔끔하게 합니다. 긴 문장을 주고 또는 ChatGPT가 생성한 문장을 주고 요약해 달라고 하면 정말 군더더기 없이 깔끔학 하게 떨어지는 요약을 해줍니다. 여기서 Tip. 요약시 번호를 매겨달라던가 Bulletpoint를 써달라고 해보면 좀 더 간결해 보이는 결과를 내줍니다.

장점 3 : 간단한 코딩 능력

제가 프로그래머는 아니지만 노코드(코딩없이 웹/앱을 만들어 주는) 툴을 이용해 빠르게 웹사이트나 랜딩페이지를 만드는 수준의 유사 개발을 합니다. 이런 노코드를 이용하면 웹사이트들은 빠르게 만들수 있는 반면 커스터마이징을 하려면 코딩 지식이 어느 정도 있어야 합니다. 커스터마이징 이 필요할 때마다 저는 ChatGPT 도움을 요청했습니다.  

예를 들면 웹사이트 특정 영역의 레이아웃이 맘에 들지 않아 바꾸고 싶을때 기존 CSS와 HTML을 붙여넣고 이런 식으로 수정해 달라고 하면 3초만에 수정된 코드를 내어 줍니다. 그리고 저는 그걸  그대로 복붙했구요. 결과는요? 80점 정도 됩니다. 대부분 한번에 성공했지만 간혹 한 두번의 수정 요청을 해야 하는 경우도 있었습니다. 그래도 코알못인 제게는 너무 고마운 코딩 선생님입니다.

다른 분들 사례를 보면 파이썬이나 자바스크립트같은 인기 코딩 언어들도 곧 잘 써준다고 합니다.

장점 4 : 카피라이팅 능력

블로그나 소셜 미디어에 쓸만한 뭔가 멋진 제목이 떠오르지 않는다면 ChatGPT가 큰 도움이 될 수 있습니다. 수억 수십억개(혹은 그 이상)의 카피 사례를 학습해서인지, 수정없이 쓸만한 매끈한 카피를 뽑아 주는 경우가 많습니다. 저희 고객사 영문 홈페이지 카피도 ChatGPT를 이용해 업데이트 했습니다 😄

이렇게 실무에 쓸만한 놀라운 능력을 보여주는 ChatGPT. 그런데 말입니다. 계속 쓰다보니 아쉬운 부분이 있고 계속 써야할지 말아야 할지 고민하게 만드는 찜찜한 구석도 있습니다. 그 이유는 아래와 같습니다.

한계 1 : 일관성 없는 결과물

같은 질문을 하는데도 다른 결과를 내어 주는 경우가 많습니다. 프롬프트(특정 요청을 하는 명령어)를 동일하게 써도 매번 다른 결과를 내 줍니다. 위에서 언급한 아이디어를 내는 단계라면 이런 특성이 고맙겠지만 A, B, C 세개의 프로젝트를 하는데 A에서 좋은 결과를 냈던 프롬프트가 B,C에서는 엉뚱한 결과를 내줍니다.

조금 검색해보니 이건 인공지능 언어모델(LLM)의 한계인 것 같습니다. 모든 언어모델에는 결과의 일관성을 결정하는 Temperature나 Chaos라고 부르는 파라미터(매개변수)가 있는데 ChatGPT에서는 이 값을 우리가 조정할 방법이 없습니다. 따라서 매번 결과는 조금씩 아니면 가끔은 크게 달라질 수 있는 거죠. 따라서 일관된 결과가 중요한 업무에는 적합하지 않을 수 있습니다.

한계 2: 한글 입출력의 불편함

ChatGPT는 한글도 잘 입력 받고 결과의 번역 수준도 괜찮습니다. 그런데요. 문제가 몇 가지 있습니다. 한글로 대화를 할 경우에는 갑자기 대화가 느려집니다. 또 다른 문제는 한번에 보여주는 결과물의 양이 영어에 비해 체감상 1/3~1/5 수준으로 줄어듭니다. 궁금해서 검색해보니 입력 언어가 영어가 아닌 경우 ChatGPT는 더 많은 토큰을 사용하기 때문이라고 합니다. 예를 들어 Hello는 1개의 토큰을 사용하지만 이걸 번역한 한글 '안녕'은 6개의 토큰을 사용합니다. (실제로 테스트 해보시려면  아래 OpenAi의 플레이 그라운드로 가서 창에서 좌측 하단의 토큰 카운트 값을 보면서 한글 영어를 입력해 보세요.)

https://beta.openai.com/playground/p/default-qa?mode=edit

한 대화당 최대 토큰수가 있고 한글은 영어에 비해 몇배 많은 토큰을 쓰기 때문에 결과물이 짧아 지는 거라고 합니다. 그럼 느려지는 이유는요? 파파고는 엄청 빠르던데...

한글질문> 영어 질문으로 번역 > 영어 결과물 > 한글 결과물로 번역

이런 과정을 거치게 되니 영어 입출력에 비해 느려지는 것으로  유추해 봅니다. 텍스트를 인코딩하는 시간이 영어 입출력에 비해 느려지는 거죠. 자세한 내용이 궁금하신 분은 아래 참고자료 링크를 참고하세요.

참고자료 GPT-3 tokens explained - what they are and how they work

한계 3 : 한국관련 질문 결과는 저품질로 나온다

달러가 전세계의 기축 통화라면 영어는 인공지능의 기축언어(?)라고 할 수 있습니다. 언어 모델은 수십 수백조 개의 단어를 입력받아 학습합니다. 영어나 중국어, 스페인어와 같이 여러 나라에서 모국어나 모국어  다음의 제 2언어로 사용되는 경우가 아니라면 그런 언어로 된 데이터는 비교적 적을 수 밖에 없습니다. 한글은 얼마나 될까요? OpenAi측에서 내놓은 공식 문서는 없지만 아래와 같은 데이터로 각 언어별로 이 세상에 존재하는 데이터양을 유추해 볼 수는 있습니다.

영어가 당연히 1위구요. 한글 웹사이트는요? 18위로 0.8위입니다.

인터넷에서 가장 많이 사용되는 언어 순위

출처: https://www.visualcapitalist.com/the-most-used-languages-on-the-internet/

한계 4  ChatGPT는 최근 정보는 모른다

ChatGPT는 2021년까지의 데이터만 학습했다고 합니다. 즉 그 이전까지의 데이터만으로 대화를 하는거죠. 따라서 그 이후에 나온 회사나 브랜드에 대한 내용이나 세상사람 모두가 알만한 뉴스에 관한 질문에도 ChatGPT는 좋은 답변을 하지 못합니다.

답변을 하더라도 엉뚱하게 하거나 가끔은 답변을 거부하기도 합니다. 대안은 구글을 병행해 쓰는 건데요. 이미 ChatGPT와 함께 쓸 수 있는 웹GPT나 구글 검색결와 함께 ChatGPT의 결과를 함께 볼 수 있는 크롬 익스텐션도 있습니다.

한계 5  ChatGPT가 써주는 결과는 참과 거짓이 섞여 있다.

위 4번과 맥락을 같이 합니다.  ChatGPT는 모르는 것을 모른다고 하는 솔직함이 없습니다. 몰라도 아는 척 답변을 꾸며내는 능력이 탁월합니다.

이런 문제가 생기는 이유는 ChatGPT는 팩트를 재구성해 답변하는 능력은 없고 질문에 관련된 내용을 구성하는 능력만 있기 때문입니다

다시 강조해봅니다. 현재 버전의 ChatGPT는 팩트 체크를 하는 능력이 없습니다.

팩트가 중요한 문제를 ChatGPT에 물어볼때는 그 답변을 맹신하지 말고 반드시 하나 하나 체크해 봐야합니다.

이런 한계 때문에 학계에서는 ChatGPT의 도움을 받은 논문이나 리포트 등을 인정하지 않고 있습니다.

한계 6 ChatGPT는 학습하지만 학습하지 못한다.

이게 무슨 말장난이냐구요? ChatGPT는 한번의 대화 즉 Chat단위로 대화가 단절됩니다. 대화내에서 주고 받은 내용은 어느정도 학습(기억)해 답변하지만 새로운 대화를 시작하면 완전히 새롭게 시작해야 합니다.

뭐 대수롭지 않네라고 생각할 수도 있지만 ChatGPT가 만약 동료라고 가정해보세요. 기억이 몇 분에서 몇 십분 정도 단기기억 능력만 있는 사람인거죠. 실제 업무로 들어가 볼까요? 같은 업무를 함께 하는데 매일 온보딩을 하고 오리엔테이션을 해야 하는 동료와 함께 하는 것과 같은 거죠

물론 이전의 내용을 새로운 챗마다 요약해서 넣어주고 대화를 시작하면  조금 나아질 순 있지만 이것도 실생활에서는 있을 수 없는 일이죠. 매일 아침 일을 시작할 때마다 동료에게 함께 하는 일을 브리핑하고 일을 해야 한다면... 상상만 해도 답답합니다.

이런 학습 능력을 장착한 새로운 버전의 ChatGPT가 나올 것은 같습니다. 하지만 현재 버전은 이런 불편한 한계를 가지고 있어 연속적인 업무를 함께 하기에는 많이 아쉽습니다.

지금까지 ChatGPT의 제가 경험한 장점과 한계를 살펴봤습니다. 그런데 제 의견이 궁금하신 분도 있을 것 같습니다.

"그래서 송준용 너는 ChatGPT를 계속 쓴다는 거야 만다는 거야?"

지금 확실히 말할 수 있는 건 새로운 대안이 나오지 않는 한 저는 ChatGPT가 유료가 되더라도 계속 사용할 생각입니다. 큰 단점들이 존재하지만 이로부터 얻는 효용이 훨씬 크기 때문이죠.

ChatGPT는 걸음마를 하는 수준의 인공지능입니다. 그걸 쓰고 있는 저도 여러분도 걸음마를 시작하는 아이와 같습니다. 아이가 걸음수를 늘려갈 때마다 부모가 환호하듯 우리가 너무 빠르게 분석하고 판단하는 반응을 하고 있는 것일 수 있습니다.

마치는 글

40일간 사용해 본 후기를 적고 보니 제가 ChatGPT에  얼마나 빠져있는지가 보입니다. 사람들의 대화를 보면 성격이 드러난다고 합니다.  저와 ChatGPT와의 대화를 복기해 본다면 제 모습은 뭔가 새로운 것이 나타나면 남들에 뒤쳐지지 않으려는 FOMO (Fear of Missing out)에 사로잡혀 강박적으로 ChatGPT에게 철없는(가끔은 엉뚱한) 요청을 해온 것 같습니다.

" 어떻게 넌 이것도 몰라?"

막 걸음마를 시작한 ChatGPT가 어떤 모습으로 커갈지 상상하기 어렵습니다.  현재 우리가 구글이나 유튜브를 쓰듯 이 녀석도 곧 폰안의 필수 앱이 될 수도 있을 것 같습니다.  아니면 혹시 한때 인기있었지만 조용히 역사 속 한장면으로 사라질지 모르죠.

긴 글 읽어주셔서 감사합니다.