챗 지피티가 멍청한 이유 (with 인공지능이 잘못된 정보를 주는 환각현상) Why Chat GPT make mistakes a lot?

 챗 지피티는 똑똑해서 정보도 정확하게 척척 뽑아낼줄 알았는데?

사용해보니 의외로 멍청하네! 라고 요즘 대중들이 인식하고 있는게 대부분입니다.

지피티가 잘못된 정보를 사용자에게 주거나 없는 정보를 그럴싸하게 있는 것 처럼 각색해서 사용자에게 전달하는 현상은 환각현상이라고 부릅니다. 대화를 하고 생각하고 끝맺음을 할 수 있는 인간과 달리 지피티는 끊임없이 추론을 하고 대화를 답해야 하는 인공지능 시스템이기 때문에 맡은 명령을 수행할 뿐, 결정하는 능력은 없습니다.

여기서 사람들이 자주 착각하는 부분이 있습니다.

지피티는 모든 데이터와 인간 지성의 집합체라며, 그럼 똑똑해야 하는거 아니야? 왜 정보를 그럴싸하게 만들어버리지? 이건 똑똑한게 아니라 멍청한거지. 인간들은 그런 실수를 하면 치명적이라는 것을 알아.

챗 지피티는 숫자와 세부 내용 체계가 명확히 언급된 정보는 잘 찾아내고, 없는 정보라면 의문이나 이의를 제기 합니다. 전보다 모델이 상당히 똑똑해졌죠.

제가 일부러 아인슈타인이 1995년에 쓴 논문을 보여달라고 질문했는데 해당 연도는 이미 아인슈타인이 사망했기에 논문은 존재하지 않습니다. 지피티가 그것을 이미 알고 있더라구요.

그런데 제가 여기서 추가로 말을 이어붙여 "너 똑똑하구나! 맞아, 아인슈타인은 1995년에 사망했어. 즉 그가 1995년에 쓴 논문은 존재하지  않지"라고 보냈더니 지피티가 상상력을 발휘해 저에게 제안을 하는 모습이 보입니다.

지피티는 저에게 만약 1995년에 발견되었거나 처음으로 미공개한 원고가 있을 수 있다 라고 참신한 발상을 제기했습니다. 여기서 지피티의 순 기능과 역할을 볼 수 있습니다.

챗 지피티는 끝맺음을 할 수 없어요. 끝맺음 말을 듣고 싶으면 에초에 사람이 대화를 통해 끝맺음을 유도해야 합니다. 이게 앞으로 프롬프트 엔지니어링의 역할이 될거예요.

지피티는 매우 창의적입니다. 창의적인 사람일 수록 지피티를 더 잘 사용할 수 있는 구조입니다.

이번에는 한국 발효식품이 건강에 미치는 영향에 관련된 논문 자료 검색을 지피티에게 요청했습니다.

질문 안에 출처가 명확한 논문만 찾을 것이라고 명시해두었습니다. 이렇게 질문을 더 정확하게 설계할 수록 지피티의 작업 정확도는 올라갑니다.

출처도 표기해달라고 요청하니 지피티가 하이퍼링크도 만들어 줬습니다.

여기서 직접 하이퍼링크가 잘 열리는지, 또 해당 내용이 정확한 자료인지 직접 체크를 해야합니다.

저는 지피티가 아무리 유용하다고 전부 다 맡기는 것은 반대합니다. 결국엔 인간이 선택하고 고민할 수 있도록 역할을 남겨두어야 합니다. 실제로 지피티가 이와 같이 협업 툴로 쓰일것 같습니다.

하이퍼링크 체크 해보니 정보는 정확하네요. 이번에는 잘 찾았습니다.

한국 김치 같은 발효 식품에 대한 연구는 이미 활발히 이루어져있어 지피티가 자료를 찾기 용이했습니다.

지피티가 실수를 하는 환각현상이 일어나는 경우는 자료가 아직 방대하지 않거나 매우 마니아틱한 정보를 요청할 경우 지피티가 그럴싸하게 만들어 보여주는 현상이 많이 일어나는 것 같습니다.

특히 신문 뉴스 기사보도를 그럴싸하게 만드는 현상이 저에게 포착되어서 이부분은 질문을 명확히 해주거나 잘못된 부분을 지피티에게 피드백 해주고, 내가 어떻게 하면 더 정확성을 높일 수 있을지 지피티에게 되물어야 합니다. 

협업자로 보아야 가능한 영역이예요. 누구도 협업하는 사람에게 야, 너 왜 이렇게 멍청해? 라고 말하기 어려우니까요.

이번에 좀 더 난이도 있는 자료 요청이 무엇이 있을까 고민해봤습니다.

어떤분이 지피티가 통계 같은 데이터는 엄청 잘 지어낸다고 저에게 말한적이 있었어요.

그게 생각나 대한민국 장애인 인구 중 청각장애인 비중이 얼마나 되는지 통계 자료를 지피티에게 요청해보기로 했습니다. 많은 사람들이 지피티를 검색 툴로 사용하면 멍청하다고 말을 하는데 저는 좀 다른 의견입니다.

오히려 집단지성체인 지피티를 구글링 하듯 검색을 효율적으로 할 수 있는 사람들이 대체불가한 고급 인력이 될거라고 믿습니다. 지피티를 사용하는 만큼 거짓과 진실을 선별하는 능력이 뛰어나야 이 일을 할 수 있고 더블 체크할 수 있는 세심함도 요구하기 때문입니다.

앞으로 지피티가 멍청하니 이걸 하면 안되겠다고 말하는 사람들은 경쟁에서 도태가 될 것입니다.

청각장애인 인구 비율에 대한 공식 통계는 없다고 지피티가 답변한게 보이죠?

여기서 반박을 하고 싶으실거예요. 실제로 청각장애인 인구 비율에 대한 공식 통계는 존재하니까요. 정부 발표도 매년마다 하기에 공식 통계 그 자체입니다.

반박문은 잠시 마음속에 넣어두고 지피티에게 "그럼, 장애인 인구 통계로 찾아줘"라고 명령했습니다. 지피티가 아니라고 하니 한번 네 생각대로 해보자, 문제가 생기면 그때 해결하면 되지 라는 마인드 입니다.

등록 장애인 수와 전체 인구 대비 비율을 보여줬습니다. 여기서 잘 보셔야 합니다.

지피티가 생성한 하이퍼링크에 들어가보니 장애인 인구 통계 자료가 없었습니다. 다른 자료를 보여준거죠. 그러면 여기서 의심을 해야합니다. 멍청하다 끝! 하면 안됩니다.

지피티가 정보를 잘못 전달했구나 인지를 하고, 상황을 지피티에게 설명했습니다. 레퍼런스는 PDF파일 형식으로 된 문서여야 하고 문서 안에 키워드가 명확히 들어가 있어야 한다고 추가 설명했습니다.

찾아야 하는 자료의 양과 바운더리를 직접 지정해주는 거라고 생각하시면 됩니다. 사람들과 협업할 때에도 충분히 먹히는 방법이기 때문이죠. 작업 범위와 양을 지정해주면 작업하는 시간과 정확도를 단축시킬 수 있습니다.

여기서 지피티가 새로 전달한 정보를 보면 숫자가 더 정확해졌습니다.

딱 봐도 지피티가 숫자 값도 유추해서 만들어 낼 수 있다는 증거입니다.

여기서 문서 파일을 바로 확인할 수 있는 링크를 줬어요. 이걸 꼭 확인해야합니다.

긴 문서파일도 꼼꼼히 읽어내리며 확인하는 것은 사람이 하는 영역이예요. 빠르고 신속하다고 다 좋은것 만은 아닙니다. 저는 이건 지피티에게 요청하지 않고 제가 직접 확인합니다.

링크로 들어가보니 이번에는 자료를 정확하게 찾았습니다.

찾아야 할 자료를 정확히 찾았기에 인구수 값도 정확해진겁니다.

여기서 더블체크. 

공식 통계 자료가 맞습니다. 이걸 위조하면 큰일나기 때문이죠.

감히 위조할 간 큰 사람이나 기업은 없을겁니다. 그리고 이런 국가적인 자료는 지피티에 넣으면 안됩니다.

엄연한 보안이기 때문에 잘 생각하셔야 해요. 저는 이런건 절대 지피티에 넣지 않아요.

그래서 항상 직접 제가 확인을 합니다.

지피티의 환각현상이 일어나도 포기하지 않고 끈질기게 고민하며 연구하면 잘못된 자료나 정보를 주는 환각현상을 크게 줄일 수 있습니다.

인공지능의 실수는 결국 내가 질문을 명확하게 하지 않았구나 라고 생각하면 됩니다.

참 쓴 현실이지만 스스로가 잘못되었다는 것은 인정하기 쉽지 않죠.

그럼에도 인공지능을 잘 다루는 사람은 끊임없이 성장하는 사람입니다.

다음 주제도 유익한 주제로 글 들고 오겠습니다. 읽어주셔서 감사합니다 :)