ChatGPT의 응답 생성 정확도는 얼마나 정확한가요?

오픈AI에서 개발한 인공지능 챗봇인 ChatGPT는 정확성과 성능으로 다양한 분야에서 큰 반향을 일으키고 있습니다. 하지만 그 지식은 2021년 이전에 공개된 자료에 한정된다는 것을 명심해야 합니다. 펜실베이니아 대학교의 크리스찬 테르비쉬 교수가 실시한 검증 중 하나는 ChatGPT에 MBA 시험을 제공하여 정확성을 테스트하였습니다.

이번 시험은 프로세스 분석, 재고 회전율 및 대기열 분석과 같은 다양한 비즈니스 개념을 다루는 일곱 개의 문제로 이루어졌습니다. 이는 실제 인간 환경을 시뮬레이션하도록 설계되었으며, 질문은 인간 학생에게 묻는 것과 정확히 같은 방식으로 주어졌습니다. Terwiesch 교수님의 놀라움에 따르면, ChatGPT는 프로세스 분석에서 병목 현상에 대한 개념에 대한 첫 번째 질문에 대한 답변으로 A+를 받으며 시험을 열심히 응시했습니다.

복잡한 일부 질문에 대해서 챗봇은 고민을 하긴 했지만, 교수님은 전반적인 성과에 감탄했습니다. ChatGPT에서 MBA시험을 실시한 후, Terwiesch 교수님은 이 인공지능 챗봇의 학점이 B와 B- 사이라고 결론을 내렸습니다.

ChatGPT 정확성 설명

ChatGPT의 정확성을 또 다른 예로 든다면, 의료 분야에서의 성과입니다. ChatGPT 챗봇은 미국 의료면허시험 (USMLE)을 통과할 수 있는 능력을 보였습니다. 연구에 따르면, ChatGPT는 모든 시험에서 50% 이상의 정확도를 달성할 수 있었으며, 답변에 대한 통찰력과 설명도 제공했습니다.

메디컬 스타트업 앤시블 헬스(Ansible Health)의 의사들이 주도한 별도의 연구에 따르면, ChatGPT는 미국 의사 면허 취득에 필요한 세 가지 시험 모두에서 합격 기준선에 근접하거나 합격했습니다. ChatGPT의 정확도는 확실히 놀라운 것이지만, 성능은 상황과 주어진 프롬프트에 따라 다를 수 있다는 것을 명심하는 것이 중요합니다.

모델을 학습하는 데 사용된 훈련 데이터는 사용된 텍스트 소스의 편견과 한계를 포함하므로 모델을 책임 있게 사용하는 것이 중요합니다.

이러한 감정은 OpenAI CEO가 트윗에서 반복했다. “ChatGPT는 극도로 제한되어 있으며, 지금은 중요한 일에 의존하는 것이 잘못된 선택이다.”

00:48

01:12

Chat GPT와의 테스트 대화 실패

위의 스냅샷에서 볼 수 있듯이, ChatGPT와의 테스트 대화에서 인공지능 챗봇의 성능은 항상 일관되지는 않음을 보여줍니다.

ChatGPT에게 FIFA 월드컵에서 아르헨티나가 몇 번 우승했는지 물어보면, 그는 "아르헨티나는 1986년에 FIFA 월드컵에서 한 번 우승했습니다."라고 대답합니다. 그러나 1978년 FIFA 월드컵에서 우승한 팀은 누구인지 물어보면, ChatGPT는 "아르헨티나가 1978년 FIFA 월드컵에서 우승했습니다."라고 답합니다.

이를 통해 아르헨티나가 두 번 월드컵을 우승했다는 결론을 내렸습니다. 그러나 같은 질문이 다시 묻혔을 때, "아르헨티나가 월드컵을 몇 번 우승했는지 다시 묻겠습니다." ChatGPT는 이전 대화와는 상관없이 "아르헨티나는 1986년에 FIFA 월드컵에서 한 번 우승했습니다."라는 답을 제공했습니다.

Chat GPT의 정확성을 강조하며 계속해서 개선과 수정이 필요함을 보여줍니다.

지금 읽어보세요: Chat GPT가 코드를 쓰고 고칠 수 있을까요?

챗지피티는 모두에게 동일한 답변을 제공합니까?

ChatGPT의 답변은 약간 달라질 수 있지만, 사용자가 같은 질문을 하면 대개 매우 유사한 답변이 제공됩니다.

ChatGPT는 신뢰할 만한가요?

ChatGPT는 때로 부정확하거나 잘못된 결과를 제공할 수 있으므로 조심해야 합니다.