ChatGPT 콘텐츠의 11가지 단점

하이라이트

• 낮은 품질의 ChatGPT 콘텐츠가 인간 검토를 통과하는 이유
• ChatGPT는 간결해야 할 때에도 포괄적입니다.
• 교수가 ChatGPT가 생성한 논문을 망치는 결함을 인용합니다.
• ChatGPT는 가상의 Voight-Kampff 안드로이드 감지 테스트를 통과하지 못하며 그 이유가 놀라운 이유

ChatGPT 은(는) 종합적이고 타당하게 정확한 콘텐츠를 제작합니다.

하지만 연구원, 예술가 및 교수들은 콘텐츠의 품질을 저하시키는 문제점에 대해 경고합니다.

이 기사에서는 ChatGPT 콘텐츠의 11 가지 단점을 살펴볼 것입니다. 시작해 봅시다.

1. 구문 사용으로 인해 비인간적인 것으로 감지됩니다

기계 생성 콘텐츠를 감지하는 방법을 연구하는 연구자들은, 콘텐츠가 비정상적으로 들리게 만드는 패턴을 발견했습니다.

이 상황에서 인공지능이 겪는 문제 중 하나는 관용구를 이해하는 데 어려움이 있다는 것입니다.

관용구는 상징적인 의미가 부여된 구절 또는 속담입니다. 예를 들어, "구름마다 은백색 빛이 있다"와 같은 것이 있습니다.

내용에서 관용어가 부족한 경우 해당 내용이 기계 번역으로 생성된 것임을 나타낼 수 있으며, 이는 검출 알고리즘의 일부일 수 있습니다.

이것은 기계가 생성한 콘텐츠의 이러한 기묘함에 대해 어디선가 말하고있는 2022 연구 논문 'Adversarial Robustness of Neural-Statistical Features in Detection of Generative Transformers'의 내용입니다:

“복합 구 단위는 분석 대상 텍스트 내에서 특정한 단어와 구문이 더 자주 나타나는 인간의 텍스트에 기초합니다.

…이러한 복잡한 구성요소 중에서, 관용구 구성요소는 현재 생성 모델의 감지에서 가장 예측력이 높습니다.”

이디엄을 사용할 수 없는 이러한 제한은 ChatGPT 출력이 언어상 언급되기 어색하게 만든다.

2. 챗GPT는 표현 능력이 부족합니다.

한 예술가는 ChatGPT의 결과가 예술의 본질을 빼앗긴 듯 하지만, 실제 예술 표현의 진짜 특성이 부족하다고 언급했습니다.

표현은 생각이나 감정을 전달하는 행위입니다.

ChatGPT 출력에는 표현이 아닌 단어만 포함됩니다.

인공지능은 사실적인 생각이나 감정이 없기 때문에, 사람들이 감정적으로 공감하는 콘텐츠를 만들어낼 수 없습니다.

뮤지컬 아티스트 닉 케이브는 그의 Red Hand Files 뉴스레터에 게시된 기사에서 자신의 스타일로 작성된 ChatGPT 가사에 대해 논평했습니다.

새로운 AI 기반 콘텐츠 마케팅 툴킷
경쟁자보다 선제적으로 최첨단 기술을 도입하세요. 결과를 세 배 빠르게 제공하는 최적화 및 대상화된 콘텐츠를 제작하세요.

그는 다음과 같이 썼습니다:

“좋은 노래가 좋은 이유는 그것이 인식 가능한 작품과 비슷하게 만들어진 것이 아닙니다.

...그것은 취약성, 위험성, 존재감을 직면하고, 갑작스런 충격적인 발견의 감정과 마주치는 숨 막히는 대면이다. 청자의 마음을 떨리게 만드는 구원적 예술적 행위이며, 청자는 그 노래의 내부적 작동에서 자신의 피, 자신의 갈등, 자신의 고통을 인식한다.

케이브는 ChatGPT 가사를 조롱이라고 비판했습니다.

이것은 닉 케이브 가사와 비슷한 ChatGPT 가사입니다:

"내 손에서는 천사의 피가 흐르고 있어
내 눈엔 지옥의 불길이 타오르고 있어
나는 심연의 왕이자 어둠의 지배자야
그림자 속에서 그들이 떨며 두려워해"

그리고 이것은 실제 닉 케이브가 쓴 가사입니다 (형제여, 내 컵은 비어있다):

“내가 무지개를 타고 미끄러졌고
별을 그네질 때도 있었어
그러나 이제 구제털이처럼
컵을 갖춰 두드려 조르고 있어
보아라, 내 컵은 비어 있어!
내 욕심들이 어디에 있는지 몰라
지금 나는 예전 불길들의 재를 쓸고 있어”

기계 번역한 가사가 아티스트의 가사를 닮아 보이지만 사실 전혀 의사소통을 하고 있지 않습니다.

닉 케이브의 가사는 노래에서 말하는 사람의 울음, 욕망, 부끄러움, 그리고 의도적인 속임수와 같은 인간의 욕구와 상실감을 다룹니다. 그것은 생각과 감정을 표현합니다.

닉 케이브가 조롱이라고 부르는 이유가 쉽게 이해됩니다.

3. ChatGPT는 인사이트를 생산하지 않습니다

인사이더에 게재된 기사는, 한 학자가 언급하며 ChatGPT에 의해 생성된 학술 논문들이 해당 주제에 대한 통찰력을 부족하게 한다고 지적했다.

ChatGPT는 주제를 요약하지만, 해당 주제에 대한 독특한 통찰력을 제공하지 않습니다.

인간은 지식을 통해 창조하지만, 개인적인 경험과 주관적인 인식을 통해서도 창조할 수 있습니다.

인사이더(The Insider)에 따르면 애플라치언 주립대학교의 크리스토퍼 바텔 교수는, ChatGPT 에세이는 문법적으로 우수하고 세련된 아이디어를 가지고 있을 수 있지만, 그것은 여전히 통찰력이 부족하다고 언급하였다.

바텔은 말합니다:

"그들은 정말 부풀어있다. 맥락이나 깊이나 인사이트가 없다."

통찰력은 잘 쓰인 에세이의 상징이며, 이는 ChatGPT가 특히 뛰어나지 않은 부분입니다.

기계 번역 컨텐츠를 평가할 때 이러한 통찰력이 부족한 점을 염두에 두세요.

4. ChatGPT는 너무 말이 많아요

2023년 1월 발행된 연구 논문에 따르면, ChatGPT 콘텐츠의 패턴은 중요한 응용 분야에는 적합하지 않다는 것을 발견했습니다.

이 논문의 제목은 "ChatGPT가 인간 전문가와 얼마나 가까운가? 비교 말뭉치, 평가 및 탐지"입니다.

연구결과 금융과 심리학 관련 질문에서 ChatGPT의 답변이 인간들의 50% 이상에서 선호되었다.

하지만 ChatGPT는 인간들이 바라는 직접적인 답변을 제공하지 않아서 의료 질문에 대한 답변에서 실패하였습니다.

연구원들은 다음과 같이 썼습니다:

"…ChatGPT는 영어와 중국어 모두 의료 분야에서 도움이 되지 않는 성능을 보입니다.

ChatGPT은 우리가 수집한 데이터 세트에서 의료 상담에 대해 종종 길고 상세한 대답을 제공하는 반면, 인간 전문가들은 직접적이고 간단한 대답이나 제안을 제공할 수 있으며 이는 봉사자들이 의료 분야에서 인간의 대답이 더 도움이 된다고 생각하는 이유 중 하나입니다.

ChatGPT는 주제를 다양한 관점에서 다루기 때문에, 최상의 답변이 직접적인 것일 때에는 부적합할 수 있습니다.

ChatGPT를 사용하는 마케터들은 이 사실을 주의해야 합니다. 직접적인 대답을 필요로하는 방문자들은 장황한 웹 페이지로는 만족하지 않을 것입니다.

Google의 추천 스니펫에서 담백하고 분명하게 표현된 답변이 길고 장황한 답변보다 Google 보이스에서 잘 작동할 수 있기 때문에 너무 많은 내용이 담긴 페이지의 순위를 올리는 것은 행운일 것입니다.

ChatGPT를 만든 OpenAI는 장황한 답변을 제공하는 것이 한계임을 인정합니다.

OpenAI의 발표 기사에는 다음과 같이 기술되어 있습니다:

"모델은 종종 지나치게 장황하다..."

ChatGPT가 장황한 답변을 제공하는 것에 편향되어 있으므로, 더 짧고 직접적인 답변이 더 나은 상황이 있을 수 있으므로 ChatGPT 출력물을 사용할 때 이를 염두에 두어야합니다.

5. ChatGPT 콘텐츠는 명료한 논리로 구성되어 있습니다.

ChatGPT은 단순히 화법이 아니라 독특한 스타일을 가진 템플릿을 따르기 때문에, 그 콘텐츠는 인간적이지 않은 독특한 스타일을 지니고 있습니다.

이 인간적이지 않은 특징은 인간과 기계가 질문에 대한 대답을 하는 방식의 차이에서 드러납니다.

영화 '블레이드 러너'에는 대상이 질문에 답하는 과정에서 인간인지 안드로이드인지를 확인하기 위한 일련의 질문이 등장합니다.

이러한 질문들은 "보이트-캄프 테스트"라는 소설 속 시험에 포함되어 있었습니다.

질문 중 하나는 다음과 같습니다:

“당신은 텔레비전을 보고 있습니다. 갑자기 팔에 벌이 기어오르는 것을 깨달았습니다. 이때 당신은 무엇을 할까요?”

보통 인간의 반응은 비명을 지르거나 나가서 떼어내는 등의 것을 말할 것입니다.

하지만 제가 이 질문을 ChatGPT에 던졌을 때, 그것은 질문을 요약하고 논리적이며 가능한 여러 가지 결과를 제시하는 철저하게 조직된 대답을 제공했습니다. 그러나 실제 질문에 대한 대답은 실패하였습니다.

챗지피티가 보이트-캄프프 테스트 질문에 답변하는 스크린샷

답변은 매우 체계적이고 논리적이어서 크게 자연스럽지 않은 느낌을 줍니다. 이는 바람직하지 않습니다.

6. ChatGPT는 지나치게 상세하며 포괄적입니다

ChatGPT는 인간이 답변에 만족할 때 기계에게 보상을 주도록 훈련되었습니다.

인간 평가자들은 더 많은 세부 사항이 포함된 답변을 선호하는 경향이 있습니다.

그러나 의료 분야와 같은 경우 종종 종합적인 대답보다 직접적인 대답이 더 나은 경우가 있습니다.

이것은 해당 기능이 중요할 때 더 구체적이고 직접적이게 기계가 유도되어야 한다는 것을 의미합니다.

OpenAI에서:

"이러한 문제들은 훈련 데이터에서 발생하는 편견(트레이너들은 보다 포괄적으로 보이는 긴 답변을 선호함) 및 잘 알려진 과대 최적화 문제에서 발생합니다."

7. 챗지피티는 진실을 지어내지 않을 수 있다 (사실을 환상할 수 있다)

상기 인용된 연구 논문인 'ChatGPT가 인간 전문가에 얼마나 근접한가?'는 ChatGPT가 거짓말을 하는 경향이 있다는 것을 언급했습니다.

이것은 보고서입니다:

"ChatGPT는 특정 분야의 전문 지식이 필요한 질문에 대답할 때 답변을 제공하기 위해 사실을 조작할 수 있습니다...

예를 들어, ChatGPT는 법적 문제에서 질문에 대답하기 위해 존재하지 않는 법적 규정을 규율할 수 있습니다.

...또한, 사용자가 기존에 답변이 없는 질문을 제기하는 경우, ChatGPT는 답변을 제공하기 위해 사실을 왜곡할 수도 있습니다."

퓨처리즘 웹사이트는 CNET에 게시된 기계 번역 콘텐츠가 잘못되었고 "어리석은 오류"로 가득하다는 사례들을 문서화했습니다.

CNET는 OpenAI가 부정확한 결과에 대해 경고를 발행했으므로, 이런 일이 벌어질 것을 예상해야 했다.

“ChatGPT 가끔정확해 보이지만 부정확하거나 말이 안되는 답변을 씁니다.”

CNET는 게시 전에 기계 생성 된 기사를 인간 검토에 제출 한 것으로 주장합니다.

인간 리뷰에 대한 문제점은 ChatGPT 콘텐츠가 설득력있게 올바른 것처럼 설계되어 이 분야 전문가가 아닌 검토자를 속일 수 있다는 것입니다.

8. 채팅GPT는 발산적이지 않아 부자연스러운 것입니다.

연구 논문인 "ChatGPT와 인간 전문가의 유사도에 대해: 인간의 커뮤니케이션은 때로 간접적인 의미가 있어 해당 주제를 이해하기 위해 주제 전환이 필요합니다."

ChatGPT는 대개 공감에 부족한 경우가 있습니다. 인공지능이 실제 주제를 놓치기 때문에 때로 답변이 정확하지 않을 수 있습니다.

연구원들은 다음과 같이 썼습니다:

“ChatGPT의 응답은 일반적으로 주어진 질문에 엄격하게 초점이 맞춰져 있지만, 인간의 경우 내용이 분기하여 쉽게 다른 주제로 옮겨갈 수 있습니다.

콘텐츠의 다양성 면에서, 인간은 다른 면에서 보다 다양하고 ChatGPT는 질문 자체에 초점을 둔 것을 선호합니다.

사람들은 자신의 상식과 지식에 따라 질문에 담긴 숨겨진 의미를 파악할 수 있지만, ChatGPT는 현재 질문에 있는 글자 그대로를 기반으로 합니다…”

인간은 "어떻게 된 거죠"와 같은 질문에 대한 정확한 답변보다는 보다 복잡한 "어떻게 될까?" 질문에 대한 대답에 적합합니다.

예를 들어, 내가 물어본다면:

"말은 너무 커서 집안 애완동물로는 부적합합니다. 너굴마늘은 어떨까요?"

위의 질문은 너구리가 적절한 반려동물인가에 대한 질문이 아닙니다. 질문은 동물의 크기에 대한 것입니다.

ChatGPT는 크기보다는 너구리가 애완동물로 적합한지에 초점을 맞춥니다.

과도하게 말그대로 해석한 ChatGPT 답변 스크린샷

9. ChatGPT는 중립성을 유지하는 경향이 있습니다

ChatGPT의 출력물은 일반적으로 중립적이고 정보성이 높습니다. 출력물에서 생길 수 있는 편향은 유용해 보일 수 있지만 항상 그렇지는 않습니다.

우리가 방금 논의한 연구 논문은, 법률, 의료 및 기술 문제에 관련하여 중립성은 원치 않는 특성이라는 것을 언급했습니다.

인간들은 이러한 종류의 의견을 제시할 때 종종 한쪽을 지지하려는 경향이 있습니다.

10. ChatGPT는 공식적인 편향성이 있습니다.

ChatGPT 출력물은 일반적인 표현으로 대답하는 것을 방지하는 편향이 있습니다. 대신, 그것의 답변은 보통 공식적입니다.

반면에 인간들은 더 구어체와 일상 언어, 그리고 속어를 사용하여 질문에 답합니다 – 즉, 격식을 차리지 않는 반대로 대화합니다.

ChatGPT는 GOAT 또는 TL;DR과 같은 약어를 사용하지 않습니다.

답변에서는 일상 대화에는 널리 사용되는 빈유, 은유 및 유머와 같은 것이 부족하여 ChatGPT 콘텐츠가 일부 콘텐츠 유형에 대해 과도하게 공식적인 것처럼 보일 수 있습니다.

연구자들은 다음과 같이 쓰고 있습니다:

"...ChatGPT는 "일반적으로", "반면에", "첫째로", "둘째로", "마지막으로"와 같은 접속사 및 부사를 사용하여 논리적인 생각의 흐름을 전달하기를 좋아합니다."

11. ChatGPT는 아직 훈련 중입니다

ChatGPT는 현재 여전히 교육 및 개선 과정에 있습니다.

OpenAI는 ChatGPT에서 생성된 모든 콘텐츠를 인간이 검토하는 것을 권장하며, 이를 최선의 방법으로 나열합니다.

OpenAI는 인간이 참여하는 것을 제안합니다:

“가능하다면, 우리는 실제 사용되기 전에 인간이 결과물을 검토하는 것을 권장합니다.

이는 높은 위험도의 분야 및 코드 생성에서 특히 중요합니다.

인간은 시스템의 한계를 인식하고, 출력물을 검증하기 위해 필요한 모든 정보에 접근할 수 있어야 합니다 (예: 애플리케이션이 노트를 요약하는 경우, 인간은 원본 노트에 쉽게 접근하여 다시 확인할 수 있어야 합니다).

ChatGPT의 원하지 않는 특성들

ChatGPT에는 감독 없이 콘텐츠 생성에 부적합하게 만드는 여러 가지 문제가 있습니다. 편견이 포함되어 있으며 자연스럽거나 진정한 인사이트가 포함된 콘텐츠를 생성하지 못합니다.

게다가, 인공지능은 느낄 수 없고 원래의 생각을 만들어 낼 수 없기 때문에 예술적 표현을 생성하기에는 적합하지 않습니다.

사용자는 기본 출력물보다 더 나은 콘텐츠를 생성하려면 상세 지침을 따르는 것이 좋습니다.

마지막으로, 기계 번역된 콘텐츠의 인간 검토는 항상 충분하지 않습니다. 왜냐하면 ChatGPT 콘텐츠는 잘못된 것처럼 보이지 않도록 설계되었기 때문입니다.

그것은 특정 주제에 대한 올바르고 부적절한 내용을 구별할 수 있는 전문가의 검토가 중요하다는 것을 의미합니다.