AI 생성 소설, 독자들이 인간 작품보다 높게 평가

ChatGPT가 쓴 단편소설과 인간이 쓴 단편소설을 읽어 비교했을 때, 많은 사람들은 둘을 구별하지 못한다. 새로운 연구에서 이를 확인했다. 2,500명 이상의 참여자를 대상으로 한 실험에서 인간의 작품이 어느 것인지를 맞히는 정답률은 거의 우연의 확률과 다를 바 없었으며, AI와 인간의 문장을 판별하는 것이 얼마나 어려운지 다시 한 번 명확히 드러났다.

ChatGPT는 2022년 말 공개된 이후 텍스트 생성의 정확도가 빠르게 향상되어 왔다. 그 결과 일상적인 문장뿐만 아니라 이야기나 시와 같은 창작 영역에서도 「AI가 작성했는지 여부」의 식별이 어려워지고 있다. 이번 연구는 이 문제에 대해 많은 수의 참여자로 정면으로 맞닥뜨린 것으로 주목할 수 있다.

실험 결과, AI 생성 단편소설은 인간이 작성한 작품보다 평가가 높았다. 그런데 참여자가 「이것은 AI가 작성한 것이다」라고 알게 된 순간, 그 작품에 대한 평가는 하락했다. 텍스트 자체는 변하지 않았음에도 불구하고, 작성자가 AI라는 것을 알기만 해도 받아들이는 방식이 변한다는 흥미로운 심리적 반응을 보여준 것이다.

이 현상은 「출처 효과」라고도 할 수 있는 것으로, 작품의 내용보다 「누가 (또는 무엇이) 만들었는가」라는 정보가 평가에 강하게 영향을 미친다는 것을 보여준다. 문학이나 예술 분야에서는 작가의 존재나 의도가 감상 경험의 일부로 간주되는 경우가 많으며, AI에는 그러한 인간적 배경이 없다고 간주되기 쉽다. 따라서 같은 품질의 텍스트라도 출처가 밝혀짐으로써 평가가 하락하는 구조가 생긴다고 생각할 수 있다.

생성 AI가 확산되면서 콘텐츠의 「진정성」을 둘러싼 논의는 문장, 이미지, 음악 등 많은 분야로 확대되고 있다. 이번 연구는 높은 품질만으로는 사람들의 신뢰와 수용을 얻기에 충분하지 않을 수도 있다는 것을 보여주며, AI가 생성한 콘텐츠를 어떻게 공시하고 표시할 것인가라는 과제에 하나의 실증적 근거를 더하는 것이라고 할 수 있다.

한편, 평가가 하락했다 하더라도 독자가 AI와 인간의 작품을 구별하지 못했다는 사실은 변하지 않는다. 즉, 식별할 수 없을 정도의 품질을 AI가 달성하고 있는 현실과, 그것을 알았을 때 발생하는 심리적 반응이라는 두 가지 문제가 동시에 존재한다. 이 양면을 어떻게 인식할 것인가는 AI를 활용하는 크리에이터, 미디어, 플랫폼에게 무시하기 어려운 과제로 남아 있다.

향후 AI가 생성한 콘텐츠에 대한 공시 의무나 표시 방법에 관한 논의가 더욱 활발해질 가능성이 있다. 독자나 시청자가 AI 생성 콘텐츠를 「알면서」 어떻게 평가할 것인가라는 연구의 축적은 정책 입안이나 플랫폼 설계에도 영향을 미칠 수 있는 통찰력으로서 계속해서 주목할 가치가 있다.