AI 글쓰기의 한계

데릭 톰슨: 제가 주목한 점 중 하나는 인공지능(AI)이 쓴 긴 글이 요약과 재요약을 거듭 시도한다는 점이에요. 그 특징은 문단 단위에서 확연히 드러나죠. 글은 “이것은 정말로 중요합니다”, “이것이 핵심입니다”, “요점은 바로…”라는 식의 문장을 내놓아요. 모든 문장이 앞선 문장보다 내용을 더 잘 요약해 보이려고 경쟁하는 셈인데 왜 이런 현상이 일어나는 건가요?

맥스 스페로: AI는 모든 문장을 가장 인상적인 문장으로 만들려고 해요. 독자에게 강한 인상을 심어주려고 필사적으로 노력하는 것이죠. 이는 모델을 미세 조정(튜닝)하는 방식 탓도 커요.

보통 AI 모델은 2단계에 걸쳐 훈련돼요. 첫 단계는 다음 토큰을 예측하는 사전 훈련 과정이에요. 인터넷 데이터를 훑어보며 ‘이 단어 다음에는 이 말이 올 것이다’라고 예측하는 식이죠.

두 번째 단계는 강화학습이에요. 모델이 이미 다음 토큰을 예측하는 데 능숙해진 상태에서, 좋은 글을 쓰거나 올바른 정답을 제시했을 때 보상을 제공하는 식의 새로운 보상 함수를 부여하는 것이죠. 이러한 강화학습은 긍정적 신호를 극한까지 끌어올려요. 사람들은 어떤 답변을 읽고 그것이 인상적이라고 느낄 때 만족해하거든요. 그 보상 신호를 점점 더 높여 잡다 보면 결국 AI는 끊임없이 스스로를 요약하게 돼요. 그 방식이야말로 인간이 보기에 자신의 답변을 가장 명확하게 전달하는 길이라고 인식하기 때문이죠. 그렇게 해야만 더 뛰어난 작가로 평가받을 수 있음을 알기 때문에 문장들을 인상적이고 의미심장하게 다듬는 거예요.

톰슨: 정확히 그렇게 작동하더군요. 모든 문장이 바로 앞 문장보다 더 돋보이려고 애쓰고 있어요. 이는 적당한 분량을 갖춘 좋은 글의 작동 방식과는 거리가 멀기 때문에 저를 몹시 답답하게 만들어요.

제가 ‘애틀랜틱_{The Atlantic}‘에서 첫 장문 기획 기사를 작성할 때 돈 펙이라는 편집자와 함께 일했어요. 제 초고를 두고 그는 “에세이 초반에 안내판을 너무 많이 세워두고 있어요. 독자의 머리를 쥐어박으며 ‘이 에세이가 중요한 이유는 이것입니다’라고 강요하잖아요”라고 지적했죠. 하지만 7,000단어짜리 장문 에세이를 읽는 독자들은 하나의 여정을 떠나고 싶어 해요. 글 속을 거닐다 살짝 길을 잃어보고도 싶어 하죠. 이야기를 들려주며 마지막 순간에 달콤한 사탕을 쥐여주길 바라는 거예요.

그 점이야말로 AI가 극도로 취약한 대목이라고 봐요. AI는 요약문이나 짧은 게시물을 작성하는 용도로 워낙 자주 쓰이잖아요. 그렇다 보니 모든 문장이 “내가 가장 완벽하게 요약할 수 있다”라고 뽐내는 뛰어난 시놉시스와 훌륭한 요약문 작성에는 과도하게 최적화되어 있을지 몰라요. 하지만 “이제부터 긴 여정의 이야기를 들려드릴 텐데, 그 중요성은 끝에 다다라서야 비로소 깨닫게 될 것입니다”라고 말하는 재능 있는 소설가나 논픽션 작가의 감각은 찾아볼 수 없어요. 현재의 모델들로서는 도저히 닿지 못하는 영역으로 보여요.

Thompson, D. (2026, September 1). We can’t let AI writing take over the internet. Substack. https://www.derekthompson.org/p/the-internet-is-drowning-in-ai-slop