데브허브 | DEVHUB | ChatGPT로 쓴 글에는 힌트가 있다?! ChatGPT가 많이 쓰는 단어에 대한 연구 결과ChatGPT로 쓴 글에는 힌트가 있다?! ChatGPT가 많이 쓰는 단어에 대한 연구 결과
- ChatGPT로 작성된 글을 식별하는 방법에 대한 관심이 증가하고 있으며, 특히 학업 부정행위와 관련하여 논란이 되고 있습니다. 🎓
- 폴 그레이엄은 'delve'라는 단어가 ChatGPT 사용의 신호라고 지적했으며, 실제로 연구 결과 ChatGPT 출시 이후 논문 초록에서 이 단어의 사용 빈도가 급증했습니다. 📈
- 'delve' 외에도 'potential', 'findings', 'crucial', 'insights', 'comprehensive'와 같은 단어들이 ChatGPT 등장 이후 사용 빈도 격차가 크게 나타났습니다. 📊
- 흥미롭게도 'delve'와 같은 단어들은 비영어권 국가(한국, 대만, 중국 등)의 학술 논문에서 영어권 국가(영국, 호주)보다 훨씬 높은 빈도로 사용되는 경향을 보입니다. 🌍
- 특정 학술 분야(예: Sensors 관련 논문)와 특정 국가(한국, 중국)에서 ChatGPT 출시 이후 이러한 단어들의 사용 빈도가 급격히 증가했습니다. 🔬
- ChatGPT가 'delve'를 많이 사용하는 이유 중 하나는 RLHF(인간 피드백 기반 강화 학습) 과정에서 이 단어에 더 높은 점수가 부여되었을 가능성 때문입니다. 🤖
- OpenAI는 RLHF 작업을 케냐, 나이지리아 등 아프리카 영어권 국가의 노동자들에게 외주를 주었으며, 이들이 'delve'와 같은 단어를 학술적이고 똑똑하게 느껴 더 높은 점수를 주었을 수 있다는 추측이 있습니다. 🗣️
- RLHF 작업 중 유해한 콘텐츠 노출로 인한 노동자들의 정신적 고통과 이로 인한 소송이 타임지 기사로 보도되며 이 사실이 알려졌습니다. 💔
- LLM은 각기 다른 특징적인 문체를 가지며, ChatGPT는 'delve' 외에도 'tapestry', 'bustling' 등 특정 단어와 설명적인 종결절 문장을 과도하게 사용하는 경향이 있습니다. ✍️
- AI 생성 텍스트를 100% 정확하게 탐지하는 것은 매우 어려우며, 악의적인 사용자들은 다른 LLM을 통해 텍스트를 재표현하여 탐지를 회피하기도 합니다. 🕵️♀️
- 부정확한 AI 텍스트 탐지기로 인해 학생들이 부당하게 표절 혐의를 받는 사례가 발생하고 있으며, 전 세계 대학들은 에세이 의존도를 줄이고 평가 방식을 재고하고 있습니다. 🏫
- 'delve'와 같은 단일 토큰 빈도만으로는 LLM 생성 텍스트를 신뢰성 있게 탐지하기 어려우며, 개인 및 문화적 언어 사용의 미묘한 차이도 고려해야 합니다. 🧐
- 더 정교하고 강력한 탐지 기술이 필요하며, 구문 템플릿(특정 품사 태그 순서를 가진 토큰 시퀀스) 활용과 같은 접근법이 주목받고 있습니다. 🧩