AI가 만든 글과 그림, 우리는 구별할 수 있을까?｜AI 탐지기의 진실
AI 탐지기는 ‘AI가 만들었다’는 사실을 확정해 주는 거짓말 탐지기가 아니다. 글의 단어·문장 패턴이나 이미지의 생성 흔적을 학습해, 입력물이 자신이 배운 AI 산출물과 얼마나 비슷한지 점수로 추정하는 도구에 가깝다.
그래서 결과가 ‘AI 가능성 높음’으로 나와도 사람의 글이 잘못 표시될 수 있고, 반대로 AI 초안에 사람이 손을 보거나 이미지가 여러 번 저장·전송되면 탐지를 피할 수도 있다. 이를 각각 오탐과 미탐이라고 한다.
특히 학교·회사·플랫폼에서 이 점수를 징계나 평가의 단독 근거로 쓰면 안 된다. 탐지 결과는 확인을 시작할 단서일 수는 있어도, 누가 어떤 도구를 어떻게 썼는지까지 증명하지는 못한다.
이 글은 2026년 8월 기준 NIST의 합성 콘텐츠 투명성 보고서와 평가 프로그램, AI 글·이미지 탐지 한계를 다룬 원 논문, C2PA의 콘텐츠 출처 표준을 바탕으로 판단 기준을 정리한다.
목차
- 1. AI 탐지기는 무엇을 보고 판단할까
- 2. 실험실 성능과 실제 환경 성능은 왜 다른가
- 3. 수정·번역·압축·재인코딩이 결과를 바꾸는 이유
- 4. 오탐과 미탐, 둘 다 왜 문제인가
- 5. 사람의 눈으로 보면 더 정확할까
- 6. 탐지 결과를 안전하게 확인하는 순서
- 자주 묻는 질문 (FAQ)
1. AI 탐지기는 무엇을 보고 판단할까
글 탐지기는 보통 사람 글과 특정 AI 모델의 글을 함께 학습한 뒤, 단어 선택·문장 전개·다음 단어의 예측 가능성 같은 통계적 흔적을 비교한다. 결과는 원본 작성 과정을 직접 본 판정이 아니라, 학습한 표본과의 유사도에 기반한 분류다.
일부 생성 서비스는 별도의 워터마크 신호를 출력물에 넣고, 해당 신호를 가진 결과를 찾는 방식을 연구한다. 이 방식도 모든 AI 글을 찾는 만능 열쇠는 아니다. 워터마크를 넣지 않은 모델·출력에는 적용할 수 없고, 텍스트가 바뀌면 신호가 약해질 수 있다.
이미지 탐지기는 생성 모델에서 비롯된 질감·색·주파수·압축 흔적처럼 눈에 잘 보이지 않는 단서를 분류기에 학습시키는 경우가 많다. 또 다른 길은 콘텐츠 출처 정보다. C2PA 콘텐츠 자격증명(Content Credentials)은 누가 어떤 도구로 만들고 수정했는지에 관한 서명을 검증 가능한 형태로 남기려는 표준이다. 다만 출처 정보는 ‘사실인지’를 스스로 증명하지 않으며, 모든 파일에 붙어 있는 것도 아니다.
따라서 ‘탐지’와 ‘출처 확인’은 서로 다른 일이다. 탐지기는 파일 자체의 패턴을 추정하고, 출처 정보는 보존된 이력의 무결성을 확인한다. 둘 다 도움이 되지만, 하나의 점수나 배지만으로 원본의 모든 역사를 알 수는 없다.
2. 실험실 성능과 실제 환경 성능은 왜 다른가
탐지기는 보통 정해진 데이터셋에서 학습·평가된다. 예를 들어 같은 언어, 비슷한 글 길이, 몇 개의 알려진 생성 모델, 정리된 원본 이미지처럼 조건이 비교적 통제된 표본으로 성능을 재는 경우가 많다. 이 결과는 그 평가 조건에서의 성능이지, 인터넷의 모든 글과 그림에 그대로 적용되는 보증은 아니다.
실제 환경에는 새 모델, 다른 언어, 짧은 댓글, 공동 편집 문서, 캡처본, 여러 플랫폼을 거친 이미지가 섞인다. 학습 때 보지 못한 조건으로 옮겨 가면 분류기가 자신 있게 틀릴 수 있다. NIST가 생성기와 탐지기의 성능 격차를 별도로 평가하고, 현실적·적대적 조건의 평가 과제를 운영하는 이유도 여기에 있다.
이미지 연구에서도 데이터셋에 JPEG 압축 방식이나 이미지 크기 차이가 섞이면, 탐지기가 ‘AI 흔적’ 대신 그런 부수적 차이를 배울 수 있다는 문제가 보고됐다. 즉 테스트에서 높은 점수가 나왔더라도, 무엇을 맞힌 것인지부터 따져야 한다.
서비스가 제시하는 정확도 수치를 볼 때도 같은 질문이 필요하다. 어떤 모델의 어떤 언어·길이·파일 형식으로 시험했는지, 사람 작성물과 AI 작성물이 모두 현실적인 조건인지, 새 모델과 편집본에서도 검증했는지가 빠지면 그 숫자만으로 일반적인 정확도를 단정할 수 없다.
3. 수정·번역·압축·재인코딩이 결과를 바꾸는 이유
AI가 쓴 초안을 사람이 고치면 문장 패턴이 바뀐다. 문장을 덜어 내는 압축은 탐지에 쓸 텍스트 길이와 단서를 줄이고, 표현을 바꾸는 교정·의역·번역은 단어와 문장 구조를 달라지게 한다. AI 글 탐지의 강건성을 시험한 연구는 재귀적 바꿔쓰기(paraphrasing)가 여러 탐지 방식의 검출률을 크게 낮출 수 있음을 보였다.
이 사실은 ‘번역하면 탐지기를 반드시 피한다’는 뜻이 아니다. 도구·언어·입력 길이마다 결과가 다르다. 다만 번역본이나 편집본의 점수를 원문 작성 방식의 확정 증거처럼 읽어서는 안 된다는 뜻이다. 짧은 글일수록 통계적 판단에 필요한 정보도 적어진다.
이미지도 마찬가지다. 플랫폼 업로드 과정의 크기 조절, 자르기, 화면 캡처, JPEG 재저장 같은 재인코딩은 원래의 픽셀·압축 흔적을 바꾼다. 생성 이미지 탐지 데이터셋의 JPEG 압축과 크기 편향을 지적한 연구는 이런 조건 변화가 탐지기의 일반화 판단을 왜곡할 수 있음을 보여 준다.
콘텐츠 자격증명도 예외는 아니다. C2PA는 출처 메타데이터가 파일에서 제거될 수 있음을 설명하고, 이를 보완하기 위한 내구성 있는 자격증명 방식을 발전시키고 있다. 따라서 자격증명이 없다는 사실만으로 ‘AI가 만들었다’ 또는 ‘조작됐다’고 결론 내릴 수는 없다.
4. 오탐과 미탐, 둘 다 왜 문제인가
오탐은 사람이 쓴 글이나 실제 사진을 AI 생성물로 잘못 표시하는 일이다. 문장이 정형적이거나 짧은 글, 학습 데이터와 다른 언어·표현 방식에서 더 위험해질 수 있다. 오탐은 학생·직원·창작자에게 부당한 의심과 평판 손해를 줄 수 있다.
미탐은 AI 생성물인데도 탐지기가 사람 작품처럼 놓치는 일이다. 새 생성 모델, 사람의 편집, 변환된 파일, 탐지기가 학습하지 못한 유형에서 생길 수 있다. 미탐이 있다고 해서 도구가 쓸모없다는 뜻은 아니지만, ‘AI가 아니다’라는 확인서로 써서는 안 된다.
한 사례의 점수는 두 오류 사이에서 정한 기준선의 영향을 받는다. AI라고 표시하는 문턱을 낮추면 놓치는 사례는 줄일 수 있지만, 사람 작품을 잘못 잡을 가능성은 커진다. 반대로 오탐을 줄이려고 문턱을 높이면 미탐이 늘 수 있다. 그래서 탐지기를 운영할 때는 정확도 하나가 아니라 오탐·미탐의 피해와 적용 목적을 함께 봐야 한다.
OpenAI도 2023년에 공개했던 AI 글 분류기를 낮은 정확도 때문에 중단하며, 이를 의사결정의 주된 도구가 아니라 다른 방법을 보완하는 수단으로만 다뤄야 한다고 안내했다. 이는 현재의 모든 탐지 서비스 성능을 대신 말하는 자료는 아니지만, 단일 분류 결과의 한계를 보여 주는 공식 사례다.
5. 사람의 눈으로 보면 더 정확할까
사람도 문체의 매끄러움, 부자연스러운 반복, 손가락·글자 같은 시각적 오류를 단서로 삼을 수 있다. 그러나 이런 인상은 증거가 아니다. 사람이 직접 쓴 글도 매끄러울 수 있고, 생성 모델은 빠르게 변하며, 실제 사진도 보정·압축·촬영 조건 때문에 낯설게 보일 수 있다.
NIST의 2026년 텍스트 평가 프로그램은 사람 글과 구별하기 어려운 생성 텍스트, 탐지기의 효율, 사람이 그 내용을 얼마나 믿는지를 함께 측정 대상으로 둔다. 그만큼 ‘눈으로 보면 알 수 있다’는 감각과 ‘도구가 판정했다’는 점수 모두 별도의 검증이 필요하다.
6. 탐지 결과를 안전하게 확인하는 순서
탐지 점수는 결론이 아니라 확인의 출발점으로 두자. 특히 불이익이 걸린 상황이라면 다음 순서가 더 공정하다.
- 원본을 찾는다. 게시물의 최초 업로드, 원문 파일, 촬영·작성 시점과 수정 이력을 확인한다.
- 출처와 맥락을 대조한다. 작성자에게 초안·메모·편집 기록을 물을 수 있는지, 사진이라면 촬영 장소·날짜·독립 보도가 맞는지 살핀다.
- 출처 자격증명이 있으면 검증한다. C2PA 같은 검증 가능한 이력은 유용한 보조 증거다. 단, 없는 경우를 유죄의 근거로 바꾸지 않는다.
- 탐지기는 여러 조건에서 보조로만 쓴다. 텍스트의 언어·길이, 이미지의 원본 여부·변환 이력을 기록하고, 서로 다른 도구의 결과가 엇갈리면 단정하지 않는다.
- 영향이 큰 판단은 사람이 근거 전체를 검토한다. 징계·채용·성적·계정 제한처럼 되돌리기 어려운 결정은 탐지 점수 하나가 아니라 설명 가능한 증거와 당사자의 소명 기회를 바탕으로 한다.
이 원칙은 AI 사용을 숨기자는 뜻이 아니다. 오히려 실제 사용 범위와 제출·게시 정책을 미리 분명히 하고, 초안·인용·편집 과정을 투명하게 남기는 편이 신뢰를 지키는 현실적인 방법이다. AI 사용 여부보다 더 먼저 확인할 것은 내용의 사실성, 출처, 타인의 권리, 그리고 공개한 맥락이다.
마치며
AI 글과 그림을 구별하려는 기술은 계속 발전하고 있다. 하지만 탐지기의 판단 대상은 ‘진실’ 그 자체가 아니라 학습한 패턴과 입력 파일의 신호다. 평가 환경이 바뀌고 글·이미지가 편집되면 그 신호도 달라진다.
그러니 “AI로 보인다”는 말에서 멈추지 말자. 원본은 어디서 왔는지, 어떤 맥락에서 만들어졌는지, 출처 이력이 남아 있는지, 독립적으로 확인되는 사실은 무엇인지를 함께 확인해야 한다. 탐지 결과는 조사와 대화의 단서일 수 있지만, 사람에게 불이익을 주는 최종 판결문이 되어서는 안 된다.
자주 묻는 질문 (FAQ)
Q1. AI 탐지기에서 ‘AI 생성’이라고 나오면 확실한가?
아니다. 이는 해당 도구가 학습한 조건에서 AI 산출물과 비슷하다고 본 확률적 판단이다. 원본, 작성·수정 이력, 출처, 적용한 언어와 파일 변환 여부를 함께 확인해야 한다.
Q2. 사람이 AI 초안을 고치면 AI 탐지기는 알아내지 못하나?
도구와 편집 방식에 따라 다르므로 단정할 수 없다. 다만 바꿔쓰기·번역·압축은 탐지에 쓰이는 문장 패턴과 길이를 바꾸며, 연구에서 탐지 성능에 영향을 주는 요인으로 확인됐다. 편집본의 점수만으로 원래 작성 과정을 확정해서는 안 된다.
Q3. 이미지의 메타데이터가 없으면 AI 그림인가?
아니다. 저장·공유·재업로드 과정에서 일반 사진의 메타데이터나 출처 정보도 사라질 수 있다. 메타데이터의 부재는 추가 확인이 필요한 이유일 뿐, 생성 여부의 증거는 아니다.
Q4. 콘텐츠 자격증명(Content Credentials)이 있으면 진짜 뉴스인가?
아니다. 콘텐츠 자격증명은 파일의 제작·수정 이력에 관한 서명을 검증하는 기술이다. 내용이 사실인지, 맥락이 맞는지는 원 출처와 독립적인 사실 확인으로 별도로 판단해야 한다.
Q5. 학교나 회사가 탐지기 점수만으로 처벌해도 되나?
탐지기의 오탐·미탐과 적용 조건의 한계를 고려하면, 점수 하나만으로 징계·평가를 확정하는 것은 적절하지 않다. 정책 위반 여부는 원본·과정 기록·설명 기회 등 여러 근거를 종합해 공정한 절차로 판단해야 한다.
참고 자료
- NIST, Reducing Risks Posed by Synthetic Content: An Overview of Technical Approaches to Digital Content Transparency (NIST AI 100-4, 2024)
- NIST, GenAI: Text 2026 평가 프로그램
- Sadasivan et al., Can AI-Generated Text be Reliably Detected? (2023)
- Grommelt et al., Fake or JPEG? Revealing Common Biases in Generated Image Detection Datasets (2024)
- OpenAI, New AI classifier for indicating AI-written text (2023년 7월 중단 안내 포함)
- C2PA, Content Credentials Explainer 및 Technical Specification
💻 함께 보는 IT에 EQ를 더하다
IT에 감성과 실용을 더한 디지털 생활 정보를 기록합니다.
0 Comments
댓글 쓰기