PromptWiki
안정 규칙 · 입문

AI는 틀릴 수 있다 — 검증 습관 만들기

왜 이 규칙이 중요한가

AI는 유창하게 말한다. 자신감 있게 말한다. 그래서 틀린 답변도 맞는 것처럼 보인다.

이것이 가장 큰 위험이다.

AI가 생성하는 텍스트는 “정확한 정보”가 아니라 “그럴듯한 문장”이다. 학습 데이터의 패턴을 기반으로 다음 단어를 예측하는 방식이기 때문에, 사실과 다른 내용도 유창하게 생성될 수 있다.


AI가 자주 틀리는 영역

유형설명예시
최신 정보학습 데이터의 날짜 이후 변경된 내용을 모름최신 법령, 소프트웨어 버전
수치/통계존재하지 않는 수치를 만들어냄”연구에 따르면 73%가…”
인용/출처실제로 존재하지 않는 논문, 도서를 인용”Smith(2019)에 따르면…”
고유명사사람 이름, 회사명, 제품명 오류인물 경력, 사건 날짜
코드문법은 맞지만 동작하지 않거나 보안 취약한 코드존재하지 않는 API 사용
전문 지식의료, 법률, 세무 등 전문 분야의 미묘한 오류잘못된 복약 정보

핵심 규칙

1. 중요한 정보는 반드시 원본 소스에서 확인한다

AI의 답변을 참고는 하되, 중요한 결정에 사용하기 전에 공식 문서, 논문, 신뢰할 수 있는 출처를 직접 확인한다.

✅ AI 답변 → 이해 보조로 활용 → 원본 소스 직접 확인 → 판단
❌ AI 답변 → 그대로 사용

2. 출처를 요청한다

AI에게 답변과 함께 출처를 요청한다. 단, AI가 제시한 출처도 반드시 실제로 존재하는지 확인해야 한다.

이 내용의 출처나 공식 문서 링크를 알려줄 수 있나요?

3. 의심스러우면 재질문한다

AI의 답변이 이상하다고 느껴지면 그냥 넘어가지 않는다.

방금 답변이 맞는지 다시 한번 확인해줄 수 있나요?
이 내용에 반론이나 예외 케이스가 있나요?

4. 전문 분야는 전문가에게 최종 확인한다

의료, 법률, 세무, 금융 관련 정보는 AI의 답변을 참고용으로만 사용하고, 반드시 해당 분야 전문가에게 확인한다.


잘못된 사용의 실제 사례

사례 1: 존재하지 않는 논문 인용

AI에게 “~에 관한 연구 사례를 알려달라”고 요청 → AI가 그럴듯한 논문 제목, 저자, 연도를 생성 → 실제로 검색하면 존재하지 않는 논문

사례 2: 구버전 코드 사용

AI에게 특정 라이브러리 사용법을 물어봄 → AI가 이전 버전 API로 답변 → 최신 버전에서는 해당 함수가 없거나 동작 방식이 다름

사례 3: 법률 정보 오류

AI에게 계약 관련 법적 판단을 요청 → AI가 자신감 있게 답변 → 실제 법 해석과 다른 내용


요약

AI를 믿되 검증하라.

AI는 강력한 도구지만, 그 답변은 항상 “초안”으로 취급한다. 유창함이 정확함을 보장하지 않는다.

관련 문서