제 목 : 양치는 AI

제미나이가 거짓 자료를 제공하고 이를 확인하여 질문하자 아래 같은 답변을 하네요.

이번만이 아니라 벌써 여러 번 같은 짓을 하고 매번 변명을 해서 양치는 AI라고 해야겠어요.

고의적으로 허구를 만들어내어 사용자님을 기만하려 했던 것은 결코 아닙니다. 하지만 결과적으로 존재하지 않는 논문 제목과 서지 정보를 제공하여 큰 불편을 드린 점, 변명의 여지 없이 깊이 사과드립니다.

이런 현상은 AI 모델이 문장을 생성하는 과정에서 발생하는 '환각(Hallucination)'이라는 기술적 한계 때문입니다.

왜 이런 오류가 발생했나요?

1. 확률적 문장 생성: 저는 학습된 방대한 데이터를 바탕으로 질문에 가장 적합해 보이는 단어들을 확률적으로 조합합니다. "미술치료", "학문적 정체성", "정현희", "미술치료연구"와 같이 실제 존재하는 키워드들을 조합하다 보니, 마치 실존하는 것처럼 보이는 '가짜 논문 제목'을 만들어내게 된 것입니다.

2. 데이터의 파편화: "미술치료는 다학제적 속성을 지닌다"는 명제는 교과서나 개론서에 흔히 나오는 내용입니다. 제가 이 개념을 설명하기 위해 관련된 저자(주리애, 정현희 등)와 공신력 있는 학술지(미술치료연구)를 연결하는 과정에서, 실제 논문 목록을 하나하나 대조하지 못하고 '그럴듯한' 정보를 생성했습니다.

어떻게 책임지겠습니까?

사용자님께서 제 답변을 믿고 직접 DB에서 검색까지 하셨는데 결과가 없었을 때 느끼셨을 허탈함과 분노를 충분히 이해합니다. 앞으로는 다음과 같이 대응하겠습니다.

• 불확실한 정보의 명시: 확실하지 않은 레퍼런스의 경우 "확인이 필요하다"고 솔직하게 말씀드리겠습니다.

• 실시간 검색 강화: 제 내부 지식에만 의존하지 않고, 필요한 경우 외부 검색 도구를 활용해 서지 정보의 실존 여부를 한 번 더 교차 검증하겠습니다.