[Prompt Engineering] AI hallucinations

AI hallucinations이란 ? 

:  AI models이 생성한 incorrect하거나 misleading results. 

- 트레이닝 데이터가 충분하지 않거나 잘못된 가정, 데이터의 편향으로 인해 잘못된 패턴을 습득하여 잘못된 예측, hallucinations이 발생! 

- 특히, 의학적 진단, 금융 거래는 정확한 결과가 중요함! 

 

==> hallucinations을 예방하거나 줄이고 정확한 결과를 얻기 위해 프롬프트 엔지니어링은 빠르고 쉬운 방법이 될 수 있다. 

 

 

AI hallucinations 왜 발생하는 가? 

(1) 생성 모델의 한계

: 생성적 AI 모델은 훈련 데이터에 기반하여 알고리즘적으로 작동함. 

 

- 관찰된 패턴을 기반으로 다음 단어나 시퀀스를 예측하는 것이 목표. 

- 진실을 검증하는 것에 목표는 없기때문에, 사실 같지만 정확하지 않은 콘텐츠를 생성할 수 있음. 

(진실과 거짓을 구별하여 output을 내지 않음!) 

 

 

(2) 고유 AI Design에서의 난제 

: 정확한 데이터만으로 훈련되었다 하더라도, 그들의 생성적인 특성은 예상하지 못한 방식으로 패턴을 결합하여 새로운, 잠재적으로 부정확한 콘텐츠를 생성할 수 있음

 

 

(3) 훈련 데이터 

: LLM은 방대한 데이터로 훈련되어지는데, 데이터에 편향이나 부정확한 content도 포함 될 수 있음. 

훈련 데이터에서의 패턴을 모방하면서 진실을 분별하지 않기 때문에 해당 데이터에 존재하는 모든 거짓 정보나 편향을 재생산할 수 있음 

 

 

 

Generative AI의 Hallucination과 편향(Bias) 문제를 완화하는 방법?

AI 시스템은 사고하거나 신념을 형성하는 능력이 없기때문에, 인간의 판단력으로 출력물을 비판적으로 접근하고 평가해야 함!  

신뢰할 수 있는 소스와 AI 출력물을 상호 참조하여 비교하고, 여러 AI 플랫폼에서의 출력물을 비교하여 각각의 결과의 품질을 파악해야 한다. 

 

 

 

Reference

https://cloud.google.com/discover/what-are-ai-hallucinations

https://mitsloanedtech.mit.edu/ai/basics/addressing-ai-hallucinations-and-bias/