[AI Times] LLM 훈련 데이터의 고갈 | LLM 속 지식 저장 위치를 찾아내는 방법?

https://www.aitimes.com/news/articleView.html?idxno=158463

"2년 내 LLM 학습 데이터 고갈...데이터 문제로 AI 발전 중단될 것" - AI타임스

요약 : AI 모델인 GPT-4나 구글의 제미나이와 같은 기술은 데이터 부족에 직면하고 있음. 데이터 요구량은 증가했지만, 품질이 낮거나 저작권 문제로 인해 접근이 제한되어 있기 떄문!

--> 이에 대안으로 합성 데이터를 사용할 수 있지만, 모델 붕괴 가능성이 있습니다. 이러한 이유로 향후에는 도메인별 지식을 집중한 전문 모델이 GPT-4와 같은 대규모 범용 모델보다 더 주목받을 것으로 예상됨 

 

 

 

https://www.aitimes.com/news/articleView.html?idxno=158428

MIT, LLM 속 지식 저장 위치를 찾아내는 방법 발견…"환각 문제 개선 가능" - AI타임스

요약 : 트랜스포머의 다양한 레이어 내에서 특정 관계에 대한 특정 정보가 어디에 저장되어 있는지를 시각화하는 방법을 사용하여 
저장된 지식을 수정하고 AI 챗봇이 잘못된 정보를 제공하는 것을 방지! 

 

 

Reference : AI타임스(https://www.aitimes.com)