Security Insight & Log

Chat Prompt Template 이란? : 대화형 상황에서 여러 메세지 입력을 기반으로 단일 메세지 응답을 생성하는 데 사용됨 => 대화형 모델이나 챗봇 개발에 주로 사용    Message 유형- SystemMessage : 시스템의 기능- HumanMessage: 사용자의 질문- AIMessage : AI 모델의 응답- FunctionMessage : 특정 함수 호출의 결과- ToolMessage : 도구 호출의 결과     튜플 형태의 메세지 리스트 : ChatPromptTemplate 인스턴스를 생성하는 방식 -> 대화형 프롬프트를 생성=> 2-tuple 형태의 메세지 리스트를 입력받아 메세지의 역할(type)과 내용(content)를 기반으로 프롬프트를 구성     LangChain -  ..

멀티 체인(Multi-Chain) 이란 ? : 각기 다른 목적을 가진 여러 체인을 조합하여, 입력 데이터를 다양한 방식으로 처리하고 최종적인 결과를 도출=> 복잡한 데이터 처리, 의사 결정, AI 기반 작업 흐름을 설계할 때 유용    Multi-Chain 연결하기  1. 두 가지의 Prompt Template 객체 생성    2. chain 1 생성   3. chain 2 생성    출력 파서(Output Parser) 란?: 모델의 출력을 처리하고, 그 결과를 원하는 형식으로 변환   [ 출력 파서의 주요 기능 ]1) 출력 포맷 변경: 모델의 출력을 원하는 형식으로 변환 JSON -> 테이블 형식 2) 정보 추출 : 원시 텍스트 출력에서 필요한 정보(날짜, 이름, 위치) 등을 추출 => 복잡한 텍스트..

1. Google Colab 초기 세팅   2. OpenAI API 키 받아오기 & 입력 import os# OpenAI API 키 설정os.environ['OPENAI_API_KEY'] = "your_key"    3.  모델 설정 **  " model = " 객체 생성 시 옵션 값 지정 할 수 있음 => temperature | max_tokens   4. Chain 실행 &  PromptTemplate 객체 생성 ( input : 유저의 질문 ) # chain 실행llm.invoke('한국에서 가장 좋은 신용카드는?') # ChatPromptTemplate.from_template() - 문자열 형태의 템플릿을 인자로 받아 해당 형식에 맞는 프롬프트 객체를 생성from langchain_core.p..

검색증강생성(Retrieval-Augmented Generation): 응답 생성 전 외부의 신뢰할 수 있는 데이터를 추가적으로 제공함으로써 LLM의 출력을 최적화시키는 방법  - 목적: Generative AI가 잘못된 답을 하는 환각현상을 줄일 수 있음 => LLM의 외부에서 추가 데이터를 제공해서 질문과 관련도가 높은 답변을 하도록 함  - 유사한 활용 기법 : According to' + 사전정보를 참고하여 더 정교화되고 정확한 답변을 제공   "According to ...": Prompting Language Models Improves Quoting from Pre-Training DataLarge Language Models (LLMs) may hallucinate and generate ..

1. 질문 환경이나 맥락에 대해 말해주기!- 필요한 정보를 구체적으로 제공2. 하지 말아야 될것보다 해야될 것을 말해주기!- 긍정지시문 - Don't 보다 Do를 사용하기 3. 한번에 지시하기 보다 나눠서 지시하기복잡한 문제는 쪼개서 요청! (세분화) - LLM은 맥락을 기억하기 때문에, 하위 작업으로 분류해 단계별로 요청한다  4. 역할, 톤 지정하기 5. 예시 제공하기 - Few shot learning (하지만, AI hallucination의 위험이 커짐)  6. 열린 질문- 모델이 자세하고 풍부한 답변을 제공하도록 유도합니다. 단순한 '예' 또는 '아니오'로 대답할 수 있는 질문보다는 더 많은 정보를 제공하는 질문  7. 예의 차릴 필요 없음 그냥 본론만 얘기하기!-..

Preventing AI Hallucinations with Prompt Engineering 1) “According to…” prompting : LLM은 질문에 대한 지식이나 맥락이 없을 때 hallucinations을 일으킬 가능성이 높아짐. => 답변을 할때 참고할 specific source(특정 소스)를 지정하여 질문(prompt)함. (ex) What part of the brain is responsible for long-term memory, according to Wikipedia? "According to ...": Prompting Language Models Improves Quoting from Pre-Training Data Large Language Models (LLMs..

Chain-of-Thought Approach : involves breaking down a complex task into smaller and easier ones through a sequence of more straightforward prompts a prompt-based learning approach => Feed the model with related questions along with their corresponding solutions ** Use same logic & reasoning => Linear Appoach ( Each new idea links directly to the previous one ) Tree-of-Thought Approach : hierarchi..

AI hallucinations이란 ? : AI models이 생성한 incorrect하거나 misleading results. - 트레이닝 데이터가 충분하지 않거나 잘못된 가정, 데이터의 편향으로 인해 잘못된 패턴을 습득하여 잘못된 예측, hallucinations이 발생! - 특히, 의학적 진단, 금융 거래는 정확한 결과가 중요함! ==> hallucinations을 예방하거나 줄이고 정확한 결과를 얻기 위해 프롬프트 엔지니어링은 빠르고 쉬운 방법이 될 수 있다. AI hallucinations 왜 발생하는 가? (1) 생성 모델의 한계 : 생성적 AI 모델은 훈련 데이터에 기반하여 알고리즘적으로 작동함. - 관찰된 패턴을 기반으로 다음 단어나 시퀀스를 예측하는 것이 목표. - 진실을 검증하는 것에 ..