Agent를 통한 최적화

[bongkyunSON]

---

현재

start → query_refiner → get_table_info → query_maker → end

질문을 그대로 받아서 테이블 조회해 쿼리를 만들어 주는 구조

---

문제점

• 기존에 정해 놓은 Prompt(few shot, CoT 등)를 물고 있어야 함 → 속도, 토큰, 정확도면에서 안좋은 영향을 끼침
• 정확도를 위해 Prompt(few shot, CoT 등)를 추가하면 Max token에도 문제 가능성 있음
• 일반적인 질문에도 쿼리를 만들어 내는 오류를 범할 가능성 높음
• A의 정확도를 위해 수정하면 B의 영향을 끼치거나 C의 영향을 끼칠수있음

---

해결방안

예상질문 별 Agent(function call, tool 등)을 만들어 따른 구조 세분화

• 예상질문 카테고리화
  • 유저별 질문
  • 상품별 질문
  • 등등
• 예상 질문에 따른 Agent(function call, tool 등)
  • 유저별질문 → DAU, MAU 등
  • 상품별 질문 → 최근 많이 구매된 상품, 20대에게 인기많은 상품 등
  • 휴면 고객 질문 → 최근 몇달동안 접속을 하지 않은 고객 등
  • 등등
• 카테고리별 vectorDB
  • 유저별
  • 상품별
  • 등등
• 카테고리별 Prompt Engineering

[ehddnr301]

우선은 사용자 예상 질문이 어느정도는 구체화 되어있을테니까 Agent를 좀 전문화해서 나누는게 낫지않을까?
카테고리화 해서 각 Agent가 담당하는것이 좋다?
카테고리별로 vectorDB를 나눠놓기?
max token에 걸릴 위험

[ParkGyeongTae]

사실 되게 궁금한게, 이 Lang2SQL을 사내에 배포했을 때, 실사용자들이 되게 비슷비슷한 것들만 물어볼지 궁금하긴합니다..!
그렇다면 카테고리컬이 강력할 것 같아요~