LLM이 Semantic Parsing, RAG 의 답변을 조합할 수 있는지 확인

[danbi2990]

LLM이 Semantic parsing 결과와 RAG 문서의 결과를 조합하여 답변을 생성할 수 있는지 확인합니다.

[danbi2990]

추가적인 조사 결과, LLM에서 여러 Agent를 통합 구현할 때 LangGraph 개념을 사용하는 것이 적합합니다.
LangGraph와 LangChain의 비교를 위한 자료: https://wikidocs.net/261585

LangGraph는 Python으로 구현되어 있으므로 이와 비슷한 역할을 수행할 수 있는 https://github.com/a-agmon/rs-graph-llm 를 이용해 테스트합니다.
예시 그래프: https://github.com/a-agmon/rs-graph-llm?tab=readme-ov-file#the-insurance-claims-workflow

[danbi2990]

아래처럼 Kai가 생성한 그래프를 바탕으로 코드 초안을 작성할 예정입니다. (노션의 LLM Graph 문서)

별도의 미팅에서 논의한대로 Semantic Parsing과 RAG 를 모두 활용하고(분기 X) 응답 결과를 조합하는 방식입니다.
Query Enhancement Task 에서 각 방식에 적합하도록 쿼리를 변형할 수 있습니다.
추후 각 단계별로 필요에 따라 재시도 하거나 사용자에게 추가 질의를 받도록 유도할 수 있습니다.

[Goder-0]

lang_graph

개발 브랜치

https://github.com/aicers/github-dashboard-server/tree/kai/lang-graph-rs

주요 Task 설명

Task명	역할 및 기능
QueryEnhancementTask	복합 질의를 정량, 정성, 혼합 세그먼트로 나누고 각 세그먼트를 명확히 향상
SegmentParserTask	향상된 세그먼트를 파싱하여 내부에서 사용하기 좋은 구조체로 변환
VectorSearchTask	정성 세그먼트 관련 문서를 벡터 DB에서 유사도 기반으로 검색
ContextRerankTask	검색된 문서들을 재정렬해 더욱 정확한 관련성 순서로 정렬
RAGGenerationTask	재정렬된 문서들을 기반으로 LLM이 답변 생성을 위한 문맥 생성
GraphQLGeneratorTask	정량 세그먼트에 대해 GitHub GraphQL 쿼리를 자동 생성
GraphQLExecutorTask	생성된 GraphQL 쿼리를 실제 GitHub API에 요청하여 데이터 획득
StatisticsResponseTask	GraphQL 실행 결과를 정량적 통계 요약으로 가공
ResponseFormatterTask	정성적 RAG 결과와 정량적 통계 결과를 합쳐 사용자에게 최종 응답을 생성

---

주요 기능

사용자의 복합적인 질의를

• 정량적 분석 (통계) 부분은 GraphQL을 통해 조회하고,
• 정성적 분석(통찰) 부분은 벡터 DB 검색과 LLM을 활용해 문서 기반 답변을 생성하며,
• 두 결과를 통합해 최종적으로 사용자에게 의미있고 정확한 응답을 제공하도록 설계되었습니다.
• 하나의 질문에 여러 부분이 포함되어 있을 수 있어, 각 세그먼트에 대해 개별적으로 처리하였습니다.

구현 제외 사항

• graphql_executor의 경우 현재 Mock 데이터를 이용해 구현했습니다.

[danbi2990]

250724 미팅 결과

• 성능 평가

실제 데이터를 기반으로 질문을 만들고 결과를 평가합니다.
개별 태스크를 따로 평가하지 않고 그래프를 한 번에 실행한 결과를 평가합니다. 이 과정에서 개별 태스크의 중간 결과물을 확인하기 위해 로그를 일관적으로 출력합니다.

• Qdrant 대신 pgvector 를 사용할 수 있을지

Qdrant 공식 가이드에서 운영에서 서비스할 때 Cloud 서비스 혹은 쿠버네티스를 사용할 것을 권장합니다.
우리가 운영에서 적용 가능할지 확인이 필요합니다. (인프라적으로 가용한지, 라이선스, 가격 확인)

Todo in this issue

• main 위로 리베이스
• GraphQL 실행 코드 넣기
• Issue, PR 데이터를 Qdrant에 넣기
  • PR 데이터를 위해 Add new fields to PullRequests query #184 진행 필요

Todo in the separate issues

• 실제 데이터 기준으로 질문 만들기
• Qdrant, pgvector의 license, pricing 확인

[Goder-0]

Sophie와의 미팅에서의 내용을 공유합니다.

지금까지 개발한 RAG 관련 브랜치를 다른 분들도 실행해볼 수 있도록 정리하는 것을 목표로 하고 있습니다.

작업 항목은 다음과 같습니다:

• GraphQL executor 실제 구현
• GraphQL 요청 실패 시, 오류를 포함해 재생성 로직 추가
• Pull Request 머지 후 리베이스 및 저장 로직 추가
• 로깅 고도화 : 각 task별 로그 세분화 및 구조 통일화
• RAG 실행을 위한 client UI 구현
  • RAG 실행을 위한 UI 구현 github-dashboard-client#68

이후에는 문서화 및 정리 작업을 통해, 실행에 필요한 가이드라인을 제공할 예정입니다.
관련 브랜치는 아래 링크를 참고해주세요.
👉 https://github.com/aicers/github-dashboard-server/tree/kai/lang-graph-rs

cc. @sophie-cluml

[danbi2990]

GraphQL 실행은 main...jake/semantic-parsing-graphql#diff-9e8ea900c2721617f4c890ca02629eb3c47bd75cd54b3dbd787882ffaf28d974R133 여기 주석 처리 되어있는 코드 참고하시면 좋을 것 같습니다.

[Goder-0]

• GraphQL executor 실제 구현
• GraphQL 요청 실패 시, 오류를 포함해 재생성 로직 추가
• Pull Request 머지 후 리베이스 및 저장 로직 추가
• 로깅 고도화 : 각 task별 로그 세분화 및 구조 통일화
• RAG 실행을 위한 client UI 구현

현재 진행 상황을 보면, PR 관련 작업을 제외하고 테스트 환경 구축은 완료된 상태입니다.
추가적으로, 이번에 공개된 gpt-oss 모델을 사용해본 결과, 성능이 상당히 향상되었습니다.
다음 작업 방향성에 대해 논의가 필요합니다.

• gpt-oss 관련 자료 : https://openai.com/ko-KR/index/introducing-gpt-oss/