작성일: 2026-05-06

목적: interview_graph_JY 초기 구현의 생성 품질 구조를 정량/정성적으로 진단하여 추후 개선 실험과 비교하기 위한 베이스라인 문서

데이터 범위: 단일 실행 1건, LLM 호출 9회, 총 100,166 tokens

평가 기준: 그래프 실행 흐름, 재시도 발생 여부, 노드별 역할, 토큰 사용량, 품질 수렴 구조

참고 코드: backend/ai/interview_graph_JY

1. 전체 현황 요약 (핵심 KPI 10종)

요약 해석:

• 초기 JY 그래프는 analyzer → questioner → predictor → driller → reviewer → scorer 구조를 통해 문서 분석, 질문 생성, 예상답변, 꼬리질문, 리뷰, 점수화를 모두 수행한다.
• 단일 실행에서 LLM 호출은 모두 성공했으므로 실행 안정성은 확보되었다.
• 다만 scorer 이후 retry_questioner로 진입했기 때문에 최초 생성 결과가 내부 품질 기준을 한 번에 통과하지 못한 것으로 해석된다.
• 재시도 후에는 다시 questioner → predictor → driller → reviewer → scorer를 수행한 뒤 selector → final_formatter로 종료되었다.
• 핵심 품질 리스크는 “리뷰어 미실행”이 아니라, 재시도 이후 품질이 충분히 개선되었는지 보장하는 수렴 조건이 약한 점이다.

2. 평가 방식 및 루브릭

2-1. 평가 방식

이번 데이터에는 실제 생성된 질문 원문과 평가가이드 원문이 포함되어 있지 않다. 따라서 예시 보고서처럼 문항별 1~5점 수동 채점은 수행할 수 없다.

대신 다음 기준으로 초기 품질을 진단했다.

2-2. 질문 품질 평가 항목

2-3. 평가가이드 품질 평가 항목