작성일: 2026-05-07
분석 대상: Manager ID 5의 LLM Call Log (10개 세션)
목적: 초기 구현 성능 측정 및 개선 방향 도출
| 지표 | 값 | 비고 |
|---|---|---|
| 총 세션 수 | 10개 | 지원자 10명 (ID: 31-40) |
| 총 LLM 호출 | 100회 | 세션당 평균 10회 |
| 총 토큰 사용량 | 1,688,934개 | 입력: 1,090,693 / 출력: 598,241 |
| 총 비용 | $1.431 | 세션당 평균 $0.143 |
| 총 소요 시간 | 6,419초 (106.98분) | 세션당 평균 641.9초 (10.7분) |
| 평균 응답 시간 | 64.2초/호출 | - |
| 성공률 | 100% | 모든 호출 성공 |
| 지원자 ID | 토큰 사용량 | 비용 ($) | 소요 시간 (초) | 효율성 점수 |
|---|---|---|---|---|
| 33 | 165,535 | $0.1134 | 661.8 | ⭐⭐⭐⭐ |
| 39 | 184,754 | $0.1622 | 668.8 | ⭐⭐⭐ |
| 38 | 168,859 | $0.1528 | 721.9 | ⭐⭐⭐ |
| 34 | 157,244 | $0.1448 | 644.3 | ⭐⭐⭐⭐ |
| 40 | 160,667 | $0.1476 | 628.1 | ⭐⭐⭐⭐ |
| 31 | 163,820 | $0.1561 | 632.7 | ⭐⭐⭐⭐ |
| 35 | 169,869 | $0.1548 | - | ⭐⭐⭐ |
| 32 | 165,136 | $0.1499 | - | ⭐⭐⭐⭐ |
| 37 | 153,692 | $0.1385 | - | ⭐⭐⭐⭐ |
| 36 | 159,358 | $0.1410 | - | ⭐⭐⭐⭐ |
💡 효율성 점수: 비용 대비 토큰 효율성 (⭐⭐⭐⭐⭐: 최상, ⭐: 최하)
| 노드명 | 호출 수 | 평균 토큰 | 총 토큰 | 평균 비용 ($) | 총 비용 ($) | 문제 등급 |
|---|---|---|---|---|---|---|
| reviewer | 20 | 28,349 | 566,989 | $0.0239 | $0.478 | 🔴 CRITICAL |
| questioner | 30 | 18,691 | 560,739 | $0.0151 | $0.452 | 🟠 HIGH |
| driller | 20 | 16,382 | 327,649 | $0.0140 | $0.280 | 🟡 MEDIUM |
| predictor | 20 | 13,467 | 269,344 | $0.0115 | $0.230 | 🟢 LOW |
| verification_point_extractor | 10 | 10,365 | 103,656 | $0.0110 | $0.110 | 🟢 LOW |
| prepare_context | 10 | 0 | 0 | $0 | $0 | ⚪ N/A |
| 노드명 | 호출 수 | 평균 시간 (초) | 총 시간 (초) | 시간 비율 | 문제 등급 |
|---|---|---|---|---|---|
| questioner | 30 | 85.2 | 2,555.4 | 39.8% | 🔴 CRITICAL |
| reviewer | 20 | 104.3 | 2,085.2 | 32.5% | 🔴 CRITICAL |
| driller | 20 | 69.1 | 1,381.8 | 21.5% | 🟠 HIGH |
| predictor | 20 | 50.9 | 1,017.3 | 15.8% | 🟡 MEDIUM |
| verification_point_extractor | 10 | 65.0 | 650.1 | 10.1% | 🟡 MEDIUM |
| prepare_context | 10 | 0 | 0 | 0% | ⚪ N/A |
🚨 주요 문제점:
reviewer노드가 토큰의 33.6%, 비용의 33.4% 차지questioner노드가 총 시간의 39.8% 차지- 상위 3개 노드(questioner, reviewer, driller)가 전체 비용의 85% 차지
📊 노드별 Input/Output 토큰 비율
reviewer: ████████████░░░ (입력 67.4% / 출력 32.6%)
questioner: ████████░░░░░░░ (입력 56.1% / 출력 43.9%)
driller: ███████░░░░░░░░ (입력 61.2% / 출력 38.8%)
predictor: ████████░░░░░░░ (입력 68.5% / 출력 31.5%)
verification_point: ███████░░░░░░░░ (입력 58.3% / 출력 41.7%)