judge-with-debate

judge-with-debate 기능 개요

judge-with-debate 기능은 한 번에 내리는 단일 의견이 아니라, 구조화된 다중 에이전트 논쟁을 통해 솔루션을 평가할 때 사용합니다. 품질, 정확성, 트레이드오프에 대해 방어 가능한 판단이 필요하고, 최종 채점 전에 judge-with-debate 기능이 근거, 반론, 수렴 과정을 강제로 거치게 하려는 경우에 가장 적합합니다.

judge-with-debate 기능의 용도

judge-with-debate는 “답을 작성하라”가 아니라 “이 답, 설계, 구현이 실제로 좋은지 판단하라”가 과제일 때 쓰는 기능입니다. 코드 리뷰, 솔루션 순위 매기기, 루브릭 기반 평가, 그리고 한 번의 모델 패스로 생길 수 있는 편향이 위험한 모든 Multi-Agent Systems 워크플로에 잘 맞습니다.

일반 프롬프트와 다른 점

일반적인 평가 프롬프트는 보통 한 가지 의견만 요구합니다. 반면 judge-with-debate는 메타 심판, 공통 평가 명세, 반복 토론 라운드를 추가해 결과를 쉽게 얼버무리기 어렵게 만듭니다. 그래서 judge-with-debate 기능은 속도보다 정확성이 더 중요한 상황에서 특히 유용합니다.

이런 사용자에게 적합합니다

이 기능은 단순한 판정이 아니라, 반복 가능한 평가 기준이 필요한 에이전트, 리뷰어, 빌더에게 잘 맞습니다. 여러 후보 솔루션을 비교하거나, judge-with-debate 가이드를 사용해 사례 간 점수를 일관되게 내야 한다면, 이 기능이 준비 시간을 줄이고 추측을 덜어줍니다.

judge-with-debate 기능 사용 방법

먼저 설치하고 기능을 확인하세요

사용 중인 skill manager에서 저장소 설치 흐름을 통해 먼저 설치한 뒤, 적용하기 전에 기능 파일을 읽어보세요. 일반적인 judge-with-debate install 경로는 plugins/sadd/skills/judge-with-debate/SKILL.md를 찾고, 이어서 주변 저장소 규칙까지 확인해 이 기능이 입력과 출력을 어떤 방식으로 정리하길 기대하는지 파악하는 것입니다.

적절한 입력 형태를 제공하세요

이 기능은 솔루션 경로나 산출물에 더해 명확한 평가 기준을 함께 줄 때 가장 잘 작동합니다. 좋은 judge-with-debate usage 프롬프트는 무엇을 판정하는지, “좋다”의 기준이 무엇인지, 어떤 제약이 중요한지 분명히 적습니다. 예: Judge this PR against correctness, maintainability, and spec compliance; prioritize evidence from the diff and call out any missing edge cases.

동작을 정의하는 파일부터 보세요

먼저 SKILL.md를 읽고, 실행에 영향을 주는 주변 저장소 규칙을 확인하세요. 이 저장소에서는 기능 본문 자체가 가장 중요한 검토 대상이며, 별도의 helper script나 추가 reference folder는 없습니다. 따라서 설치 여부를 판단할 때는 단일 source of truth에 적힌 작업 흐름, 토론 단계, 출력 기대치를 이해하는 것이 핵심입니다.

토론에 맞는 워크플로로 사용하세요

실용적인 judge-with-debate 가이드는 이렇습니다. 먼저 대상 하나, 루브릭 하나, 그리고 반드시 지켜야 할 제약을 앞에 제시합니다. 그다음 메타 심판이 명세를 다듬게 한 뒤, 심판들이 같은 점수를 반복 말하기보다 근거를 두고 논쟁하게 하세요. 이 기능은 “명세,” “분석,” “합의”를 구분해서 유지할 때 가장 강합니다. 이 단계를 뭉개면 토론의 가치가 크게 줄어듭니다.

judge-with-debate 기능 FAQ

judge-with-debate는 코드 리뷰 전용인가요?

아닙니다. judge-with-debate 기능은 여러 관점이 신뢰도를 높여주는 구조화된 평가라면 무엇이든 사용할 수 있습니다. 코드, 프롬프트, 계획안, 리서치 요약, 경쟁 솔루션 모두 대상이 될 수 있습니다. 잘못된 판단의 비용이 평가를 길게 하는 비용보다 클수록 이 기능의 가치가 커집니다.

언제는 사용하지 않는 게 좋나요?

빠른 휴리스틱 답변이 필요하거나, 토론할 만큼 기준이 명확하지 않거나, 비교할 만한 실질적인 증거가 없을 때는 judge-with-debate를 건너뛰세요. 단순한 규칙 기반 점검이면 충분하다면, 토론 오버헤드는 불필요합니다.

단일 강력 프롬프트보다 더 나은가요?

대체로 논쟁적인 결정에서는 그렇습니다. 이 기능은 의견 차이를 명시적으로 드러내고, 근거를 중심으로 수렴하도록 강제하기 때문입니다. 다만 단순한 작업이라면 일반 프롬프트가 더 빠르고 충분히 정확할 수 있습니다. judge-with-debate 기능은 토큰 최소화가 아니라 판단 품질을 위한 도구입니다.

초보자도 쓰기 쉬운가요?

네, 평가 대상과 루브릭을 말할 수만 있다면 가능합니다. 초보자가 가장 흔히 하는 실수는 “이거 판단해줘”처럼 넓게 요청하면서 성공 기준을 적지 않는 것입니다. 그러면 토론이 힘을 잃습니다.

judge-with-debate 기능 개선 방법

평가 기준을 더 촘촘하게 만드세요

가장 큰 품질 레버는 루브릭입니다. 단순한 판정을 요구하기보다 가중치와 실패 기준을 분명히 적으세요. 예: Score correctness 50%, robustness 30%, clarity 20%; fail if the solution misses an edge case or contradicts the spec. 기준이 강할수록 judge-with-debate 기능은 더 선명한 의견 차이와 더 깔끔한 합의를 만들어냅니다.

근거를 제시하기 쉬운 맥락을 주세요

토론은 심판이 구체적인 자료를 짚을 수 있을 때 가장 잘 작동합니다. 정확한 솔루션 경로, 관련 코드 조각, acceptance criteria, 알려진 제약을 함께 주세요. 이런 입력을 빼면 기능은 여전히 실행되지만, 토론이 근거 평가보다 추론 쪽으로 흐르기 쉽습니다.

흔한 실패 모드를 점검하세요

가장 흔한 실패는 과도하게 일반화된 합의입니다. 프롬프트가 너무 넓어서 모든 심판이 비슷하게 말해 버리는 경우입니다. 또 하나는 루브릭 드리프트로, 논의 중에 서로 다른 것을 점수 매기기 시작하는 상황입니다. judge-with-debate 기능 결과를 개선하려면 대상 범위를 좁게 잡고, 명시적 트레이드오프를 요청하고, 해결되지 않은 이견까지 남기는 최종 요약을 요구하세요.

첫 번째 결과를 바탕으로 다시 조정하세요

첫 출력이 너무 부드럽다면, 빠진 판단 지점을 되돌려 주고 더 구체적인 루브릭이나 더 엄격한 근거 요구로 다시 실행하세요. Multi-Agent Systems용 judge-with-debate에서는, 보통 라운드를 더 늘리는 것보다 판단 경계를 분명히 하는 편이 개선 효과가 큽니다.