[week-03] 26620029

[ddolcom]

Week 03 과제

Smith(1980)의 contract net(공고-입찰-낙찰) 프로토콜을, LLM 계약자 세 명(alex/brooke/casey)이 JSON 입찰을 내는 방식으로 재현했다. REPORT.md는 이 제출물에서 실제로 돌린 다섯 개 실험을 다룬다 — 15절이 실험 15의 조건·결과·해석을 각각 나열·요약하고, 69절이 실험 25의 자세한 가설·구현·실측·결론이다.

실험 1 — baseline / homogeneous / overconfident (최초 제출)

계약자 세 명, 조건별로 system prompt만 다르게 한 3조건 × 3 run.

조건	무엇이 바뀌는가
baseline	서로 다른 세 스킬을 정직하게 가진 계약자 세 명
homogeneous	세 계약자 모두 같은 제너럴리스트 스킬
overconfident	baseline과 동일하되 alex만 모든 태스크에 bid=true·confidence≥90 강제

실험 2 — gold 격리 · 입찰당 토큰 계측 · runs/ 폴더 분리

실험 1과 같은 3조건을 코드 구조만 세 가지로 바꿔 다시 실행:

1. gold 격리: gold를 announcement_task(공개 필드: id·desc만)와 분리해, 프롬프트를 만드는 코드의 변수 스코프에 애초에 존재하지 않도록 리팩터링(public_view(task) + assert).
2. 입찰당 토큰 계측: messages는 조건과 무관하게 42로 고정돼 협상 비용 차이를 전혀 못 보여준다. Meter를 확장해 입찰 하나하나의 input/output 토큰을 bids.csv에 기록했다.
3. runs/ 폴더 분리: run_experiments.py가 매 실행을 runs/<타임스탬프>-라벨/에 격리 저장해, 다음 실험이 이전 결과를 덮어쓰지 않게 했다.

실험 3 — homogeneous_shuffled (공지 순서 무작위화)

실험 1·2에서 "homogeneous의 동점 입찰은 항상 alex가 낙찰"이라고 관찰됐다. 이게 alex 고유의 성질인지, 고정된 공지 순서(alex→brooke→casey) 때문인지 가리기 위해, homogeneous와 같은 프로필에 계약자 공지 순서만 태스크마다 무작위로 섞는 조건을 추가했다. 동점 처리 규칙도 이 무작위 순서를 그대로 따르도록 바꿨다.

실험 4 — overconfident_brooke / overconfident_casey (과신 대상 교체)

"과신 효과가 alex라는 정체성과 무관한가"를 확인하기 위해, 같은 override 문구("무조건 bid=true, confidence≥90")를 alex 대신 brooke·casey에게 각각 걸고 나머지 둘은 정직하게 둔 두 조건을 추가했다(_make_overconfident(profiles, who)로 일반화).

실험 5(분석) — 토큰 비용은 desc 길이 때문인가, confidence 조작 때문인가

새 API 호출 없이, 실험 2·3·4에서 쌓인 bids.csv(378개 입찰 레코드)를 tasks.json의 태스크 설명 길이·contract_net.CONDITIONS의 system prompt 길이와 상관분석했다 — 실험 2에서 본 조건별 토큰 비용 차이의 진짜 원인을 확인하기 위함이다.

Results & Interpretation (실험 1~5)

실험 1: baseline 9/9 run 모두 깨끗(오배정 0). homogeneous가 최악(2/6 정답, run당 오배정 3~4) — 동점 처리 규칙이 매번 같은 방식으로 동전 던지기를 해결하고, 정체성 없는 제너럴리스트가 정직하게 거절하며 미배정도 발생. overconfident는 영향이 제한적(5/6, run당 오배정 1, 매번 정확히 task-6) — alex의 강제 confidence가 그 태스크의 gold 계약자(casey)의 정직한 confidence를 실제로 넘을 때만 오배정.

실험 2: gold는 9 run 전체 로그에서 낙찰 이후 [award] ... (gold=...) 줄에만 등장 — 공고·입찰 단계 노출 0건. 입찰당 토큰은 overconfident 173.2→183.6(+6%), homogeneous 173.2→167.1(−3.5%) — messages(모든 조건 42)로는 안 보이는 차이. (이 차이의 원인에 대한 최초 해석은 실험 5에서 정정됨.)

실험 3: homogeneous_shuffled 3 run(18개 태스크) 중 15개가 진짜 동점이었고, 그 15번 전부(100%) 그 태스크에서 가장 먼저 공지받은 계약자가 낙찰받았다. 낙찰자 이름 분포({alex:8, brooke:4, casey:3})가 "1순위 공지 이름" 분포와 정확히 일치 — "동점이면 alex"는 alex 편향이 아니라 고정 공지 순서가 만든 프로토콜 차원의 구조적 편향이었다.

실험 4: overconfident(alex)는 3 run 합계 오배정 4건인데 overconfident_brooke·overconfident_casey는 9 run 합계 오배정 0건. 원인 두 가지: (1) override 지시 순응율이 페르소나마다 다름 — 자기 분야 밖 태스크에서 alex·casey는 12/12(100%) 순응(매번 confidence 정확히 90), brooke는 1/12(8%)만 순응하고 나머지는 정직하게 거절; (2) 100% 순응해도, 상대(정직한 gold 계약자)의 그 태스크 confidence가 override의 confidence(≈90)보다 낮아야만 실제로 낙찰을 가로챈다 — 6개 gold 태스크 중 그런 경우는 casey의 task-6(정직 confidence 85)뿐이었다. "과신 조건은 늘 몇 번은 오배정을 낸다"는 실험 1 시점의 일반화는 이 실험으로 반증됐다.

실험 5: input_tokens는 system prompt 글자수와 거의 완벽히 비례(r=+0.999, ~4.2자/토큰)하고 desc 길이와는 거의 무관(r=+0.24). output_tokens(실제 추론/근거)도 desc 길이(r=+0.12)나 조건과 뚜렷한 관계가 없었다 — overconfident의 output은 오히려 baseline보다 살짝 낮았다. 이는 실험 2에서 처음 썼던 해석("confidence 조작이 근거를 더 길게 쓰게 만든다")이 틀렸다는 뜻이다: 조건별 토큰 비용 차이는 desc 길이도, 모델이 실제로 더/덜 추론해서도 아니라, 실험 설계에서 써넣은 system prompt(override 문구·제너럴리스트 문구) 자체의 글자수 차이가 거의 전부였다. REPORT.md에는 이 최초 해석을 삭제하지 않고 "[9절에서 정정]" 표시를 달아 정정 내역을 남겼다.

What I tried and discarded

• 토큰 열을 results.csv에 바로 추가하려 했으나 CI가 헤더를 정확히 고정 검사해서 별도 bids.csv로 분리.
• gold 미노출을 프롬프트 문자열 정규식 스캔으로 증명하려다, "애초에 딕셔너리에 gold 키가 없음" + assert가 더 단순하고 더 일찍 실패해서 그쪽으로 변경.
• OpenRouter로 실행하려 했으나 이 작업 환경의 네트워크 정책이 막아 Anthropic 키로 대체 실행.
• 토큰 비용 차이의 원인을 처음엔 확인 없이 "confidence 조작이 근거를 길게 쓰게 만든다"고 추측해서 REPORT.md에 그대로 썼는데, 실험 5의 상관분석으로 틀렸다는 게 드러나 삭제하지 않고 정정 표시를 달아 남겼다.
• REPORT.md 섹션 순서를 두 번 다른 방식으로 재배치했다(결과를 1번으로 → 요청으로 되돌림 → 아키텍처를 1번으로 다시 재배치). 히스토리는 스쿼시하지 않고 모두 남겼다.

How to run

export ANTHROPIC_API_KEY=<your key>   # 또는 OPENAI_API_KEY(+옵션 OPENAI_BASE_URL)
cd submissions/26620029/week-03

# 채점용 3조건 재현
python run_experiments.py --runs 3 --update-root

# 후속 실험(runs/<타임스탬프>-라벨/ 에 별도 저장)
python run_experiments.py --runs 3 --conditions homogeneous_shuffled --label <이름>
python run_experiments.py --runs 3 --conditions overconfident,overconfident_brooke,overconfident_casey --label <이름>

# 토큰 비용 상관분석 재현 (API 키 불필요)
python analysis/token_correlation.py

Checklist

• python scripts/check_week03.py submissions/26620029/week-03 passes locally
• Run logs are committed under logs/, runs/*/logs/
• No API keys anywhere in the diff
• History is not squashed