방법과 증거
지표 카드를 열면 정의 → 필요한 원자료 → 대조군 → 실패 기준 → 누가 평가하는가 → 현재 증거 상태가 펼쳐집니다. 현재 실측값은 임의로 채우지 않습니다.
검증할 가설
가설과 시연값은 분리되어 표시됩니다. 예시 그래프는 인과효과를 증명하지 않습니다.
M2와 M3의 차이를 확인하려면
같은 정보량과 계산예산을 맞춘 조건에서 M2와 M3를 비교해야 실제 이동의 추가 효과를 논할 수 있습니다. 정보량이 다르면 차이는 노출 효과로 설명될 수 있습니다.
지표
Creative Yield 검증할 가설
- 정의
- 새로움과 적절성·유용성을 동시에 충족한 제안의 비율. novelty 단독이 아닙니다.
- 필요한 원자료
- 과제별 제안 목록, 독립 전문가의 novelty·appropriateness·usefulness 평가.
- 대조군
- 같은 과제의 단일 페르소나 기준선.
- 실패 기준
- 전문가 평가가 사전 등록된 rubric을 따르지 않을 때.
- 누가 평가하는가
- 독립 전문가 rubric 평가 (사전 등록)
- 현재 증거 상태
- 검증할 가설
참신성 검증할 가설
- 정의
- 전문가가 평가한 제안의 새로움 정도(보조 지표).
- 필요한 원자료
- 전문가 rubric 점수 원자료.
- 대조군
- 기준선 조건의 점수 분포.
- 실패 기준
- 평가자 간 신뢰도가 보고되지 않을 때.
- 누가 평가하는가
- 독립 전문가 rubric 평가 (사전 등록)
- 현재 증거 상태
- 검증할 가설
persona drift 검증할 가설
- 정의
- 페르소나가 정해진 goal_scope에서 벗어나는 정도.
- 필요한 원자료
- 행동 로그와 goal_scope 대조 기록.
- 대조군
- 단일 페르소나 조건의 drift율.
- 실패 기준
- drift 판정 기준이 사전 정의되지 않을 때.
- 누가 평가하는가
- 독립 전문가 rubric 평가 (사전 등록)
- 현재 증거 상태
- 검증할 가설
잘못된 persona 기억 호출 검증할 가설
- 정의
- 다른 persona의 기억을 참조하거나 없는 기억을 꾸며내는 빈도.
- 필요한 원자료
- 기억 참조 로그와 namespace 대조.
- 대조군
- 단일 namespace 조건.
- 실패 기준
- 참조 로그가 수집되지 않을 때.
- 누가 평가하는가
- 독립 전문가 rubric 평가 (사전 등록)
- 현재 증거 상태
- 검증할 가설
unseen-task transfer 검증할 가설
- 정의
- 학습에 쓰이지 않은 새 과제에서의 성능 전이.
- 필요한 원자료
- unseen 과제 세트의 지표 값.
- 대조군
- 전이 없는 조건(빈 archive) 기준선.
- 실패 기준
- 과제 세트가 사전 공개되었을 때.
- 누가 평가하는가
- 독립 전문가 rubric 평가 (사전 등록)
- 현재 증거 상태
- 검증할 가설
archive coverage 검증할 가설
- 정의
- archive가 강점 범주(참신성×제약 준수 격자)를 얼마나 고르게 덮는지.
- 필요한 원자료
- archive 셀 점유 목록.
- 대조군
- 순위표 방식(최고 1건) 대조.
- 실패 기준
- 한 셀만 채워질 때.
- 누가 평가하는가
- 독립 전문가 rubric 평가 (사전 등록)
- 현재 증거 상태
- 검증할 가설
negative transfer 검증할 가설
- 정의
- 귀환 경험 반영으로 오히려 성능이 떨어지는 사례 비율.
- 필요한 원자료
- 반영 전후 비교 측정.
- 대조군
- 반영 없는 조건.
- 실패 기준
- 반영 전후 측정이 없을 때.
- 누가 평가하는가
- 독립 전문가 rubric 평가 (사전 등록)
- 현재 증거 상태
- 검증할 가설
rollback 검증할 가설
- 정의
- 회귀 실패 시 이전 승인 버전으로 자동 복구되는지 여부.
- 필요한 원자료
- 회귀검사·복구 이벤트 로그.
- 대조군
- rollback 없는 조건.
- 실패 기준
- 복구 후 상태 불일치가 남을 때.
- 누가 평가하는가
- 독립 전문가 rubric 평가 (사전 등록)
- 현재 증거 상태
- 검증할 가설
migration success / downtime / state fidelity 검증할 가설
- 정의
- 이동 성공률, 중단 시간, 상태 충실도(이동 전후 상태 일치).
- 필요한 원자료
- 메커니즘별 이동 로그와 snapshot 대조.
- 대조군
- MESSAGE·CAPSULE·CRIU·VM 간 비교.
- 실패 기준
- 상태 충실도가 정의되지 않을 때.
- 누가 평가하는가
- 독립 전문가 rubric 평가 (사전 등록)
- 현재 증거 상태
- 검증할 가설
비승인 도구 실행 검증할 가설
- 정의
- 허용 목록 밖 도구 실행 시도·차단 빈도.
- 필요한 원자료
- 도구 호출 감사 로그.
- 대조군
- 게이트 없는 조건.
- 실패 기준
- 감사 로그가 없을 때.
- 누가 평가하는가
- 독립 전문가 rubric 평가 (사전 등록)
- 현재 증거 상태
- 검증할 가설
오염된 기억 병합 검증할 가설
- 정의
- 검증·승인을 거치지 않은 외부 입력이 장기 기억에 병합된 횟수.
- 필요한 원자료
- 병합 이벤트와 검증 기록 대조.
- 대조군
- 격리 없는 조건.
- 실패 기준
- 병합 이벤트가 기록되지 않을 때.
- 누가 평가하는가
- 독립 전문가 rubric 평가 (사전 등록)
- 현재 증거 상태
- 검증할 가설
계산량·지연 검증할 가설
- 정의
- 조건별 계산량과 응답 지연.
- 필요한 원자료
- 실행 로그의 토큰·시간 측정.
- 대조군
- 예산을 맞춘 조건 간 비교.
- 실패 기준
- 예산 통제가 없을 때.
- 누가 평가하는가
- 독립 전문가 rubric 평가 (사전 등록)
- 현재 증거 상태
- 검증할 가설
MEASURED 결과 카드의 필수 근거
실제 측정 결과가 생기면 다음 항목이 모두 있어야 MEASURED로 표시됩니다.
- 실험 ID
- 기준선
- 데이터 버전
- seed
- 기반 모델
- persona / Layer 설정
- 이동 메커니즘
- 환경·하드웨어
- 표본 수
- 지표 정의
- 전문가 평가
- 변동성 / 신뢰구간
- 실패 사례
- 비용
- 재현 자료
MEASURED 자료 없음 — 실험 ID·출처·재현 조건을 갖춘 실측 실험자료가 들어오기 전까지 이 영역은 비어 있습니다. 실측 결과