같은 조건의 결과 비교

각 실행의 제곱합과 표본 수를 합칩니다. 단순 RMSE 평균과 다른 결과를 확인합니다.

import math
sse=1*1**2+3*3**2
samples=1+3
print(f'pooled_rmse_m={math.sqrt(sse/samples):.6f}')
print(f'mean_rmse_m={(1+3)/2:.6f}')

두 행 중 한 행이 실패합니다. 실패 사유와 도달률을 함께 보존합니다.

import json,sys,math

def aggregate(rows):
    if not isinstance(rows,list): raise ValueError('ROWS')
    groups={};seen=set()
    for r in rows:
        c=r['condition'];seed=r['seed'];n=r['samples'];sse=r['sse_m2'];hits=r['collisions']
        if not isinstance(c,str) or not c or type(seed) is not int or (c,seed) in seen: raise ValueError('ID')
        seen.add((c,seed))
        if type(n) is not int or n<0 or type(hits) is not int or hits<0: raise ValueError('COUNT')
        if type(sse) not in (int,float) or not math.isfinite(sse) or sse<0 or (n==0 and sse!=0): raise ValueError('SSE')
        if type(r['reached']) is not bool or not isinstance(r['reason'],str) or not r['reason']: raise ValueError('RESULT')
        if r['reached'] and (hits!=0 or r['reason']!='ARRIVED'): raise ValueError('CONFLICT')
        g=groups.setdefault(c,dict(runs=0,reached=0,collisions=0,samples=0,sse_m2=0.,failures={}))
        g['runs']+=1;g['reached']+=int(r['reached']);g['collisions']+=hits;g['samples']+=n;g['sse_m2']+=sse
        if not r['reached']: g['failures'][r['reason']]=g['failures'].get(r['reason'],0)+1
    result=[]
    for c,g in sorted(groups.items()):
        rate=g['reached']/g['runs']
        rmse=math.sqrt(g['sse_m2']/g['samples']) if g['samples'] else None
        result.append(dict(condition=c,runs=g['runs'],reach_rate=round(rate,6),collisions=g['collisions'],
                           rmse_m=round(rmse,6) if rmse is not None else None,failures=g['failures']))
    return result

print(json.dumps(aggregate([{'condition': 'clean', 'seed': 0, 'reached': True, 'reason': 'ARRIVED', 'collisions': 0, 'samples': 1, 'sse_m2': 1}, {'condition': 'clean', 'seed': 1, 'reached': False, 'reason': 'TIMEOUT', 'collisions': 0, 'samples': 3, 'sse_m2': 27}]),sort_keys=True))

경로가 없으면 오차가 0이라는 평가를 하지 않습니다. 빈 입력 목록의 결과도 확인합니다.

import json,sys,math

def aggregate(rows):
    if not isinstance(rows,list): raise ValueError('ROWS')
    groups={};seen=set()
    for r in rows:
        c=r['condition'];seed=r['seed'];n=r['samples'];sse=r['sse_m2'];hits=r['collisions']
        if not isinstance(c,str) or not c or type(seed) is not int or (c,seed) in seen: raise ValueError('ID')
        seen.add((c,seed))
        if type(n) is not int or n<0 or type(hits) is not int or hits<0: raise ValueError('COUNT')
        if type(sse) not in (int,float) or not math.isfinite(sse) or sse<0 or (n==0 and sse!=0): raise ValueError('SSE')
        if type(r['reached']) is not bool or not isinstance(r['reason'],str) or not r['reason']: raise ValueError('RESULT')
        if r['reached'] and (hits!=0 or r['reason']!='ARRIVED'): raise ValueError('CONFLICT')
        g=groups.setdefault(c,dict(runs=0,reached=0,collisions=0,samples=0,sse_m2=0.,failures={}))
        g['runs']+=1;g['reached']+=int(r['reached']);g['collisions']+=hits;g['samples']+=n;g['sse_m2']+=sse
        if not r['reached']: g['failures'][r['reason']]=g['failures'].get(r['reason'],0)+1
    result=[]
    for c,g in sorted(groups.items()):
        rate=g['reached']/g['runs']
        rmse=math.sqrt(g['sse_m2']/g['samples']) if g['samples'] else None
        result.append(dict(condition=c,runs=g['runs'],reach_rate=round(rate,6),collisions=g['collisions'],
                           rmse_m=round(rmse,6) if rmse is not None else None,failures=g['failures']))
    return result

rows=[{'condition': 'blocked', 'seed': 0, 'reached': False, 'reason': 'PATH_NOT_FOUND', 'collisions': 0, 'samples': 0, 'sse_m2': 0}]
print(json.dumps(aggregate(rows),sort_keys=True))
print(json.dumps(aggregate([])))

rows의 condition·seed는 실행 고유 키, reached는 bool, reason은 비어 있지 않은 종료 사유, collisions·samples는 비음수 정수, sse_m2는 비음수 유한 제곱 오차 합입니다. condition 사전순으로 runs·reach_rate·collisions·rmse_m·failures를 JSON 배열로 반환합니다. reached는 전체 실행 분모를 쓰고 RMSE는 합친 제곱합/전체 표본 수의 제곱근입니다. 표본 0이면 null, 빈 rows면 []입니다. 숫자는 소수 여섯 자리 반올림입니다. 실패 사유는 reached=false인 행만 셉니다. 중복 키·bool seed·표본 0의 양수 제곱합·충돌 또는 ARRIVED 외 사유를 가진 성공은 ERROR입니다. starter의 rate와 rmse 두 TODO를 완성합니다.