같은 과제로 결과 비교

같은 두 ID를 순서가 다른 결과로 비교합니다.

def evaluate(ids, rows):
    if len(ids) != len(set(ids)) or len(rows) != len(ids):
        raise ValueError('CASE_SET')
    by_id = {r['id']: r for r in rows}
    if len(by_id) != len(rows) or set(by_id) != set(ids):
        raise ValueError('CASE_SET')
    if any(r['status'] not in ('pass', 'fail', 'unknown') for r in rows):
        raise ValueError('STATUS')
    passed = sum(r['status'] == 'pass' for r in rows)
    failures = {r['id']: r['failure'] for r in rows if r['status'] == 'fail'}
    unknown = sorted(r['id'] for r in rows if r['status'] == 'unknown')
    return {'passed': passed, 'total': len(ids),
            'rate': round(passed / len(ids) * 100, 1) if ids else 0.0,
            'failures': dict(sorted(failures.items())), 'unknown': unknown,
            'tokens': sum(r['tokens'] for r in rows),
            'seconds': sum(r['seconds'] for r in rows)}

def compare(ids, before, after):
    left, right = evaluate(ids, before), evaluate(ids, after)
    old = {r['id']: r['status'] for r in before}
    new = {r['id']: r['status'] for r in after}
    return {'before': left, 'after': right,
            'improved': sorted(i for i in ids if old[i] != 'pass' and new[i] == 'pass'),
            'regressed': sorted(i for i in ids if old[i] == 'pass' and new[i] == 'fail'),
            'lost': sorted(i for i in ids if old[i] == 'pass' and new[i] == 'unknown')}

import json
def row(i,s): return dict(id=i,status=s,failure='order',tokens=4,seconds=1)
print(json.dumps(compare(['create','order'],[row('create','fail'),row('order','pass')],[row('order','fail'),row('create','pass')]),sort_keys=True))

미확인 사례는 분모에 남으며 빈 평가도 완료 근거가 아닙니다.

def evaluate(ids, rows):
    if len(ids) != len(set(ids)) or len(rows) != len(ids):
        raise ValueError('CASE_SET')
    by_id = {r['id']: r for r in rows}
    if len(by_id) != len(rows) or set(by_id) != set(ids):
        raise ValueError('CASE_SET')
    if any(r['status'] not in ('pass', 'fail', 'unknown') for r in rows):
        raise ValueError('STATUS')
    passed = sum(r['status'] == 'pass' for r in rows)
    failures = {r['id']: r['failure'] for r in rows if r['status'] == 'fail'}
    unknown = sorted(r['id'] for r in rows if r['status'] == 'unknown')
    return {'passed': passed, 'total': len(ids),
            'rate': round(passed / len(ids) * 100, 1) if ids else 0.0,
            'failures': dict(sorted(failures.items())), 'unknown': unknown,
            'tokens': sum(r['tokens'] for r in rows),
            'seconds': sum(r['seconds'] for r in rows)}

def compare(ids, before, after):
    left, right = evaluate(ids, before), evaluate(ids, after)
    old = {r['id']: r['status'] for r in before}
    new = {r['id']: r['status'] for r in after}
    return {'before': left, 'after': right,
            'improved': sorted(i for i in ids if old[i] != 'pass' and new[i] == 'pass'),
            'regressed': sorted(i for i in ids if old[i] == 'pass' and new[i] == 'fail'),
            'lost': sorted(i for i in ids if old[i] == 'pass' and new[i] == 'unknown')}

print(evaluate(['order'],[dict(id='order',status='unknown',failure='',tokens=0,seconds=0)]))
print(evaluate([],[]))

평균뿐 아니라 가장 느린 사례의 시간을 확인합니다.

seconds = {'create':1,'blank-title':1,'complete':1,'list-order':9}
print(f'평균 {sum(seconds.values()) / len(seconds):.1f}')
print(max(seconds, key=seconds.get), max(seconds.values()))

JSON 객체 ids·before·after를 읽습니다. ids는 문자열 사례 ID 배열이고 각 결과 행은 id·status·failure·tokens·seconds입니다. status는 pass/fail/unknown, failure는 문자열, 비용은 음이 아닌 정수입니다. 각 결과의 ID가 ids와 정확히 같고 중복이 없어야 하며 status가 틀리거나 세트가 다르면 INVALID를 출력합니다. 정상 출력은 before와 after의 passed·total·rate(한 자리 반올림 백분율, 빈 세트 0.0)·failures(fail만 ID→failure)·unknown(정렬 ID)·tokens·seconds, improved(비pass→pass), regressed(pass→fail), lost(pass→unknown)를 가진 JSON입니다. 세 ID 목록은 정렬합니다. 결과 객체 키도 sort_keys=True로 직렬화합니다. unknown을 분모에서 빼지 않습니다.