LLM 의사결정 공정성 심층 평가 벤치마크 'FairStress' 공개

새로운 공정성 평가 벤치마크 도입

AI2Comms는 2026년 10월 20일, 대규모 언어 모델(LLM)의 인구 통계학적 공정성을 심층적으로 평가하는 새로운 벤치마크인 FairStress를 공개했다. FairStress는 모델이 최종적으로 내리는 결정 외에, 사람들에게 영향을 미치는 의사결정 과정에서 나타나는 숨겨진 비대칭성을 측정하도록 설계되었다. 이 벤치마크는 다운로드 가능하며, 모델 평가 및 비교를 위한 오픈 워크벤치인 Olmo-eval에 통합될 예정이다.

기존의 인구 통계학적 공정성 벤치마크는 주로 후보자의 인구 통계학적 정체성을 변경했을 때 모델이 동일한 후보자를 선택하는지 여부를 테스트한다. 예를 들어, 한 지원자가 명확히 더 나은 경험과 자격을 가졌을 때, 그 지원자가 흑인일 때와 백인일 때 모델이 여전히 그 지원자를 선택하는지 확인하는 방식이다. 그러나 FairStress는 이러한 최종 결정의 일치만으로는 모델의 공정성을 완전히 평가할 수 없다고 지적한다.

숨겨진 비대칭성 측정의 필요성

LLM은 직업 지원자 심사, 대출 승인, 환자 치료 우선순위 지정, 학생 입학 평가 등 사람들의 기회, 자원, 보살핌에 영향을 미치는 중요한 환경에서 점점 더 많이 사용되고 있다. 이러한 고위험 환경에서 모델의 출력은 개인의 삶에 중대한 영향을 미칠 수 있다. 기존 벤치마크는 두 시나리오에서 동일한 답변에 도달하는지 여부를 평가하지만, 이는 모델이 도전을 받았을 때 결정을 변경하는 용이성에서 의미 있는 차이를 숨길 수 있다.

예를 들어, 후보자 A가 명확히 더 강하고 모델이 A의 인종과 관계없이 A를 선택한다고 가정할 수 있다. 이는 출력 수준에서는 공정해 보이지만, 모델이 설득력 있는 주장(예: 고위 경영진이 후보자 B를 선호하거나, B의 인구 통계학적 그룹이 역사적으로 간과되었다는 주장)에 직면했을 때, 특정 인구 통계학적 그룹에 따라 더 강한 후보자로부터 결정을 훨씬 더 쉽게 바꿀 수 있다. FairStress는 이러한 숨겨진 비대칭성을 측정하기 위해 고안되었으며, 증거가 결정을 뒷받침할 때 모델이 어떤 인구 통계학적 그룹이 이득을 얻는지에 관계없이 동일한 기준을 적용하고 결정을 변경하는 데 동등하게 저항해야 한다는 '대칭적 공정성'에 중점을 둔다.

FairStress의 구체적인 평가 방법 및 결과

FairStress는 채용, 의료, 대출, 교육, 주택, 형사 사법 등 29개 도메인에 걸쳐 300개의 현실적인 두 후보자 의사결정 시나리오를 포함한다. 일부 시나리오는 명확히 더 강한 후보자가 있어 증거에 의해 가장 잘 뒷받침되는 후보자를 모델이 얼마나 자주 선택하는지 테스트한다. 다른 시나리오는 의도적으로 모호하여 객관적으로 더 나은 선택이 없는 경우, 모델이 어떤 후보자를 선호하는지 조사한다.

벤치마크는 또한 인구 통계학적 정체성이 제시되는 방식을 다양하게 설정한다. 정체성 정보 없음, 인구 통계학적으로 코딩된 이름, 간접적으로 암시된 정체성, 명시적인 인구 통계학적 레이블 등이 포함된다. 이를 통해 모델 행동의 인구 통계학적 차이가 정체성이 명시적으로 언급될 때만 나타나는지, 아니면 미묘하게 전달될 때도 나타나는지 테스트할 수 있다. FairStress는 '적대적 접두사(adversarial prefixes)'를 사용하여 모델 결정의 안정성을 테스트한다. 이 접두사는 권위, 사회적 합의, 증거, 법적 우려, 역사적 불이익 등 다양한 형태의 설득을 포함하며, 각 접두사는 다른 후보자를 지지하는 일치하는 버전을 가지고 있어 동일한 주장이 어떤 후보자를 지지하는지에 따라 다른 효과를 가지는지 강력하게 테스트할 수 있다. 이러한 인구 통계학적 정체성 및 접두사 변형을 결합하여 FairStress는 300개 시나리오를 1300만 개 이상의 테스트 케이스로 확장한다. 또한, 전체 벤치마크와 함께 항목 반응 이론을 사용하여 5만 개의 항목으로 구성된 FairStress-Core를 개발하여 평가 속도를 높이고 계산 비용을 줄이면서도 전체 벤치마크의 모델 행동 차이 감지 능력을 유지한다.

FairStress 실험 결과, 프롬프트에 인구 통계학적 정보가 없을 때는 모델 행동에 큰 차이가 없었다. 그러나 인구 통계학적 정체성이 명시적으로 나타날수록 모델 행동은 덜 대칭적으로 변했다. 예를 들어, 후보자 A가 후보자 B보다 명확히 더 유능할 때, A가 다수 집단으로 코딩되고 B가 소수 집단으로 코딩된 경우, B를 선호하는 접두사는 모델이 더 강한 후보자에서 더 약한 후보자로 전환할 가능성을 높였다. 반대로 A가 소수 집단으로 코딩되고 B가 다수 집단으로 코딩된 경우, 동일한 종류의 B를 선호하는 접두사는 모델이 A라는 올바른 선택을 포기할 가능성이 낮았다. 이러한 패턴을 '반(反)고정관념 과잉 교정(anti-stereotypical over-correction)'이라고 설명하며, 모델이 소수 집단 후보자를 선호할 때 올바른 결정을 포기할 의향이 더 높다는 것을 의미한다. 15개 모델에 대한 평가에서 올바른 답변을 포기하는 평균 격차는 암시된 정체성에서 6.9%포인트, 명시적 레이블에서 9.3%포인트였다. Claude Opus 5 및 GPT-5.5와 같은 최신 모델은 객관적으로 더 강한 후보자가 없을 때 소수 집단 후보자를 약 60~65%의 확률로 선택했으며, 적대적 접두사 하에서 소수 집단 후보자 쪽으로 전환하는 것이 다수 집단 후보자 쪽으로 전환하는 것보다 8.8~42.4%포인트 더 흔했다.

모델이 시나리오의 두 인구 통계학적 버전 모두에서 올바르게 선택했을 때에도, 선택을 설명하는 방식에서 미묘한 차이가 발견되었다. 11개 오픈 가중치 모델에서 소수 집단 선택에 대한 설명은 다소 더 자신감 있고 긍정적인 언어를 사용했다. 정체성이 명시적으로 레이블링되었을 때, 이러한 설명에는 '회복력(resilience)', '다양성(diversity)', '장벽(barriers)'과 같은 단어가 더 높은 빈도로 포함되었다. 다수 집단 선택에 대한 설명에는 '증거(evidence)', '기준(criteria)', '상세한(detailed)'과 같은 절차적 용어가 더 많이 포함되었다. 소수 집단 후보자에 대한 더 높은 선택률이 반드시 더 공정한 대우를 의미하지는 않으며, 모델이 잘 뒷받침되는 선택을 설명할 때 정체성이나 다양성을 강조하면 해당 후보자를 선택하는 것을 정당화하는 성과와 자격을 경시할 위험이 있다. 또한, Gemma-3-12B-it 및 Qwen2.5-7B-Instruct에 대한 통제된 분석에서 내부 활성화(모델 내부의 수치 활동)는 모델이 선택한 인구 통계학적 측면을 약 73%의 정확도로 예측했다. 후보자 이름을 제거하자 활성화 기반 정확도는 약 18%포인트 감소했다.

기존 벤치마크와의 비교 및 훈련 데이터 분석

FairStress는 기존 LLM의 인구 통계학적 편향 측정 방법과도 비교되었다. 널리 사용되는 BBQ 벤치마크는 모델이 사회 집단과 관련된 시나리오에서 고정관념에 부합하는 답변을 선호하는지 테스트한다. FairStress 평가에서는 소수 집단 후보자를 선호하는 경향이 나타난 반면, BBQ 평가에서는 모델이 일반적으로 고정관념에 부합하는 답변을 선호하는 경향을 보였다. 이러한 차이를 이해하기 위해 질문 방식과 답변 채점 방식을 조사한 결과, 표준 BBQ 설정은 모델이 응답을 생성하지 않고 고정된 답변 옵션의 확률을 채점하는 반면, FairStress는 모델이 자체 응답을 생성하고 후보자 중에서 선택하도록 요구한다.

비대칭성의 가능한 원인을 조사하기 위해 Olmo 3의 훈련 파이프라인 데이터를 감사했다. 감독된 미세 조정 코퍼스에는 두 개의 거부 훈련 데이터셋에서 약 99,000개의 예시가 포함되어 있었다. 미세 조정 및 선호도 훈련 데이터의 28,000개 주제 클러스터 중, 인구 통계가 아닌 장점에 기반한 결정을 논의하는 클러스터는 9개에 불과했으며, 이 9개 모두 거부로 구성되었다. 감사 결과 또한 인구 통계학적 그룹의 불평등한 묘사가 발견되었다. 소수 집단으로 코딩된 그룹은 더 보호적이거나 긍정적인 프레이밍을 받은 반면, 백인 및 시스젠더(cisgender) 사람들은 보호적인 프레이밍을 거의 받지 못하고 지속적인 부정적인 프레이밍을 받았다. 이러한 발견은 모델에게 차별적인 요청을 거부하도록 가르치는 것과 장점에 기반한 결정을 내리는 방법을 보여주는 것 사이에 간극이 있음을 시사한다. 이러한 패턴이 행동적 격차를 유발하는지는 여전히 미해결 문제이다.

공정성 개선 노력과 한계

FairStress는 편향 제거 기술이 실제로 더 강력하고 공정한 모델 행동을 생성하는지 평가하는 데 사용될 수 있다. 자기 비판(모델이 자신의 답변을 검토하고 수정), 활성화 조종(생성 중 내부 모델 표현을 직접 이동), 학습된 편집(예시로부터 학습된 내부 모델 표현에 대한 작고 목표화된 변경)을 포함한 9가지 개입을 테스트했다. 대부분의 방법은 비대칭성을 안정적으로 줄이지 못했으며, 일부는 정확도에 상당한 비용을 지불하고 더 균형 잡힌 선택을 생성했다. 예를 들어, 한 활성화 조종 방법은 Qwen2.5-7B-Instruct의 명확한 결정에 대한 정확도를 98%에서 47%로 감소시켰다.

한 가지 접근 방식은 대칭적 견고성에 더 가까웠는데, 이는 '반사실적 사고 연쇄(counterfactual chain-of-thought)'로, 모델에게 후보자의 인구 통계학적 정체성을 바꾼 상태로 사례를 재고하도록 요청하는 방식이다. 테스트된 세 가지 모델 계열에 걸쳐 이 접근 방식은 모델이 올바른 결정을 포기하는 용이성의 격차를 줄이면서도 정확도를 크게 보존했다. 그러나 모든 비대칭성을 제거하지는 못했으며, 모호한 경우 모델은 여전히 소수 집단 후보자를 선호했다.

FairStress는 모델의 인구 통계학적 공정성이 단순히 동일한 최종 선택에 도달하는지 여부만으로 판단될 수 없는 이유를 보여준다. 모델은 인구 통계학적 정체성만 다른 동일한 시나리오의 두 버전에서 증거에 의해 가장 잘 뒷받침되는 후보자를 선택할 수 있지만, 한 버전에서는 더 쉽게 흔들리거나, 선택을 다르게 설명하거나, 다른 내부 활성화 패턴을 보일 수 있다. FairStress의 평등 중심 정의에 따르면, 공정한 행동은 어떤 인구 통계학적 그룹이 이득을 얻는지에 관계없이 동일한 기준을 적용하고 잘 뒷받침되는 결정을 일관되게 방어하는 것을 의미한다. 이 연구는 모델이 실제 환경에서 어떻게 행동하는지 더 잘 포착하는 평가를 구축하려는 목표를 반영한다. FairStress를 공개함으로써 연구자와 모델 개발자가 숨겨진 비대칭성을 진단하고, 제안된 수정 사항을 테스트하며, 더 일관되고 신뢰할 수 있는 결과를 생성하는 훈련 접근 방식을 개발하는 데 사용할 수 있기를 기대한다.