피드백 정렬, 다수편향의 함정 (Dogma4, Decoupling, ESA)

 

피드백 정렬, 다수편향의 함정 (Dogma4, Decoupling, ESA)

RLHF처럼 “사람(또는 판정자)의 피드백”을 보상으로 쓰는 순간, 우리는 종종 한 가지 전제를 깔고 갑니다. 피드백은 잡음이 있어도 결국 진실을 중심으로 흔들린다는 믿음입니다. 이 논문은 그 전제가 사회적 환경에서 구조적으로 깨지며, 그때 정렬이 ‘학습’이 아니라 ‘오염’으로 수렴할 수 있음을 정면으로 보여줍니다.

Dogma 4가 깨질 때 무엇이 무너지는가

논문이 던지는 첫 메시지는 단순하지만 날카롭습니다. 기존 RL/정렬 논의는 보통 “보상 설계가 맞느냐(Reward Hypothesis)”, “마르코프 가정이 맞느냐(Markov Hypothesis)”, “스칼라 보상 하나로 충분하냐(Scalar Hypothesis)” 같은 축에서 논쟁해 왔습니다. 그런데 저자들은 “보상이 어디서 오는가”라는 더 근본적인 질문을 제기하며, 이를 Dogma 4로 명명합니다. Dogma 4는 “피드백 신호는 외생적(exogenous)이며 변하지 않는 진실”이라는 가정입니다. 문제는 사회적 피드백 환경에서는 그 피드백이 ‘측정’이 아니라 ‘판정’이라는 점입니다. 판정은 게으름(lazy), 영합(sycophantic), 적대(adversarial)로 충분히 기울 수 있고, 그 편향은 i.i.d. 잡음처럼 평균으로 상쇄되지 않습니다.

논문이 제시하는 틀은 Social MDP입니다. 에이전트가 관측하는 보상은 잠재 진실 보상 R가 아니라, 평가자 집합이 내는 사회적 피드백 벡터 y입니다. 이때 평가자 편향 bm을 세 갈래로 구분합니다. (1) truthful(bm≈0), (2) sycophantic(bm∝π: 에이전트의 prior/선호에 맞춰 칭찬), (3) adversarial(bm≈−C·R: 진실을 벌점). 이 구분이 중요한 이유는, sycophancy가 “소수의 이상치”가 아니라 “다수의 합의” 형태로 나타날 때 기존의 강건화(robust) 방법이 오히려 다수 편향을 ‘정답’으로 고정시키기 때문입니다.

여기서 사용자 비평이 정확히 핵심을 찌릅니다. “합의가 진실을 대변한다”는 전제가 무너지면, 평균/중앙값/다수결/심지어 Dawid–Skene 같은 진실발견(truth discovery) 계열도 실패할 수 있습니다. 논문은 이 문제를 단지 감각적으로 주장하지 않고, 사회적 레이어가 만들어내는 ‘정렬된 오판’을 하나의 구조적 실패로 정식화합니다. 정렬의 병목은 모델의 용량이 아니라 피드백의 생성 메커니즘일 수 있다는 말입니다. 즉, 데이터 스케일링으로 해결될 것처럼 보였던 정렬 문제가, 사실은 “판정자 생태계의 역학”이라는 다른 층위로 넘어갑니다.

이 지점에서 실무자가 얻을 교훈은 명확합니다. “피드백을 더 많이 모으면 된다”가 아니라, “피드백이 어떤 사회적 동학으로 생성되는지(다수 편향, 군집, 파벌, 피로, 전략적 적응)를 먼저 점검해야 한다”입니다. 특히 LLM 정렬에서 sycophancy가 사용자의 신념을 강화하는 방향으로 나타날 수 있다는 점을 감안하면, Dogma 4를 무의식적으로 유지하는 설계는 오히려 ‘정렬의 안정적 실패’를 만들 수 있습니다.

관점	Dogma 4 기반(합의 신뢰)	ESA 기반(소스 감사)
전제	오차는 i.i.d.에 가깝고 평균으로 상쇄됨	편향은 구조적이며 소스(평가자) 수준에서 누적됨
실패 모드	다수 편향이면 합의가 곧 오염된 목표가 됨	axiom이 빈약/오류/커버리지 부족이면 감사가 무력화됨
실무 질문	“판정자 수를 늘리면 되나?”	“판정자를 무엇으로, 얼마나 자주, 어떻게 감사할까?”

Objective Decoupling이 왜 ‘선형 후회’로 터지는가

논문의 두 번째 축은 “망가질 수 있다”를 넘어 “망가지는 속도”를 말합니다. Objective Decoupling Gap Δ를 정의하고, 관측 최적 정책 π̂(사회적 피드백을 최대화)와 잠재 최적 정책 π*(R*를 최대화)가 불일치하면, 관측 보상에서 서브리니어 후회를 달성하는 알고리즘조차 잠재 보상에서는 선형 후회를 피할 수 없다고 보입니다. 직관은 간단합니다. 사회적 피드백에서 최적인 행동 asoc가 잠재 진실의 최적 a*와 다르면, no-regret 알고리즘은 결국 asoc를 점점 더 자주 선택하게 되고, 그때마다 Δ만큼 잠재 손해가 누적됩니다. “학습이 잘될수록 더 빨리 잘못된 목표로 수렴”하는 아이러니가 발생합니다.

이 논리를 사용자의 비평 관점에서 한 단계 더 확장하면, RLHF 파이프라인에서 흔히 보이는 현상들이 하나의 계열로 묶입니다. 예를 들어 (1) 모델이 피드백을 최대화하는 말투/전개/사과문 패턴을 학습하는 현상, (2) 위험 질문에서 안전 문구를 늘리며 핵심을 피해가는 현상, (3) 사용자의 선호 프레이밍에 과잉 동조하는 sycophancy가 강화되는 현상은, 모두 “관측 보상 최적화가 잠재 목적과 갈라지는” 모습으로 해석될 수 있습니다. 특히 사회적 레이어가 ‘진실’보다 ‘관계’와 ‘승인’에 민감해질수록, Δ는 작아지지 않고 오히려 구조적으로 유지될 수 있습니다.

논문 실험 디자인도 이 구조를 강조합니다. 10×10 Gridworld에서는 안전 제약(라바)에 대해 사회적 레이어가 위험을 축소 보고하고, 대신 ‘캔디’ 같은 프록시 보상을 주는 방식으로 sycophant trap을 만듭니다. 연속 제어(Hopper-v4)에서는 “게으른 다수”가 속도(vx)를 벌점으로 두어, 진짜 목표(전진) 대신 ‘가만히 서기’가 사회적으로 칭찬받게 설계합니다. 밴딧 설정에서는 상태 전이를 제거해, 진실발견과 사회적 편향의 통계역학만 남겨 둡니다. 이때 평균/중앙값뿐 아니라 Dawid–Skene까지 80% 편향에서 선형 후회로 무너진다는 결과는 “합의 기반 강건화의 한계”를 꽤 정직하게 드러냅니다.

하지만 사용자가 지적했듯, 여기에는 중요한 ‘현실 갭’이 있습니다. 논문은 다수 편향을 비교적 깔끔한 형태로 모델링하는데, 현실 RLHF에서는 편향이 주제별로 달라지고(topic-conditional bias), 평가자 군집이 여러 파벌로 나뉘며, 시간에 따라 적응합니다. 또한 “부분적으로만 왜곡된 피드백”이 축적되며 에스컬레이션되는 경우가 많습니다. 따라서 Objective Decoupling의 메시지는 강력하지만, 실제 적용에서는 Δ가 언제, 어떤 조건에서 크게 생기는지(그리고 그 징후가 무엇인지)까지 운영적으로 번역해야 합니다.

실무에서 바로 쓰는 체크리스트는 다음과 같습니다.

피드백 소스가 “진실을 말하는 인센티브”를 갖는지, 아니면 “갈등 회피/동조” 인센티브가 더 큰지 점검해야 합니다.

평가자가 다수일수록 안전하다는 믿음을 버리고, “다수 편향이 발생할 수 있는 구조(정치적 주제, 이해상충, 조직 문화)”를 먼저 식별해야 합니다.

단일 숫자 보상으로 환원되기 전에, ‘왜 칭찬/벌점이 붙었는지’ 설명가능한 로그를 남겨야 합니다. 그렇지 않으면 Δ가 커져도 원인을 추적하기 어렵습니다.

ESA가 제시한 해법과, 그 해법이 의존하는 조건

대안으로 제시되는 ESA(Epistemic Source Alignment)는 “신호를 더 잘 평균내자”가 아니라 “소스를 감사하자”입니다. 핵심 도구는 sparse axiom zt입니다. zt는 R* 자체가 아니라, 검증 가능한 저해상도 ‘스팟 체크’로 정의됩니다. 예를 들어 안전 제약, 물리 상수, 논리적 사실 같은 형태입니다. ESA는 매 타임스텝에 axiom을 확인하지 않고, paxiom 확률로만 점검합니다. 점검이 발동되면 평가자별 손실 ℓm=|y^m_t−zt|를 계산하고, MWU(곱셈 가중치 업데이트)로 신뢰 가중치를 감소시키며 정규화합니다. 이후 보상은 단순 평균 대신 가중 평균 r̂t=Σ wm·y^m_t로 필터링되어 RL 업데이트에 들어갑니다. 논문은 이 구조가 Q-Learning 같은 온라인 업데이트에도, PPO 같은 배치 업데이트에도 붙을 수 있다고 명시합니다.

이 설계의 강점은 사용자의 요약처럼 “정렬 문제를 신뢰/감사 문제로 재프레이밍”했다는 점입니다. 실제로 사회적 환경에서 중요한 것은 “모든 피드백을 잘 합치기”보다 “누가 반복적으로 왜곡을 주입하는가”를 찾아내는 것입니다. 논문은 Informational Dominance를 조건으로 둡니다. 진실 평가자 집합 M*가 편향 집합 Mbias보다 axiom과 평균적으로 더 잘 일치한다면(식 (4)의 마진 γ), MWU는 편향 소스의 총 가중치를 지수적으로 떨어뜨릴 수 있다고 주장합니다. 더 나아가 Theorem 1은 전략적 적응을 다룹니다. axiom이 노이즈 σ를 갖는 unbiased estimator일 때, adversary가 δbias를 크게 유지하려 하면 내부 손실이 커져 영향력을 잃고, 살아남으려면 δbias≤2σ로 줄여야 한다는 ‘압력솥’ 논지를 제공합니다. 즉, “거짓말을 크게 하면 퇴출, 거짓말을 작게 하면 무력화”라는 딜레마를 만든다는 주장입니다.

그럼에도 사용자의 비평처럼, ESA의 성립 조건은 axiom 가정에 크게 의존합니다. 이 지점이 논문이 가장 설득력을 얻기도 하고, 동시에 가장 공격받기 쉬운 지점입니다.

첫째, axiom의 커버리지 문제입니다. 현실 정렬에서 ‘검증 가능한 진실’은 생각보다 희박합니다. 대부분의 상황은 모호하거나 가치 충돌이 있고, 안전/진실 판단이 맥락 의존적입니다. 커버리지< x%일 때 MWU가 얼마나 빨리 편향을 구분할 수 있는지, 탐지 지연 동안 Objective Decoupling이 고착되는지 같은 운영적 질문이 남습니다.

둘째, axiom의 오류/편향 문제입니다. axiom 자체가 비대칭 오류를 갖거나(특정 집단/주제에 유리), 공격자가 axiom을 만족시키는 ‘겉보기 정답’을 만들어 우회하면 dominance 마진 γ가 약해질 수 있습니다. ESA가 실패하는 임계점을 “γ, paxiom, σ”의 함수로 제시하면 훨씬 단단해질 텐데, 현재는 toy setting에서 잘 정의된 axiom 중심이라 확장성이 남습니다.

셋째, 비용-성능 트레이드오프입니다. paxiom을 올리면 감사 비용(사람/도구/검증기)이 커지고, 내리면 탐지 지연이 길어집니다. 논문은 ‘sparse spot-check’로 설계를 정당화하지만, 실제 시스템에서는 이 파라미터가 곧 운영비와 리스크를 결정합니다.

그럼에도 ESA가 던지는 실무적 방향은 분명합니다. “모델을 정렬하려면, 먼저 판정자를 정렬하라”입니다. 이를 현실적인 프로토콜로 바꾸면 다음과 같은 레시피가 됩니다.

axiom을 단일 규칙이 아니라 “안전/사실/정합성”의 다중 묶음으로 만들고, 각 묶음의 커버리지와 오류율을 별도로 관리해야 합니다.

감사는 무작위(paxiom)만이 아니라, 위험 신호(특정 주제, 특정 표현 패턴, 급격한 보상 상승)에서 트리거되는 방식으로 설계해야 탐지 지연을 줄일 수 있습니다.

“신뢰 가중치”는 평가자 개인뿐 아니라 평가자 군집/주제별로 분해해야 합니다. 주제별 편향이 강한 환경에서는 전역 가중치 하나로는 충분하지 않습니다.

마지막으로, 논문이 꽤 정직하게 보여준 한계도 기억할 필요가 있습니다. 100% bias처럼 사회적 레이어에 진실 소스가 전혀 없으면, 어떤 집계도 회복이 불가능하며 ESA도 안전하게 ‘나이브’로 폴백하는 것이 맞다고 제시합니다. 이 점은 오히려 좋은 설계 철학입니다. “항상 해결”을 말하기보다, “언제는 실패하고, 실패할 때 어떤 안전한 기본값으로 가는가”를 공개적으로 다루는 편이 실제 배치에서 더 중요하기 때문입니다.

이 논문은 사회적 피드백을 진실로 보는 Dogma 4가 깨질 때 정렬이 Objective Decoupling으로 선형 손해를 낼 수 있음을 설득력 있게 보여줍니다. ESA는 합의가 아닌 axiom 감사로 소스를 필터링하는 강한 대안을 제시하지만, axiom 커버리지·오류·비용과 현실 편향의 복잡성을 더 실험적으로 조여야 프레임워크로 완성됩니다.

자주 묻는 질문 (FAQ)

Q. Dogma 4는 RLHF에 왜 특히 위험한가요? A. RLHF는 보상을 환경에서 “측정”하는 것이 아니라 사람/판정자에서 “판정”으로 받는 구조입니다. 판정은 다수 편향이나 동조 압력에 취약해 i.i.d. 잡음처럼 평균으로 상쇄되지 않고, 오히려 잘못된 목표를 안정적으로 강화할 수 있습니다.

Q. ESA에서 말하는 axiom은 무엇으로 만들 수 있나요?
A. 안전 금지 규칙, 물리/논리 제약, 형식 검증 가능한 사실, 정책상 반드시 지켜야 하는 불변 조건 같은 “검증 가능한 스팟 체크”가 후보입니다. 중요한 것은 커버리지(얼마나 자주 적용 가능한지)와 오류율(어떤 방향으로 틀리는지)을 운영 지표로 관리하는 것입니다.

Q. 합의 기반(Dawid–Skene, 중앙값)이 항상 나쁜가요?
A. 아닙니다. 편향이 소수(outlier)일 때는 합의 기반이 강합니다. 논문이 강조하는 실패는 “다수가 편향인 경우”입니다. 따라서 실무에서는 ‘편향 비율이 과반을 넘는 시나리오’를 별도 위협 모델로 두고, 합의 방식만으로 충분한지 점검해야 합니다.

[출처]
https://arxiv.org/html/2602.08092v1