분리된 공정 표현 학습을 위한 분포 대조

공정한 표현을 학습하는 것은 알고리즘의 공정성(fairness)을 달성하거나, 민감한 정보에 대한 비편향화(debiasing)를 실현하는 데에 중요하다. 대부분의 기존 연구들은 불변성을 주입하기 위해 적대적인 표현학습법에 의존하지만, 적대적 학습법은 상대적으로 불안정한 훈련과정을 겪는 것으로 알려져 있으며, 이는 데이터 표현의 공정성과 예측력 사이의 균형을 해칠 수 있다. 본 연구에서는 분포 대조적 변이형오토인코더를 통한 공정 표현 학습이라는 새로운 접근법 FarconVAE를 제안하며, FarconVAE는 데이터에 표현에 대한 잠재 공간이 민감 정보에 관한 부분과 비 민감잔여 정보에 관한 부분으로 분리되게끔 유도한다. 그 후, FarconVAE는 잠재표현들의 분포를 대조함으로써 비 민감 잠재벡터들끼리 가까워지도록 하면서도 민감 잠재벡터들끼리는 서로 멀어지게, 또한 민감 잠재벡터와 비 민감 잠재벡터들끼리도 서로 멀어지게 강제한다. 본 연구에서는 분포 대조 학습을 위해 가우시안(Gaussian) 커널과 스튜턴트-t(Student-t) 커널로부터 영감을 받은 새로운 종류의 대조 손실함수를 이론적인 분석과 함께 제안하며, 데이터 표현상의 분리를 더욱 증폭시키기 위해 새로운 교환-재구성(swap-reconstruction) 손실을 추가적으로 활용한다. 테이블, 이미지, 텍스트 등 다양한 정형/비정형 데이터들에 대한 공정성 평가, 사전학습 모델 비편향화, 도메인 일반화 실험들에서 FarconVAE는 우수한 성능을 보임을 확인하였다.