셰도우 핀즈의 테오즈, 제로섬, 듀, Better가 지난 6월 8일부터 9일까지 필리핀 마닐라에 다녀왔습니다. 아시아·태평양 지역 의 디지털 권리 수호를 위한 컨퍼런스 DRAPAC(Digital Rights Asia-Pacific)의 세션 운영과 행사 참여를 위해서 였는데요, 저희 프로그램은 물론 다른 그룹의 세션들도 모두 보석같은 의제와 뜨거운 에너지를 가진 사람들로 가득했습니다. 올해 5월에 잠비아에서 예정되있던 RightsCon의 행사 취소 직후 심사 통과와 참여확정의 반가운 소식을 들려줬던 드랙팩인만큼, 저희는 기대가 컸고 결과는 기대이상이었습니다. 덕분에 확장된 시야와 문제의식, 국제적 연대감, 새로운 친구들을 얻고 한국으로 돌아올 수 있었어요.  저희가 배운 빛나는 활동의 자산들을 다른 여성들과도 한국어로 나눌 수 있으면 좋겠다는 바램으로 후기를 남기고자 하며, 1편 부터 시작해보겠습니다.         

 

AI를 탑재한 아시아의 사법부: 법원의 AI 활용을 다시 그려보기 From Judiciary to Judic(AI)ry: Reimagining the Use of AI in Courts

발표 패널

셰비에라 다르마디야 Shevierra Danmadiyah, Indonesian Institute for Independent Judiciary (LeIP)

도나 메튜 Dona Mathew, Digital Futures Lab (DFL)

레슬리 C Leslie C, Judicial Reform Foundation (JRF)

운영 단체 

LeIP (Indonesia), JRF (Taiwan), and DFL (India)

세션 주제 요약 

사법부의 AI 활용은 전 세계적으로 증가하고 있습니다. 아시아태평양 지역에서는 인도네시아, 대만, 인도 등 여러 국가가 이미 사법 시스템에 AI를 도입하고 있습니다. 이들 국가에서는 사건 간 유사성 탐지, 판결문 초안 작성, 사건의 재판부 배당, 양형을 위한 데이터 및 경향 분석, 판결문 번역 등 다양한 방식으로 AI가 활용되고 있습니다.

이러한 사법부의 AI 활용이 가져다주는 기대효과에도 불구하고, 유엔 법관 및 변호사의 독립성에 관한 특별보고관 마거릿 사터스웨이트는 다음과 같은 여러 우려를 제기했습니다. 

첫째, 편향되고 대표성이 부족한 데이터에 기반한 AI 운영으로 인한 차별적 결과의 발생, 둘째, AI 시스템의 설계·학습·배포 과정에서 민간 기업의 영향력 행사로 인한 사법부 독립성 침해, 셋째, AI가 태생적으로 갖고 있는 ‘블랙박스’의 특성 때문에 실제 AI 내부에서 추론이 어떻게 작동하는지 제대로 설명할 수 없게 되는 문제.  이는 결국  사법부의 투명성과 책임성에 직접적인 영향을 미칩니다. 사법부가 이러한 우려들을 해결하지 않은 채 시스템 내 AI 개발을 계속 추진한다면, 이는 사법 정의의 미래를 위협할 수 있습니다. 궁극적으로 이는 공정한 재판을 받을 권리와 그 외 인권 원칙들을 위태롭게 할 수 있는데, 이러한 권리와 원칙은 행정부와 입법부가 인권을 침해할 때 민주주의의 최후 보루인 사법부가 마땅히 수호해야 할 것들입니다.

이번 패널 토론에서는 시민사회단체와 연구자들이 함께 모여, 아시아태평양 국가 법원의 AI 활용 실태와 법원의 AI 도입이 가진 기회와 잠재적 위해, 그리고 사법부가 인권을 존중하는 AI 설계를 추진하도록 이끌어낼 수 있는 향후 연구 및 옹호 활동 방안에 대한 주제들을 논의할 예정입니다.

 

이 세션은 첫째날 오전 11시반에 Room 4에서 진행되었고 테오즈와 제로섬이 참석했습니다. 올해 4월 한국 사회에서는 광진구청 소속의 한 주무관이 모든 법령을 MCP(Model Context Protocol) 서버로 만들어 오픈소스로 공개했었죠. 또 대법원은 AI 정책을 전담할 ‘사법인공지능심의관’을 신설했고, 법원행정처는 판례·법령·문헌을 종합 검색해주는 ‘재판지원 AI 시스템’을 시범 운영했습니다. 한국 또한 AI를 사법부에 적용하는 일에 뛰어들기 시작한 것인데요, 몇년 앞서 더 넓은 영역에서 빠르게 AI를 사법시스템에 적용했던 인도네시아, 인도, 말레이시아, 브라질에서는 어떤 일이 있어나고 있었을까요? 한국도 머지 않아 곧 겪게된 비슷한 어두운 미래의 문제라고 생각하며 읽어주시면 감사하겠습니다.   

 

첫 번째, 셰비에라 다르마디야 Shevierra Danmadiyah (LeIP)

 

LeIP는 25년 이상 인도네시아의 법률 및 사법 개혁을 위해 연구, 옹호 활동, 판결문 공개사업, 그밖에도 다양한 이해관계자들과의 협력을 진행해온 단체라고 합니다. 다음은 셰비에라씨가 소개해주신 인도네시아 대법원 내 두가지 AI 기반 프로그램입니다. 

Early Case Detection (조기 사건 탐지)

기능: 인도네시아 전국 모든 법원의 사건 추적 정보 시스템(Case Tracking Information System/SIPP) 간 연계를 활용하여, 서로 유사하고 관련성이 있는 사건들을 탐지함.

목적: 판견들 간의 편차와 불일치를 최소화함.

비고: 개발 과정에서 충분한 공개 의견수렴이 이루어지지 않았음. 사건 간 유사성/비유사성을 판단하는 기준(파라미터)이 마련되어 있지 않았음. 해당 프로그램에서,  특정 사건에 사용되었다는 정보가 소송 당사자나 일반 대중에게 제공되지 않았음.

SMART Majelis (스마트 재판부) 

기능: 판사의 자격, 역량, 업무량을 기준으로 재판부(합의부) 구성을 자동으로 선정함.

목적: 부패 사건을 줄이고, 업무량 불균형을 완화하며, 재판부 선정 과정의 객관성을 높임.

비고: 개발 과정에서 충분한 공개 의견수렴이 이루어지지 않았음. 소송 당사자나 일반 대중 모두 해당프로그램에 사건이 사용되었다는 사실을 통보받지 못했음.

셰비에라씨는 위 프로그램들이 개발 의도는 좋았으나 과정이 충분히 윤리적이지 않았고 결과적으로 ‘비고’에 있는 이유들로 인해 본래의 목적을 달성하지 못하는 하자가 있었다고 짚었습니다. 또, AI는 사법기관 그 자체를 대체할 수 없고, 인권 원칙간의 균형을 맞추는 도구로 남아야 한다는 자신의 견해를 분명히 밝히셨습니다. 또 인권 실현의 의무 이행자인 사법기관은 권리보유인 당사자들의 권리를 보호 및 존중하고 실현할 책임이 있으며, 독립성/공정성/성실성/평등성/근명성/책임성을 잃지 말아야 한다는 원칙을 고수해야 함을 강조하셨습니다. AI 기술적용으로 인해 사법부의 이 원칙이 약해지고 흔들린다면 그 기술은 안쓰니만 못한 것이 되고 말겠죠.  그렇다면 인도의 상황은 어떨까요?  성공적으로 AI를 탑재했을까요?  

도나 메튜 Dona Mathew, Digital Futures Lab (DFL)

도나 메튜씨가 속한 디지털 퓨처스 랩(Digital Futures Lab, DFL)은 인도를 기반으로, 기술과 사회 간의 복잡한 상호작용을 다루며 , 대중 참여(public engagement)를 활용하여 AI 등 기술이 지역사회에 미치는 영향을 살피는 독립연구단체입니다. 

도나씨는 AI 적용에 있어 몇가지 효과가 있을 기회요소를 먼저 짚습니다. 문서 업무량 경감, 번역,  요약, 속기(transcription)에서는 AI를 적용할 만 한다는 말인데요. 인도의 언어체계와 악센트 및 방언의 다양성 때문에 그대로 속기하는데 어려움이 있다고 하고 또, 속기사 수급에 있어 인력부족 문제도 있다고 하네요. 하지만 이 장점들보다 더 많은 우려를 실제 사례 기반으로 도나씨는 청중에게 소개해주셨습니다. 

가장 치명적인 결함으로는 ‘할로시네이션 (환각, Hallucination)’의 문제가 있습니다. 작년 인도에서 한  1심 법원 판사가 존재하지 않는 판례를 인용해서 내린 판결이 문제가 되었고 피고측 변호인이 이의를 제기한 사건이 있었고, 이러한 사례들이 점점 늘고 있다고 합니다. AI의 오류 혹은 과잉 권한으로 인해 발생하는 이런 대형사고는 유사한 형태로 다른 아시아 국가에서도 일어나고 있습니다. 

• 1. 판결문에서는 “여기 도움이 될 만한 판결이 있습니다” 같은 챗지피티 특유의 문장이 그대로 들어가 있는 것이 발견되, 항소심에서 이 추론이 인간이 한 것이 아니라는 것을 근거로 판결이 뒤집힌 적도 있습니다. (아르헨티나)
• 2. 마약 소지 사건에서 변호인이 AI가 권고한 형량이 비정상적으로 높다고 주장한 사례 (말레이시아)
• 3. 판결문 작성 보조 AI 도구 “Galileu”를 유리한 결과를 얻기 위해 조작한 사례 (브라질)

특히 인도는 추가적으로 아래와 같은 문제가 있어 사법부에 대한 AI 도입이 성공했다고 보기 어렵습니다.

 

• 1. AI 시스템 조달 절차가 매우 비공식적이고 문서화되어 있지 않아 책임에 큰 공백 발생 
• 2. 기술에 관심있는 일부 판사에 의해 주도되서 이 판사가 퇴직하면 그 과정이 멈추고, 공통 정책에 기반한 것이 아니기 때문에 체계적으로 이해되고 있는 과정이라 보기도 어려움 
• 3. 대부분의 도입 사례들은 대체로 시범적이다. 예산확보도 제대로 되어 있지 않다. 그래서 법원은 민간부문이 제공하는 도구를 선호하게 된다. 
• 4. 인도 내부에는 AI를 평가하거나 감독할 기술적 전문성이 없음.
• 5. 인도 내 판사들의 업무 과부하와 컴퓨팅 인프라도 미비함. 아직도 페이퍼 업무 많이하고 있고, 많은 자료들이 머신러닝을 처리 할 수 있는 형태가 아닙니다.  

 

인도내에서도 이를 해결하기 위해 AI 활용에 관한 백서(white paper)를 발표하거나, 고등법원에서 특정 영역에서 아예 AI활용 구역을 정하거나 금지하는 방식을 시도하고 대법원이 AI 규정초안을 발표하고 있기도 합니다. 도나씨는 여기서 더 나아가 AI에 대한 ‘생애주기(life cycle)’ 접근 방식을 제안하고자 합니다. 즉 AI를 단순히 설계나 개발 단계에서만 고려할 것이 아니라, 도입되고 유지·관리되는 전체 과정을 보면서 피드백하고 감독하며 관리자들또한 교육시켜야 한다는 것입니다. AI가 도입된 이후에는, 문제가 발생했을 때 이를 공급업체나 개발자에게 알려 무엇이 잘못되었는지 파악할 수 있는 피드백 체계가 마련되어야 함은 물론, 사용자들은 시스템이 도입된 이후에도 지속적인 교육을 받아야 하며, AI 사용 여부를 투명하게 공개해야 하는 것이죠.  그리고 배포 이후에는, 사건을 보고할 수 있는 구체적인 창구, 성능에 대한 감사(audit), 그리고 문제 해결을 위한 책임 체계가 마련을 주장하고 있습니다. 

 

이상한 AI는 이상한 데이터를 먹고자란 것이고, 그 데이터는 인간이 가진 편향성, 차별과 혐오를 반영하기 마련입니다. 이른 자연발생적으로 소거할 수 있는 방법은 없으니 윤리적 AI를 이해하는 전문가들, 인간의 감독(human oversight)이 이로인한 사건사고를 예방하기 위해 필수적임을 도나씨는 강조하며 마지막으로 소송 당사자들에게 해당 시스템에 참여하고 싶지 않을 경우 거부(opt-out)할 수 있는 선택권도 제공해야 한다고 짚습니다. 

 

레슬리 씨 Leslie C, (JRF)

 

레슬리씨가 소속된 Judical Reform Foundation은 입법 옹호(legislative advocacy), 기관 모니터링(institutional monitoring), 대중 법률 교육(public legal education), 그리고 개별 사건 추적(individual case tracking)을 주요 골자로 활동하는 대만 기반 단체입니다. 

대만의 경우 반도체 사업 등 기술적으로는 진일보한 것처럼 보여도, AI  윤리와 책임을 위한 거버넌스 측면에서는 인도네시아 등 다른 아시아태평양 국가들과 비교했을때 지체되어 있다고 합니다. 레슬리씨는 이러한 관점으로 대만정부의 디지털 권리 장전(Digital Bill of Rights)을 상세히 분석하고 있어요. 비록 이 권리 장전이 실제 대만의 AI 법률에는 반영되지 않았고 해당 법은 산업발전과 AI 도입에 더 집중하고 있지만, 실제 시행까지 2년의 유예기간이 있기 때문에 각 부처의 하위법령이 마련되기 전까지 세부적으로 다듬고 살펴볼 시간은 있다고 합니다. 권리장전(DBR)은 10개 조항으로 구성되어 있으며, 개인정보 보호, 응용 프로그램, 자동화 시스템, 민주적 참여 등을 다루고 있습니다. 

또, 레슬리씨는 대만이 실제로 사법업무에 도입중인 AI 기술 두가지를 소개하며 관련 우려점과 한계를 짚어 주셨어요. TMT5 라는 AI 보조 판결문 작성 시스템과 법무 전용 대형언어모델입니다. 

TMT5 AI 보조 판결문 작성 시스템

판사가 판결문을 작성하는 것을 돕는 도구로, 2021년에 법원 시스템에 도입되었습니다. 주로 음주운전 사건처럼 기준이 구체적이고 양상이 반복적으로 정형화되어 있는 사건에는 도움이 될 수 있겠으나 다른 민형사 사건에는 적용하기 어렵습니다. 아직까지 매우 불투명하고 모호한 시스템이라고 합니다. 

더욱 문제인 것은 이 시스템의 학습 데이터의 기간이 2013년부터 2021년까지로만 되어 있는데 2021년 이후로 현재까지 가짜뉴스 방지법, 성평등법같은 중요한 인권 관련 법안 신설안들이 이 데이터에서 빠져있다는 점에 있습니다. 게다가 대부분의 입력데이터는 검사의 공소장 데이터에 크게 의존해, 변호인이나 피고인 측 자료가 제대로 반영이 안되고 있습니다. 만약 공소장에 사실 오류가 있다면, AI는 이를 그대로 재생산하고 환각(hallucination)을 일으켜 오류를 비례적으로 축소시킬 수 있습니다. 사실, 독립적인 사실 검증(fact-checking) 절차는 존재하지 않습니다. 그 외에도 국민참여재판의 음성기록 파일이 제대로 관리되고 있지 않은 문제도 있습니다. 

대만 최초의 사법 분야 거대언어모델 “법무 전용 대형언어모델(法務專屬大型語言模型)”

드랙팩의 이 세션이 있기 며칠 전에 대만 정부에 의해 발표된 이 LLM 모델은 민간에서 그 작동 원리나 데이터를 알기 어려우나, 이 모델의 첫 번째는 기본 구조(PR structure), 두 번째는 핵심 브랜드로서 시민용 모델이라고 알려져 있습니다. 가장 상위에는 응용 서비스 계층이 있는데, 여기에는 검찰 업무, 보호관찰 지원, 강제집행 문서 작성을 위한 DIY 기능, 그리고 법률·입법 분석 AI가 포함됩니다. 듣기에는 훌륭한 말들이지만, 동일한 문제가 여전히 우려되고 있습니다. 이것이 실제로 실행에 옮겨질지, 그리고 데이터베이스가 대중에게 공개될지는 현재로서는 알 길이 없다고 하는데, 레슬리씨의 단체 같은  NGO는 계속 시도중이나 모니터링이 매우 어렵다고 합니다. 사법원에서 AI 양형시스템을 조달하고 있다고도 하는데 그 과정은 놀랍도록 모호하고 불투명한 상태입니다. 

여기까지가 각기 다른 국가에서 온 세 패널의 발표였습니다. 어떠셨을까요? 저는 사법부가 AI를 활용할 수 있는 영역을 엄격이 제한시켜야 한다는 문제의식이 생겼습니다. 문서업무, 속기, 번역, 법령과 판결문 기록 관리 정도일 것입니다. 그러나 정형화 되기 힘든, 특히 성범죄 사건처럼 맥락적이고 종합적 판단을 해야 하는 사건은 여전히 인간의 비판적 사고를 포기하면 안되는 부분임을 명확히 해야 할 것입니다. 기계인 AI에게는 자율성도 영혼도, 자유의지도 없습니다. 문맥파악, 약자의 관점과 입장을 생각하는 윤리적 태도, 정의와 평등에 대한 감각은 전문적으로 훈련된 인간의 몫이기 때문입니다. 이 점에 대해서 저는 향후 한국도 긴 싸움이 시작되었다는 어두운 생각을 하게 되었습니다. 

 

첫번째 후기는 이것으로 마치고자 합니다. 관심있는 분은 다음편도 함께해주세요!