“24시간 꺼지지 않는 사이렌…인공지능으로 불법 유포물 자동 탐지”
서울기술硏, AI 디지털 성범죄 피해영상물 삭제지원시스템 개발
Ⅰ. 디지털 성범죄 피해 지원 현황분석 및 필요성
∎ SNS를 통한 디지털 성범죄 불법 자료 유통 및 확산 증가
∘ '21년 서울시 디지털 성범죄 시민감시단 운영 결과에 따르면 SNS 디지털 성범죄 신고 수 총 16,455건 중 불법 자료 유통 및 공유가 11,651건으로 가장 높은 비율(71%) 차지
※ 디지털 성범죄 피해자는 '18년 1,315건 ⇒ '21년 6,952건으로 급증(신고건기준)
∘ SNS를 활용한 디지털 성범죄 불법 자료의 전파 및 공유 속도가 빠름에 따라 불법 영상물 등에 대한 신속하고 정확한 삭제 작업이 요구됨
∘ '22년 3월 서울시는 ｢서울 디지털성범죄 안심지원센터｣를 설립하여 피해자를 지원하고 있으나, 핵심 기능인 피해영상물 추적 및 삭제 과정에서 절차적·기술적 한계를 보임
∎ AI 기반 디지털 성범죄 불법 자료 검색 및 삭제지원 자동화 기술 개발 필요
∘ 현재 디지털성범죄 안심지원센터에서 진행되는 검색, 판별, 삭제 과정은 다수의 인력과 많은 시간이 소요되는 수작업으로 진행되어 작업 효율성을 높일 수 있는 자동화 프로세스의 도입 필요
∘ 경찰청은 ｢피해영상물 추적시스템｣으로 불법 자료 검출을 진행하고 있으나, 영상정보만을 이용하여 안면인식 및 매칭하는 검색 방법은 관련 피해영살물 탐지범위 및 정확성에 제한이 있음
※ 정부 및 시민단체 주도로 디지털 성범죄 피해자를 지원하고 있으나, 피해영상물모니터링 및 삭제요청 작업 속도가 재확산 속도를 따라가지 못하는 상황
∘ 영상 판독 과정에서의 과도한 영상 노출로 인해 삭제지원 담당자의 스트레스 또한 심각한 수준으로 확인되어, 디지털 성범죄 피해자는 물론 직원의 심리적 고통 완화를 위한 기술적 지원 필요
Ⅱ. AI 기반 디지털 성범죄 분석 및 삭제지원 자동화 핵심기술
∎ 인공지능 데이터 융합분석 기술 활용 → 불법 자료 분석 및 삭제지원 자동화
∘ [As-Is] 현재 서울시 관련 부처에서 사용 중인 시스템의 경우, 피해자(신고자)가 신고 시, 관련 영상, 이미지, 개인정보 등을 활용하여 온라인 웹사이트에서 수기 검색 후 일치 자료 발견 시 해당 사이트에 삭제요청을 진행하는 방식으로 수행
∘ [To-Be] 디지털 성범죄물에 대한 육안 모니터링 및 수기 작업으로 인한 삭제지원 담당자의 정신적 부담을 최소화하기 위해, AI 기반 검색 자동화 시스템을 구축하여 불법 자료 검출 및 삭제지원 절차의 효율성을 극대화
∎ 24시간 모니터링 → 불법 자료 검색 시스템 효율화
∘ 디지털 성범죄 불법 자료는 1차 유포 자료를 삭제해도 타 웹사이트 및 SNS 등에서 여러차례에 걸쳐 재생산되고 추가 확산하는 위험 존재
∘ 불법 자료 추가 확산에 대한 선제 대응 시스템 구축이 요구되며, 수기 검색이 아닌 자동화된 모니터링 시스템을 구현하여 불법 자료가 온라인에 게재되거나 재확산될 시 빠르게 대응하는 기술적 지원 필요
∘ 이를 위해 담당자가 디지털 성범죄 불법 자료에 대하여 ‘24시간 모니터링’ 기능을 추가하여 별도의 검색 작업을 수행하지 않아도 정해진 시간마다 해당 자료에 대한 검색을 자동으로 진행하고, 유포물 발견 시 담당자에게 실시간으로 안내하는 절차 구축