과학기술정보통신부는 11월 26일 피스앤파크컨벤션(서울 전쟁기념관)에서 국내를 대표하는 인공지능 분야 대기업?신생기업, 연구자 등 200여명이 참여하는 가운데, ‘인공지능 신뢰?안전성 학술회의’를 개최했다.

그간 과기정통부는 ‘국가 인공지능 윤리기준’을 토대로, 제3의 전문기관을 통한 민간자율 ‘인공지능 신뢰성 인증’ 지원, ‘생성형 인공지능 잠재적 위험성 취약점 발굴 경진대회(AI레드팀 챌린지)’ 개최, 국제 인공지능 규범가치(안전?혁신?포용)에 대한 합의를 이끌어낸 ‘인공지능 서울정상회의’의 성공적 개최, ‘국제 인공지능 안전연구소 협력망’ 참여, 인공지능 안전연구소 출범 등 지속가능한 인공지능 혁신생태계 조성을 뒷받침하기 위해 인공지능 신뢰?안전성에 대한 정책적 지원을 강화하고 있다.

이번 학술회의에서는 최근 국제적 차원에서 강조되고 있는 인공지능 신뢰?안전성 관련 기술?정책 동향을 공유하고, ’24년 정부지원 연구결과물의 주요성과와 민간의 이행현황을 점검하며, 국내 인공지능 신뢰?안전성 확보의 우수사례를 선정?확산하기 위한 목적으로 개최됐다.

이번 학술회의 행사는 크게 4가지 주제로 진행됐다.

인공지능 분야 세계적 석학인 몬트리올대 요슈아벤지오 교수는 기조강연에서 “인공지능안전 확보를 위한 정책과 과학의 중요성을 강조하며, 최첨단 인공지능 모형의 위험에 대한 효과적인 관리를 위해 국내법-국제협약간의 상호조화가 필요하다”고 했다. 또한, “과학측면에서는 인공지능 모형의 정렬과 통제가 중요쟁점으로, 정량적으로 측정가능한 인공지능 모형의 위험평가, 위험관리기술 확보를 위한 정부지원 확대와 인공지능 안전연구소의 역할이 필요하다”고 강조했다.

이어진 두 번째 기조강연에서 한국과학기술원(KAIST) 오혜연 인공지능 연구원장은 국제사회의 인공지능 패권 경쟁 동향을 공유하고, 전략자산으로서 인공지능의 중요성을 강조했다. 아울러, 인공지능 기술의 언어?문화적 포용성, 격차 문제 등 글로벌 사회에 미치는 영향을 소개하고, 인공지능 안전분야 신시장 창출과 기업 경쟁력 확보관점에서 인공지능 안전 정책의 추진전략을 소개했다.

최근, 국내업계에서도 인공지능 신뢰?안전성 확보를 위한 기술개발과 평가기법, 데이터셋 구축 등 다양한 연구가 진행되는 가운데, 튜닙 박규병 대표는 ‘인공지능 안전장치(가드레일) 해결책을 활용한 다양한 형태의 위험탐지 및 대응방안’을 소개했고, 포티투마루 김동환 대표는 ‘인공지능 신뢰성 인증(한국정보통신기술협회) 획득 등을 통한 자사 생성형인공지능 모형(LLM) 신뢰?안전성 확보사례’를 주제로 발표했다.

지난 5월에 개최된 ‘인공지능 국제 토론회(AI글로벌포럼)’에서 국내?외 14개 기업은 ‘인공지능 서울기업서약’에 참여하여 책임있는 인공지능 개발?활용 보장 등에 대한 자발적 이행을 약속한 바 있다.

이날 학술회의에서는 ‘인공지능 서울기업서약’에 참여한 국내 6개 기업이 모두 참여한 가운데, 안전하고 신뢰할 수 있는 인공지능을 개발하기 위한 위험 관리방안 수립, 기술 연구, 내부 협치체계 마련 등 각사의 이행현황을 공유했다.

앞으로도 6개 기업은 자사가 제공하는 인공지능 제품?서비스와 관련된 책임을 깊이 인식하고, 향후 인공지능 신뢰?안전성 확보를 위한 노력을 더욱 강화해 나갈 것을 약속했다.

올해 4월, 인공지능 연구자?대학생?일반시민 등 1,000여명이 참여하여 국내 인공지능 기업 4개사(네이버?SKT?업스테이지?포티투마루) 생성형 인공지능 모형(LLM)을 대상으로 잠재적 위험?취약점(유해정보, 편견?차별 등)을 발굴하는 ‘생성형 인공지능 취약 위험성 발굴 경진대회(레드팀 챌린지)’ 행사를 개최한 바 있다.

이날 학술회의에서 한국정보통신기술협회(TTA)는 대규모 참여자의 공격시도를 분석하여 식별된 7가지 분야 주요위험과 다양한 공격기법(거부무력화, 혼동유도)을 소개했다.

과기정통부는 취약점·위험성 발굴 경진대회(레드팀) 챌린지 결과를 활용하여 생성형 인공지능 안전 체계를 구축해 나가고, 국내기업이 자사 생성형 인공지능 모형의 잠재위험을 사전에 파악하여 신뢰?안전성을 확보할 수 있도록 지원할 계획이다.

인공지능 신뢰성의 중요성과 인식을 업계 전반에 확산하고, 우수 인공지능 제품·서비스에 대한 홍보를 지원하기 위한 목적으로 ‘제2회 인공지능 신뢰성 대상’ 시상식을 개최했다.

인공지능 분야 산·학·연 전문가로 구성된 심사위원회(위원장 : 한국과학기술원'KAIST' 오혜연 인공지능 연구원장)는 접수된 총 41개의 인공지능 제품·서비스를 대상으로 ①신뢰성·품질 이해 및 방침 적용수준, ②신뢰성·품질수준, ③신뢰성·품질 관리 우수성, ④시장성 등을 종합적으로 평가한 결과, 총 8개의 인공지능 제품?서비스가 선정됐다.

대상은 다비오가 개발한‘다비오 어스아이2.0’가 수상했으며, ‘신뢰할 수 있는 인공지능 개발안내서’에 기반하여 자체적인 데이터 품질관리 절차를 수립?적용하여 높은 평가를 받았다.

송상훈 과기정통부 정보통신정책실장은 “정부가 지속적으로 추진해 온 인공지능 신뢰?안전성 정책의 노력에 호응하여, 최근 산업계?학계에서도 인공지능 신뢰?안전성 전담조직 설치와 투자 확대 등 자발적인 노력이 확대되고 있다.”고 강조하며, “민간자율에 기반한 책임있는 인공지능 개발?활용 문화가 확산될 수 있도록 정책 지원을 강화하는 한편, 첨단 인공지능으로 인한 잠재적 위험에 대비하여 인공지능 안전연구소를 출범하고 국가차원에서 체계적으로 대응해 나가겠다”고 강조했다.

[보도자료출처: 과학기술정보통신부]