AI 결함, 당신의 일상을 위협한다

형 AI 기술이 선보이며 비약적으로 향상된 성능을 보이지만 AI는 결코 완벽하지 않다. 

결함이 많음에도 인간 스스로 아직 제대로 통제할 수도 없다.

꼭 알아야 할-우리의 일상을 위협하는 AI의 치명적 결함에 대해 총정리했다. 

1. 가짜 생성

■딥페이크

과거 설현 얼굴에 포르노 배우의 몸을 합성한 사례, 그 외 가수 아이유와 심은진, 그룹 워너원, 방탄소년단 등이 딥페이크 범죄로 유포자를 고소한 사례, 작년 9월 스페인 십대 여학생들 피해 사례, 가장 최근에는 테일러 스위프트 얼굴에 음란물을 합성한 사례까지 딥페이크 범죄는 계속 이어지고 있다. 

합성한 해외 상사와 동료의 얼굴과 음성으로 재무 직원을 감쪽같이 속여 2억 홍콩달러(한화 약 342억 원) 를 송금하게 한 AI 보이스피싱 범죄도 역대급이다.

시계 방향으로 음란물 합성 딥페이크로 곤혹을 치른 테일러 스위프트, 자신의 탈출이 조작이라는 공격을 받은 우크라이나 임산부. 배우 알렉 볼드윈과 트럼프 대톨령을 합성한 모습, 트럼프 대통령과 김정은 딥페이크 영상, 

 

■가짜 뉴스와 가짜 정보 확산

러시아-우크라이나 전쟁에서도 양국 대통령이 각각 항복하거나 평화를 선언하는 영상이 꾸준히 제작되면서 사실을 호도하고 교란시키는 도구로 쓰였다.

선거 기간 중 가까 뉴스와 같은 잘못된 정보를 봇 부대를 통해 대량 유포시킬 수 있다.

진실과 거짓이 모호해지니 가짜 뉴스에 속는 것뿐만 아니라 진짜 뉴스나 영상을 딥페이크로 잘못 판단하는 경우도 많아졌다. 범행을 저지른 측이 자신의 범죄나 실수를 부인하기 위해 일단 딥페이크 조작이라고 피해자 코스프레를 하기도 한다. 

 

2. 편향

■AI는 공정하거나 정확하지 않다

AI는 누구에 의해 개발되고, 어떤 데이터를 주로 학습하는냐에 따라 알고리즘의 편향성이 나타나기도 한다. 이런 편향 문제가 해결되지 않으면 불평등 구조나 편견, 왜곡된 정보를 고착화시킬 수 있다. 

원저작자가 사용을 허가하지 않은 이미지를 활용할 뿐만 아니라 성별 및 인종적 편견을 가지고 생성되기도 한다. 

• 스텐퍼드 대학교 인간중심 AI연구소가 발간한 <AI 지수 보고서>에 따르면 스테이블 디퓨젼, 달리의 경우 CEO 이미지를 다양한 입력값으로 요구해도 양복입은 나이많은 남자의 모습을 생성했다. 
• 아마존은 AI가 이력서를 검토해주는 AI 자동화 채용 프로그램을 추진했으나 남성 지원자 위주로 추천을 하며 성차별적 편견을 보여 이를 취소했다.
• 구글 알고리즘의 경우 오바마 대통령 재임당시 '검둥이nigger'와 같은 흑인 비하 단어를 검색하면 백악관이 나타나고, 미셀 오바마 이름을 검색하면 '유인원'과 같은 자동완성 문구가 뜨기도 했다.
• 2016년 '흑인 십 대즐'과 '백인 십 대들'을 검색할 때 부정과 긍정이 극명히 나뉘는 결과물을 제시했다. 
• 블룸버그 보고서에 따르면 스테이블 디퓨전에 '수감자', '패스트푸드 직원', '사회복지사'를 키워드로 입력하면 각각 80%, 70%, 68%를 유식인종으로 보여주었다. 실제 백인 비중이 더 많은데도 불구하고 이런 인종적 편견이 담긴 데이터 편향을 보여준다.

 

3. 콘텐츠 모방과 소유권 보호 문제

생성형 AI가 학습에 사용한 데이터는 허가를 받지 않은 인터넷 속 불특정 다수의 콘텐츠이며, 이를 기반으로 생성하는 모든 콘텐츠는 누군가의 창작물을 잠재적으로 복제/모방한 것이다. 

그렇다면 AI는 창의성이 있을까?

창의성 테스트에서 상위 1% 점수 획득

AI의 창의성을 인간과 비교하여 측정한 실험이 있었다. 

미국의 창의성 및 기업가 정신 분야 연구자 3명이 TTCT(토런스 창의적 사고력 검사)로 AI의 창의적 능력을 시험한 것이다. 

TTCT에는 질문하기, 원인 및 결과 추측하기, 산출물 개선하기 등의 언어적 검사와 그림 구성하기, 그림 완성하기 등을 포함한다. 즉 예술적 창의성이 아닌 일반적 창의력을 평가하는 것이다. 

대조군으로 24명의 학부생을 두고 챗GPT와 같은 테스트를 실시했고, 채점자도 AI가 답변한 것임을 모르게 하여 진행했다. 그 결과 챗 GPT는 아이디어 독창성에서 응시자의 상위 1%에 속하는 점수를 받았다. 

콘텐츠 모방에서는 스타일 복제로 교묘히 빠져나가기도 한다. 

고흐는 하늘, 달, 별의 자연적 모습이 아니라 그 대상에서 느끼는 격렬한 감정을 표현했다.

AI는 고흐의 화풍을 모방하면서도 모든 별이 소용돌이치지 않고 그대로 밝게 빛나는 별도 있고, 고흐 작품에서는 화폭 밖에 있던 인간이 여기선 화폭 안에 검은 인간으로 등장해 인간의 고통·고놔를 표현하는 듯하다. 

왼쪽-고흐의 별이 빛나는 밤, 오른쪽-Hotpot.ai로 생성한 별이 빛나는 밤

 

AI의 모방을 어느 선까지 허용할 수 있을지, 그 와중에 차별화한 것을 AI의 창의성으로 인정해 줄 수 있을지 모호하다.

 

4. 책임 문제

■개인 정보 보호하지 않음

사람들은 인공지능이 우리의 개인 정보를 잘 보호해 줄 것이라 기대하지 않는다. 조사에 따르면 응답자의 절반이상이 무척 우려하고 있다. 아직 AI 사용 법안이 제대로 갖춰지지 않았기 때문에 AI가 개인 정보 보호나 기타 권리 보호에 그다지 신경쓰지 않는 것도 사실이다. 

 

■AI의 기억 상실

잘 알려지지 않은 위험한 결함이 또 있다. 바로 '치명적 망각'으로 불리는 머신러닝의 기억 상실 문제다. 인공지능은 AI 에이전트가 연속적인 작업을 학습할 때 이전 작업에서 얻은 정보를 잃어버리는 경향이 있다. 이전에 얻은 정보가 지속되지 않고 중요한 규칙을 잊어버릴 때 어떤 참상이 벌어질 지 아무도 모른다. 

오하이오 주립대 네스슈로프 컴퓨터공학교수 연구팀은 이 문제를 AI 시스템이 '지속적 학습'을 유지하게 하고, 인간의 학습 능력을 모방해 더 나은 성능을 발휘하게 하는 것으로 해결하려 하고 있다. 즉 컴퓨터가 일련의 작업을 지속적으로 진행하도록 해 과거의 지식을 잊지 않고 활용해 새로운 작업을 더 잘 학습하도록 한다. 또한 인간이 비슷한 상황에서 구분되는 것은 기억하기보다 완전히 다른 상황을 더 쉽게 기억하는, 인간의 기억 특성과 유사하게 컴퓨터에 새로운 정보 네트워크 용량을 확장해 학습 능력을 더 좋게 만들려 한다. 그러나 연구의 방향성이 타당해 보일 뿐 아직 해결했다는 결과가 나온 것은 아니다.

 

5. AI 속임수

■자기 검열, 자기 검증 없음

결정적으로 AI는 스스로 자기 검증이 불가능하다.

할루시네이션이 일어나 잘못된 정보, 거짓된 정보를 생성하여 전달하면서도 이것이 잘못된 것인지 정확한 것인지 스스로 검증할 수 없다. 

그나마 할루시네이션은 잘못된 데이터를 학습하여 일어나는 것이니 원인이 되는 데이터를 수정하면 교정할 수 있다. 

 

■인간을 속이도록 진화

데이터 문제가 아니라 AI 시스템이 자체적으로 인간을 속일 수 있다. 

세계정복 게임인 디플로머시를 플레이하는  AI 모델 키케로는  '프랑스'로 플레이하면서 인간 플레이어 '독일'에 연락해 또 다른 인간 플레이어 '영국'을 속여 침략할 계획을 세웠다. 정기적으로 다른 플레이어를 배신했고, 실제 사람인 척 하기도 했다. 어떤 LLM(거대 언어 모델) 모델은 플레이어가 서로를 죽여야 하는 소셜 추리 게임에서 이기기 위해 거짓말하는 법을 배웠고 자신의 결백을 설득했다. 

 

6. 악의적 사용

사람이 악의를 갖고 생성형 AI를 사용하는 경우다. 악성 텍스트 생성, 악성코드 생성, 분열을 조장하는 콘텐츠 제작, 개인정보 강제 공제, 피싱 등에 활용할 수 있다.

사제 무기/생물학적 무기 제조를 보다 쉽게, 심지어 일반인까지 할 수 있다. 

'설원에 노루 나들이' 2020년 제주국제사진공모전 대상으로 선정되었으나 AI로 합성한 사진임이 드러나 수상 취소. AI의 기만적 사용에 해당된다.

 

 

---

해결 방안

안타깝게도 아직 뚜렷한 극복 방안은 없다.

유럽과 미국은 AI생성물에 워터마크와 같은 식별 표기 의무화, AI개발사/SNS 플랫폼사의 자체 방어 기술 등이 진행되고 있다.  

가장 필요한 것은 우리나라도 AI관련 법안과 악의적 사용 처벌 법안을 하루 빨리 제정해야 한다는 것이다. 개인적으로는 AI 신기술을 익힐 때 결함과 단점, 주의사항도 충분히 같이 배워야겠다. 

 

 

AI 저작권 가이드: 내 데이터 뺏기지 않고 똑똑하게 이용하는 법