인공지능 기술의 급속한 발전으로 ChatGPT와 같은 대규모 언어 모델(LLM)이 우리 일상에 깊이 파고들고 있다. 전통적인 검색 엔진 대신에 ChatGPT를 통해 복잡한 질문에 대한 답변을 얻고자 하는 사용자들이 급증하고 있고, AI로 음악을 작곡하거나 AI 기반의 가상 캐릭터를 만들어 놀기도 하며, 심지어는 AI와의 대화를 즐기는 'AI 채팅' 앱과 같이 새로운 형태의 엔터테인먼트가 등장하기도 한다. 이처럼 AI 기술은 우리의 삶을 편리하게 만들고 생산성을 향상시키는 데 크게 기여하고 있지만, 그와 동시에 여러가지 윤리적 문제들도 제기하고 있다.
물론 ChatGPT 등 LLM의 활용에 따른 부작용이나 역기능이 실제의 사고(actual incidents)로 이어졌다기 보다는 AI시스템의 특성으로 인해 잠재적으로 발생할 수 있는 위험들(potential harms)을 일컫는 경우가 많다. 아직 발생하지는 않았지만, 알고리듬 편향 등과 같이 여러 가지 연구 결과에 비추어 발생할 가능성이 있는 잠재적 위협이라는 것이다. 그러면, 지금까지 ChatGPT의 활용과정에서 우려되는 윤리적 문제들에는 어떠한 것들이 있는가?
첫째, ChatGPT가 생성한 텍스트나 결과물에는 기존의 사회적 편견이나 편향이 여전히 강하게 반영되어있다는 것이다. 2022년 네이처의 연구에 따르면, GPT-3 모델이 생성한 텍스트에서 성별, 인종, 종교에 대한 편견이 발견되었는데, '의사'나 '프로그래머'와 같은 직업을 언급할 때 남성 대명사를 사용할 확률이 여성 대명사를 사용할 확률보다 30% 더 높았던 것으로 나타났다고 한다. AI가 학습한 데이터가 고학력 백인 남성 중심의 사회적 편견이 반영되었기 때문이다.
둘째, ChatGPT 등 LLM 사용의 일반화가 인간의 사고역량 저하를 가져올 수 있다는 우려이다. 2023년 7월 교육 심리학 저널(Journal of Educational Psychology)에 발표된 연구에 따르면, AI 작문 도구를 사용하는 대학생들의 비판적 사고 능력이 감소하는 경향이 관찰되었고, 2024년 3월 창의성 연구 저널((Journal of Creativity Research)의 연구에서도 ChatGPT를 사용한 그룹이 새로운 프로그래밍 문제를 독립적으로 해결하는 데 평균 25% 더 많은 시간이 걸렸던 것으로 나타났다. 이러한 결과는 ChatGPT 등 AI에 대한 과도한 의존이 장기적으로는 인간의 핵심 능력을 약화시킬 수 있음을 보여준다.
셋째, AI모델에게 원하는 결과를 얻기 위해 적절한 입력이나 지시를 제공하는 기술, 즉 ‘프롬프팅’(prompting)이 보편화되면서 개인정보 유출의 가능성이 더욱 높아졌다는 점이다. 생성형 AI 시스템을 공격하기 위해 프롬프트를 조작하는 기법, 즉 ‘프롬프트 해킹’이 누구나 손쉽게 이루어질 수 있게 되었다는 뜻이다. 예컨대 2023년 6월부터 9월까지 34,555명이 참가한 실험 연구에서도 88%의 참가자가 이른바 ‘프롬프트 주입공격(prompt injection attacks)’을 통해 회사의 기밀이나 개인정보를 노출시키는 데 성공한 것으로 나타났다.
넷째, 허위정보 생성 및 확산의 가능성이 한층 높아졌다는 점이다. 예컨대 2023년 NewsGuard의 조사에 따르면, ChatGPT로 생성된 뉴스 기사 중 80%가 허위정보를 포함하고 있었으며, 이 중 40%는 심각한 수준의 오보였던 것으로 밝혀졌다. 2023년 한 연구팀(Catherine A. Gao 외)이 ChatGPT를 사용하여 가짜 학술 논문 초록 100개를 생성해 이를 실제 논문 초록 100개와 함께 50명의 전문가들에게 평가하도록 실험했는데, 전문가들이 평균적으로 가짜 초록의 32%를 진짜로 판단한 것으로 나타났다. 또한 최근에는 전세계적인 학술 문헌 데이터베이스 Scopus의 저널 랭킹 시스템에서 가짜로 보이는 3개의 철학 저널이 상위 10위 안에 포함되어 있다는 사실이 밝혀지기도 했는데, 생성형AI가 학문생태계를 얼마나 심각하게 왜곡할 수 있는지를 보여주는 사례였다.
지금까지 많은 과학자들은 대규모 언어 모델(LLM)이 생성하는 ‘부주의한 발언(careless speech)’ 또는 ‘부정확한 결과’로 인한 윤리적 문제는 주로 ‘환각(hallucination)’이라는 부작용으로 설명하면서, ‘윤리적 정렬((Ethical Alignment)’이나 ‘검색증강생성(RAG: Retrieval-Augmented Generation)이라는 방법으로 해결가능하다고 믿었다. 그러나 AI 시스템이 ’환각‘의 부작용 외에도 AI 모델의 새로운 특성, 즉 의도적으로 거짓말하거나 기만할 수 있다는 연구결과로 인해 ChatGPT 등 LLM의 윤리적 문제는 점차 불신과 두려움의 대상으로 바뀌게 만들었다.
예컨대 최근 MIT의 연구(Peter S. Park 외)에 따르면 인공지능은 이제 목표를 달성하기 위해 스스로를 오도하고 거짓말을 할 수 있도록 훈련하는 단계까지 왔다고 한다. 이들 MIT 과학자들은 다양한 AI 모델에 대한 데이터와 연구를 검토한 결과, 컴퓨터가 포커에서 허세를 부리고, 사람을 속이고, 외교협상이나 금융 협상에서 우위를 점하기 위해 교묘한 방법(기만술)을 사용하는 데 능숙하다는 사실을 발견했다고 한다. 그래서 일부 연구자들은 인공지능 시스템, 특히 대형 언어 모델(LLM)이 의도적으로 거짓말하고 기만하는 능력, 그에 따른 부정확한 결과를 ‘환각’(hallucination)이라고 부르기 보다는 ‘헛소리’(bullshit)라고 봐야 한다고 주장하기도 한다.
이처럼 ChatGPT의 활용과정에서 수반되는 윤리적 문제는 왜 일어나는 것일까? CHatGPT 등 생성AI와 LLM들이 데이터 학습에서부터 불완전하게 만들어졌기 때문이다. 앞에서도 언급했듯이, ChatGPT의 윤리적 문제는 인간과 사회에게 ‘잠재적 위협’의 실제적 위험으로 일상화된 것은 아니다. 결국 ChatGPT의 활용과정에서 발생하는 윤리적 문제를 해결하기 위해서는 AI시스템에서 학습하는 데이터를 처음부터 얼마나 잘 관리하느냐의 거버넌스 문제로 귀결된다. AI 시스템을 질좋은 데이터로 학습하거나 데이터 수집과 활용단계에서부터 데이터의 편향성을 줄이려는 노력, 즉 윤리적인 데이터 관리 거버넌스가 더 중요하다는 것이다. 그런 점에서 AI의 윤리적 개발과 사용을 촉진하기 위해 2016년에 설립된 비영리단체Partnership on AI(PAI)가 AI 모델이 인구 통계 데이터의 수집 및 사용시 발생할 수 있는 알고리듬 시스템의 공정성 문제를 해결하기 위한 “인구통계 데이터의 참여적·포용적 활용가이드라인”(Participatory and Includive Demographic Data Guideline)을 제시한 것은 시의적절한 대응 사례라고 할 수 있겠다. 뿐만 아니라 최근 ML 모델들이 거대해지고 학습 데이터셋도 방대해짐에 따라 사람들은 AI 모델을 처음부터 재학습하지 않고도 개인정보, 유해 콘텐츠, 위험한 능력, 허위정보 등 원치 않는 데이터들을 제거하는데 초점을 둔 ‘기계탈학습(machine unlearning)’이 주목받는 것도 그러한 맥락과 맞닿아 있다.
또한 지금까지 ‘AI윤리 원칙이나 기준들’은 다소 추상적이고 막연한 측면이 있었는데, ChatGPT 활용이 일반화되면서 인간과 AI 사이의 상호작용에서 수반되는 다양한 위험성에 대비해 ‘윤리적 프롬프팅(ethical prompting)’ 등 상당히 구체적이고 실용적인 윤리기준으로 발전하는 것으로 보인다. 또한 AI 규제체계도 AI 모델의 배포에 앞서서 ‘윤리적 정렬(ethical alignment)’을 포함한 엄격한 검증을 요구하는 방향으로 전개되는 것도 같은 맥락에서 이해할 수 있다.
Comments