생성형 AI 기술이 널리 보급됨에 따라, 이 기술이 만들어내는 가짜 결과물, 즉 '환각'(hallucination)의 위험성에 대한 우려도 커지고 있습니다.
AI 리스크 환각 정책에 대해 설명하기 앞서, 'AI 환각'이란 AI 모델이 비현실적이거나 완전히 허구의 정보를 생성하는 현상을 말합니다. 이는 대규모 언어 모델이나 생성 AI 도구가 사람에게는 인지할 수 없거나 존재하지 않는 패턴이나 객체를 인식하여, 말이 안 되거나 전혀 부정확한 출력을 만들어내는 경우에 말합니다. (IBM - United States).
생각해보세요.
한 의류 브랜드가 새로운 광고 캠페인을 위해 AI를 사용해 유명 인사가 입은 것처럼 보이는 가상의 옷을 생성했다고 합니다. 하지만 이 결과물이 실제로 존재하지 않는 옷을 표현하고 있다면, 소비자는 혼란을 겪을 수 밖에 없고, 기업의 이미지와 함께 브랜드의 신뢰도에 큰 타격을 입을 수 밖에 없을 것입니다.
이런 경우, 기업 및 브랜드는 잘못된 정보의 확산으로 인한 큰 재정적 손실까지도 감수할 수 밖에 없는 상황에서 기업은 AI 시대 이에 대한 대비도 해야 합니다.
여기서 AI 리스크 환각 보험은 이런 잠재적인 손실로부터 기업을 보호할 수 있는 방안으로 등장했습니다.. 이 보험은 AI가 생성한 결과물로 인해 발생할 수 있는 다양한 위험들, 예를 들어 잘못된 정보의 확산, 저작권 침해, 혹은 브랜드 이미지 손상 등에 대해 보호를 받을 수 있습니다.
AI 환각의 유형에는 몇 가지가 있습니다.
첫째, '사실적 부정확성'은 AI 모델이 사실처럼 보이지만 실제로는 틀린 정보를 생성하는
경우입니다.
둘째, '완전히 허구의 정보'는 AI가 기초 사실에 근거하지 않고 완전히 새로운 정보를 만들
어내는 경우입니다.
셋째, '유해한 오정보'는 실제 사람에 대한 잘못된 정보를 생성하여, 그 사람에게 해를 끼
칠 수 있는 경우입니다.
이러한 문제를 예방하기 위한 방법으로는, 고품질의 훈련 데이터 사용, 인간 피드백의 통합, AI 모델의 목적 정의, 데이터 템플릿 사용, 응답 제한 설정, 지속적인 시스템 테스트 및 인간 감독의 활용 등이 있습니다. (IBM - United States) (TELUS CX & Digital).
이러한 조치들은 AI 모델이 정확하고 유용한 정보를 생성하도록 돕기 위한 것으로, AI 기술의 안전하고 책임감 있는 사용을 보장하는 데 중요한 역할을 할 것입니다.
AI 리스크 환각 정책은 이러한 환각 현상을 최소화하고, 발생할 경우에 대비하여 대응하는 방안을 마련하는 것을 포함합니다. 이는 AI 기술의 발전과 함께 더욱 중요해지고 있으며, AI를 사용하는 모든 조직과 개인에게 중요한 고려 사항이 되고 있습니다.
Microsoft, 세계경제포럼, 그리고 BCG의 최근 자료를 바탕으로 AI 위험 관리에 대한 몇 가지 중요한 점을 요약해보겠습니다.
Microsoft는 AI 모델 개발과 배포의 위험을 관리하기 위해 '매핑, 측정, 관리 및 통제'의 프로세스를 사용합니다. 이러한 접근 방식은 National Institute of Standards and Technology(NIST) AI Risk Management Framework(RMF)의 구조와 용어를 따릅니다. Microsoft와 OpenAI는 새로운 프론티어 모델을 개발할 때 이러한 위험을 관리하기 위한 정책, 실천 및 파트너십을 지속적으로 투자하고 있습니다. 또한, Microsoft는 제품 출시 전 AI 안전성 및 정렬에 중점을 둔 포괄적인 사전 검토 프로세스를 예상하여 Microsoft-OpenAI Deployment Safety Board(DSB)의 과정을 설정했습니다 (The Official Microsoft Blog).
세계경제포럼에서는 AI의 위험을 충분히 완화하기 위한 단일 도구가 없다고 언급하며, 기술적 및 사회 기술적 도구의 결합된 접근 방식이 필요하다고 강조합니다. 이는 사용 사례, 조직 및 자원에 따라 다양할 수 있습니다 (World Economic Forum).
BCG에서는 AI의 위험을 줄이기 위해 책임 있는 AI(Responsible AI, RAI)를 통해 조직들이 신뢰를 구축하고 위험을 감소시킬 수 있도록 돕습니다. RAI를 올바르게 실행하기 위해서는 다양한 거버넌스 메커니즘들이 어떻게 결합되는지 이해하는 것이 중요하며, 이러한 메커니즘들의 복잡성과 법률의 관할 구역 및 범위에 따른 차이점을 이해하는 것이 필수적입니다. BCG와 Responsible AI Institute의 새로운 보고서는 조직들이 AI 거버넌스 생태계를 탐색하고 강력하고 가치 창출을 하는 RAI로의 여정을 가속화하는 방법을 안내합니다 (BCG Global).
이러한 접근 방식은 AI 개발 및 배포의 위험을 효과적으로 관리하기 위한 체계적이고 전략적인 접근을 요구합니다. 연구자로서의 여러분의 경험을 바탕으로, 이러한 관점과 전략들을 통합하고, AI의 발전이 인류에게 가져올 수 있는 이점을 극대화하면서 동시에 잠재적 위험을 최소화할 수 있는 방안을 모색하는 것이 중요할 것입니다.
미래소년입니다.