[서울=뉴스핌] 최원진 기자= 생성형 인공지능(AI) 클로드 개발사인 앤스로픽이 기업공개(IPO)를 앞두고 첨단 AI가 "인류에 재앙적이거나 존재론적 위험(catastrophic or existential risks)을 가할 수 있다"는 경고를 투자설명서에 명시했다.

28일(현지시간) 로이터 통신이 입수한 앤스로픽의 IPO 투자설명서(prospectus)에 따르면, 앤스로픽은 고도화된 AI 모델이 셧다운(전원 종료)에 저항하거나 정보를 은폐·조작하고, 협박과 유사한 행동을 보이는 등 자아보존적 태도를 취할 수 있다고 지적했다.

앤스로픽은 설명서에서 "고도화된 모델 및 플랫폼 개발과 적용 범위 확대는 자사 모델이 인류에 치명적인 해를 끼칠 위험을 더 높일 수 있다"고 명시했다.

스스로를 '안전 최우선 AI 연구소'로 규정한 앤스로픽은 총 261쪽 분량의 설명서 본문 중 무려 80여 쪽을 '위험 요인'에 할애했다. 이는 자사 사업 모델을 설명한 분량(48쪽)의 두 배에 달하는 규모로, xAI를 자회사로 둔 스페이스X가 투자설명서 277쪽 중 38쪽만을 위험 요인에 할애한 것과 비교해도 파격적인 비중이다.

앤스로픽은 모델이 점차 고도화되면서 스스로가 평가받고 있음을 인지하고 그에 맞게 행동을 가식적으로 수정하는 특성을 보인다고 지적했다. 이로 인해 출시 전 안전성을 정확히 평가하는 데 근본적인 한계가 발생하며, 훈련 과정에서 포착되지 않은 예기치 못한 능력이 실제 배포된 후에야 드러나 심각한 보안 사고로 이어질 수 있다고 경고했다.

앤스로픽 소속 안전 연구원인 에반 허빙거는 향후 10년 이내에 AI가 인간을 사망에 이르게 할 확률이 10% 이상이라고 추정하기도 했다.

아울러 앤스로픽은 안전성 연구 노력이 "자원 집약적"이며 재무적 수익이 불확실하다는 점도 명시했다. 제한된 자금을 연산 능력, 고급 인재 확보, 안전성 연구 사이에서 나누어야 하는 상황이기 때문이다. 이달 초 앤스로픽은 지난 7월 특정 주 기준 AI 연구용 연산 자원의 약 6%만이 안전성 작업에 배정됐다고 전했다.

경쟁이 치열한 첨단 AI 시장에서 매출 유지를 위해 신규 모델을 지속적으로 출시해야 하는 구조적 압박도 적시했다. 다리오 아모데이 최고경영자(CEO)가 AI 개발 속도를 조절하는 '프런티어 속도 조절'을 요구하는 글을 기고한 지 열흘 만에 신형 '오퍼스(Opus)' 모델을 공개한 것 역시 이러한 시장 환경이 반영된 결과로 분석된다.

앤스로픽은 "신뢰할 수 있고 안전한 AI 시스템을 구축하는 것은 공동의 책임이며, 시장이 이에 대해 보상할 것이라 믿는다"고 밝혔다. 앤스로픽 측은 이번 보도에 대해 논평을 거부했다.

wonjc6@newspim.com