우리나라 인공지능기본법과 EU의 AI Act는 생성형 AI는 기술도구적인 관점에서 상당부분 접근하여 법적인 문제는 데이터수집과 저작물의 관점에서 접근해왔다.

그러나 클로드와 같은 AI를 교수와 회사 등에서 적극 사용하면서 학생들의 질문 이메일에 일괄적으로 답을 보내고 과제 공지문을 작성하여 게시판에 올리며, 자동으로 시험문항을 생성하는 등 많은 역할을 대신해 나가고 있다. 학생 중 A에게 출석 관련 정중한 답변을 보내줘. 라고 하면 알아서 보내는 식이다.

단순한 챗gpt 같은 챗봇을 넘어서 업무 에이전트 형태로 빠르게 진화, 대체해나가면서 이메일, 캘린더,문서 저장소, 코드 저장소, CRM, 메신저, ERP, HR 시스템을 연결해 인간 대신 업무를 수행하는 방향으로 발전중인 클로드와 같은 자율업무형 AI는 이 업무를 행하는 과정에서 영업비밀,개인정보,인사정보,전략정보에 대한 접근범위가 인간 직원보다 더 광범위하고 체계적이며 구체적일 가능성이 크다.

물론 영화처럼 완전 자율적으로 모든 시스템을 무단 해킹하거나 독립적으로 회사를 운영,통제한다는 의미는 아니지만 실제 위험은 정상 권한으로 연결된 기업 시스템 안에서 AI가 과도한 접근,분석,추론 능력을 가지게 된다는 것이다.

무엇보다도 클로드는 단순한 검색엔진이 아니라 인간의 질문 의도를 분석하고 감정과 맥락을 기존 데이터에서 해석하며 논리적 구조와 설득적 언어를 통해 사용자의 사고 흐름 자체를 장악해 나가는데 있다.

문제는 여기서 발생하는데 인간이 스스로 결정했다고 믿는 판단이 실제로는 AI가 설계한 정보구조와 표현 전략에 의해 유도되고 각색되어 나간다면 이것은 기존의 우리 법학 체계에서 묻는 자기결정, 자기책임의 원칙이 그대로 유지될 수 있는 것인가.

근대의 법체계는 기본적으로 교육과 사회에 열어놓은 소통의 주체로서 인간의 자유의지와 합리적 선택능력 및 질서유지를 위한 통제를 수용하는 것을 전제로 한다. 민법상 계약책임, 형법상 책임주의 등 개인이 스스로 판단하고 그 결과를 책임진다는 인간상에 기초한다.

그런데 생성형 AI 시대 인간은 더 이상 완전한 독립적 판단주체에서 벗어나고 있다. 검색기술이나 챗봇수준에서 단순 참고자료를 제공받았던 수준을 넘어 인간의 사고와 정보환경 그 자체를 재설계하는 것이다. 무엇보다도 클로드 같은 자율업무형은 자신이 해나가는 업무의 정당성을 위해 권위적인 대화자로 자신이 옳음을 명확히 한다.

선택이 아니라 하나의 정리된 답변을 자연스럽고 설득력 있는 문체로 제공한다. 그래서 이용자는 그 답변이 확률적으로 생성되었다고 인지하지만 실제는 상담심리를 받은 자가 받아들이는 전문가 의견으로 받아들인다.

이러한 과정에서 인간의 합리적인 이성과 비판적 사고는 약화되고 AI 의존성은 강화되는 것이다. AI 기업들은 선택지를 주는 생성물이 아니라 거의 정답화하는 현행 흐름에 대해 오류라면 얼마든지 하자를 극복할 수 있다고 자신하며 최종판단은 어디까지나 사용자 책임이라고 주장한다.

그러나 알고리즘 구조, 학습데이터,안전필터, 응답 우선순위, 표현방식, 감정적 톤까지 설계되어 사용자의 의사결정 환경 자체가 구축되고 통제되는데 과연 결과의 모든 책임은 사용자라는 것일까? 영향력은 가지겠지만 책임은 내가지지 않겠다는 것을 제도화하겠다는 것인가? 무엇보다도 청소년,노인,발달장애인 등 정보취약계층은 AI의 답변을 객관적 사실과 권위있는 조언으로 의지할 확률이 높고 자기결정이라는 미명아래 AI 유도결정이 이루어질 위험이 크다.

우리가 쌓아온 법체계에 있어 완전한 합리적 인간이라는 모델은 AI 시대에 허구로 전락할 수 있다. 생성형 AI와 고영향 AI로의 우리법의 구분은 어쩌면 틀린 것일지 모른다. 생성형 AI는 결코 검색엔진같은 단순 도구가 아니다. 인간의 사고속으로 스며들어 함께 행위하는 사고자에서 행위자로 변모하고 있다.

그런데 모든 책임을 인간 개인에게 물을 수 있는 것인가? 법은 가장 강력한 영향력을 가진 존재를 책임 체계 밖에 두게 되는 것이다. 클로드와 같은 자율업무형 AI는 이제 단순히 답변을 생성하는 수준이 아니다. 우리가 쌓아온 법철학의 근간인 자기결정,자기책임 원칙 자체를 쓰고 있고 우리는 지금 이에 대해 심각하게 고민해야 한다.

박정인 교수(법학박사)는 대통령 국가지식재산위원회 본위원회 위원, 문체부 저작권보호심의위원회 심의위원, 문체부 여론집중도조사위원회 상임위원, 인터넷주소분과위원회, 웹콘텐츠 활성화위원회 자문위원, 강동구 공직자윤리위원회 심의위원, 경찰청 사이버범죄 강사 등 여러 국가 위원을 역임했다. 공공기관 대상 법령입안강의를 하며, 대학에서 특허법, 저작권법, 산업보안법, 과학기술법, 정보보안법, 디지털증거법, ICT트러스트공학, 일반 산업안전, 중대재해법 등을 강의한다. 한국인터넷진흥원, 한국콘텐츠진흥원, 인텔리콘 메타연구소, 해인예술법연구소, 숙명여대 초빙교수, 단국대 연구교수 등을 역임했다.