[서울=뉴스핌] 이승우 기자 = 삼성전자와 SK하이닉스가 엔비디아의 인공지능(AI) 기술을 활용해 반도체 개발에 필요한 가상 실험 속도를 수십~수천 배 높이는 성과를 거뒀다. 반도체의 열과 변형을 예측하는 시뮬레이션을 고속화하면서 설계 검증과 시험 생산에 필요한 시간과 비용을 줄일 가능성이 커졌다.

특히 고객사마다 요구하는 성능과 설계가 다른 커스텀 고대역폭메모리(HBM) 시대에 AI 시뮬레이션 기술이 신제품 개발 경쟁력을 좌우할 새로운 변수로 떠오르고 있다.

양사의 협력은 엔비디아와 국내 메모리 업체 간 관계에도 변화를 가져오고 있다. 삼성전자와 SK하이닉스가 엔비디아에 HBM을 공급하는 동시에 반도체 연구개발 과정에서는 엔비디아의 GPU와 AI 소프트웨어를 활용하면서 기술 협력 범위가 확대되고 있는 것이다.

10일 반도체 업계에 따르면 삼성전자와 SK하이닉스는 지난 9일 서울 코엑스에서 열린 '엔비디아 AI 데이 서울 2026'에서 엔비디아의 물리 시뮬레이션 인공지능(AI) 개발 도구 '피직스네모'를 활용해 반도체 시뮬레이션 속도를 끌어올린 연구 성과를 발표했다. 고객사마다 사양이 다른 커스텀 고대역폭메모리(HBM)를 동시에 개발해야 하는 상황에서 시뮬레이션이 빨라지면 설계 검증과 시험 생산에 드는 시간을 줄여 고객 맞춤 제품을 더 빨리 내놓을 수 있다는 게 업계의 설명이다.

두 회사가 공통으로 다룬 과제는 '대면적 열·기계 해석'이다. 반도체 칩이나 패키지 전체에서 열이 어디에 몰리고, 그 열 때문에 칩이 어디가 얼마나 휘는지를 계산하는 시뮬레이션이다. 소자가 작아지고 HBM처럼 칩을 쌓거나 여러 칩을 한 패키지에 묶는 첨단 패키징이 늘면서 열과 휨으로 인한 불량이 커졌지만, 칩 전체를 정밀하게 계산하려면 계산량과 메모리가 감당할 수 없을 만큼 커져 그간 풀기 어려웠다.

◆ 삼성 "하루→1분"·SK하이닉스 "30배"

이성엽 삼성전자 반도체연구소 CSE(계산과학)팀 박사는 이날 열과 기계(변형) 현상을 함께 학습한 '파운데이션 모델'을 개발했다고 밝혔다. 칩 전체를 한꺼번에 계산하는 대신 잘게 나눠 각 조각을 AI로 빠르게 예측한 뒤 결과를 이어 붙이는 '분할 정복' 방식이다.

이 박사는 "비교를 위해 설정한 CPU 멀티코어 환경에서 하루 정도 걸리던 시뮬레이션이 그래픽처리장치(GPU) 환경에서 약 1분 안에 끝났다"며 "1000배에서 4000배 가까운 시간 단축 효과를 얻었다"고 말했다. 이어 "대면적 시뮬레이션이 가능한 단계를 넘어 고속화를 노리는 단계까지 왔다"며 데이터 생성부터 모델 학습, 검증까지 전 과정은 AI 에이전트 기반으로 구현했다고 밝혔다.

김정환 SK하이닉스 미래기술연구원 TCAD 인텔리전스 팀장은 엔비디아와 개발한 칩 단위 열·기계 해석 모델이 32스레드 중앙처리장치(CPU) 대비 30배 이상 빨라졌고, GPU를 늘리는 만큼 성능이 거의 그대로 확장된다고 밝혔다. SK하이닉스는 앞서 식각 공정의 형상 변화를 예측하는 AI 모델도 엔비디아와 개발해 공개한 바 있다.

SK하이닉스는 AI를 결합한 시뮬레이션 전략을 내부에서 'TCAD 3.0'으로 부른다. TCAD는 반도체 공정과 소자 특성을 컴퓨터로 미리 계산하는 시뮬레이션이다. 매년 새 장비와 소재가 도입되는 반도체 특성상 기존 방식으로는 시뮬레이션 모델의 정확도를 다듬을 시간이 부족한데, 이를 AI로 보완하겠다는 취지다. 2021년 시작한 이 전략은 2024년 전담 조직으로 자리 잡았고, 2025년 초부터 엔비디아와 협업하고 있다.

◆ "커스텀 메모리 시대, 시뮬레이션도 바뀌어야"

반도체 업계에서는 시뮬레이션 속도가 커스텀 HBM 시대 개발 경쟁력과 직결된다고 보고 있다. HBM은 고객사마다 요구하는 사양이 달라 제품별로 설계를 개별 검증할 때 활용할 수 있다.

반도체는 같은 공정 조건을 적용해도 소재와 생산 환경에 따라 칩 특성이 달라져 설계를 바꿀 때마다 고가의 웨이퍼를 공정에 반복 투입해 결과를 확인해야 했다. 한 번에 몇 주가 걸리는 작업이다. 시뮬레이션이 빨라지면 같은 시간에 더 많은 설계 후보를 컴퓨터로 걸러낼 수 있어 실물로 만들어볼 횟수를 줄이고 고객별 맞춤 제품의 개발 기간도 단축할 수 있다.

김 팀장은 "HBM 등 커스텀 메모리 시대가 오면서 시뮬레이션도 다시 한번 바뀌어야 하는 시점"이라며 "올해 물리 AI가 SK하이닉스 R&D AX(AI 전환)의 중심에 자리 잡았다"고 말했다. 

◆ 시뮬레이션도 CPU에서 GPU·AI로

반도체 시뮬레이션의 판도도 바뀌고 있다. 그간 시놉시스·케이던스 등 전자설계자동화(EDA) 업체의 툴을 CPU로 돌리는 방식이 중심이었지만, 엔비디아 GPU와 AI 도구가 이를 가속하는 '엔진'으로 자리 잡고 있다. 엔비디아는 지난해 시놉시스에 20억 달러를 투자하며 EDA 업체와의 협력도 넓히고 있다.

엔비디아에 HBM을 공급하는 메모리 양강이 반도체 개발 인프라에서는 엔비디아의 고객이 되는 셈이다. 엔비디아로서는 데이터센터 밖에서도 GPU 수요처를 넓히고, 국내 메모리 업계는 개발 속도를 얻는 대신 엔비디아 의존도가 제품 판매를 넘어 개발 영역까지 커지게 됐다.

메모리 업계의 시뮬레이션 수요는 앞으로 더 커질 전망이다. 엔비디아에 이어 구글·브로드컴 등 빅테크의 자체 AI 반도체가 늘고 있어서다. 구글이 최근 공개한 'TPU 8i 맥스'처럼 칩 여러 개를 한 패키지에 묶는 제품이 늘수록, 메모리 업체가 고객별로 검증해야 할 설계와 열·휨 관리 부담도 함께 커진다.

raul1649@newspim.com