AI를 움직이는 5가지 하드웨어 아키텍처, CPU, GPU, NPU, TPU, LPU 비교

 

💻 AI를 움직이는 5가지 하드웨어 아키텍처

 

1. CPU (Central Processing Unit)

• 투자 관점: CPU는 AI의 주인공은 아니지만, 시스템 전체를 통제하는 '컨트롤 타워'입니다. AI 서버 내에서도 데이터 전처리 및 전체 시스템 조율을 위해 반드시 필요합니다.
• 해자 포인트: 복잡한 명령어 세트 아키텍처(ISA)와 생태계(x86, ARM). AI 모델이 복잡해질수록 유연한 제어 능력은 여전히 필수적입니다.
• 범용 연산용. 복잡한 로직에 유리하며, 대규모 행렬 연산처럼 반복적인 병렬 계산에는 비효율적

2. GPU (Graphics Processing Unit)

• 투자 관점: 현재 AI 산업의 '기초 통화'입니다. 병렬 연산 능력뿐만 아니라, Nvidia의 CUDA라는 강력한 소프트웨어 생태계가 가장 높은 해자를 형성하고 있습니다.
• 한계점: 높은 전력 소비와 메모리 대역폭 병목 현상(Memory Wall). 이를 해결하기 위한 HBM(고대역폭 메모리) 기술력 동향을 함께 살펴야 합니다.
• 수천 개의 작은 코어가 같은 명령을 여러 데이터에 동시에 적용, 신경망 학습의 행렬 연산과 잘 맞아 AI 학습의 중심

3. TPU (Tensor Processing Unit)

• 투자 관점: 구글과 같은 하이퍼스케일러들이 자체 칩을 설계(Custom Silicon)하는 이유를 보여줍니다. 특정 연산(Tensor)에 최적화하여 인프라 운영 비용(OPEX)을 획기적으로 낮춥니다.
• 해자 포인트: Systolic Array 구조를 통한 데이터 흐름 최적화. 범용성보다는 수직 계열화를 통한 비용 효율성이 핵심입니다.
• 신경망 전용 가속기로 MAC 유닛이 격자 형태로 배치되고, 데이터가 흐르듯 이동하며 연산, 메모리 왕복을 줄이고, 컴파일러가 실행을 제어

4. NPU (Neural Processing Unit)

• 투자 관점: 'On-device AI'의 핵심 동력입니다. 데이터 센터로 정보를 보내지 않고 기기 자체에서 추론을 수행해야 하므로 전성비(Watt당 성능)가 가장 중요한 평가지표입니다.
• 해자 포인트: 저전력 설계 역량 및 IP(지식재산권) 보유 여부. 스마트폰, 자동차, 드론 등 적용 분야가 무궁무진합니다.
• 엣지 AI용 구조로, MAC 배열과 온칩 SRAM을 활용하되, HBM 대신 저전력 시스템 메모리를 사용하며, 스마트폰, 웨어러블, IoT처럼 전력 예산이 작은 기기에서 추론을 수행하는 데 최적화

5. LPU (Language Processing Unit)

• Groq가 제시한 언어모델 특화 아키텍처로서, 가중치를 온칩 SRAM에 두고, 실행을 완전히 결정론적으로 컴파일. 캐시 미스와 런타임 스케줄링 오버헤드를 줄여 낮은 지연시간을 노림. 다만 온칩 메모리 용량이 제한적이기 때문에 대형 모델을 구동하려면 여러 칩을 연결해야 함
• 투자 관점: 추론(Inference) 시장의 게임 체인저를 노리는 모델입니다. SRAM을 활용해 '즉각적인 대화'가 가능한 속도를 구현합니다.
• 투자 리스크: 메모리 용량 대비 단가가 높은 SRAM의 특성상, 대형 모델(LLM) 구동 시 하드웨어 확장 비용이 기하급수적으로 늘어날 수 있다는 점을 유의해야 합니다.

VID_20260427_195703_033.mp4

0.17MB