선형대수 로드맵: AI 엔지니어가 꼭 알아야 할 7개 개념

운영자가 직접 정리한 학습 순서 가이드 · 2026년 9월 업데이트 · 약 8분 분량

AI 강의를 보다가 "행렬 곱이 왜 여기서 나오지?"에서 막힌다면 정상입니다. 저도 처음에 역전파 수식에서 막혀 일주일을 헤맸습니다. 결론부터 말하면 선형대수는 7개 개념만 잡으면 이후 500개 레슨이 전부 읽힙니다.

1. 벡터와 놈(norm)

벡터는 방향과 크기를 가진 묶음입니다. AI에서는 임베딩, 그래디언트, 특성 벡터가 전부 벡터입니다. L2 놈은 "벡터의 길이"이고, 손실함수와 정규화에서 매일 등장합니다. 파이썬으로 직접 길이를 구해보는 것부터 시작하세요.

import math
v = [3.0, 4.0]
print(math.sqrt(sum(x*x for x in v)))  # 5.0

행렬 times 벡터는 신경망의 한 층(layer) 그 자체입니다. 가중치 행렬 W에 입력 x를 곱하고 편향 b를 더한 뒤 활성화함수를 씌우는 것이 전부입니다. 이 사실을 알면 PyTorch의 nn.Linear가 더 이상 블랙박스가 아닙니다.

최소제곱법(선형회귀)은 사실상 연립방정식 풀이입니다. 역행렬이 존재하지 않는 경우(특이행렬)에 유사역행렬(pseudo-inverse)이 등장하는 이유를 이해하면 회귀 레슨이 쉬워집니다.

PCA, 스펙트럼 클러스터링, 안정성 분석의 공통 언어입니다. "행렬이 특정 방향은 크기만 바꾼다"는 직관을 먼저 잡으세요. 2x2 행렬을 손으로 풀어보는 연습을 권합니다.

추천 시스템, 압축, 잠재 의미 분석의 핵심입니다. 어떤 행렬도 U·Σ·V^T로 쪼갤 수 있고, 작은 특이값을 버리면 근사 압축이 됩니다. Phase 1-11 레슨과 함께 보세요.

배치·채널·시퀀스 차원이 붙으면 텐서입니다. NumPy/PyTorch 브로드캐스팅 규칙(뒤 차원부터 맞추기)을 모르면 shape 오류에서 하루가 갑니다. 오류 메시지를 읽는 연습이 곧 실력입니다.

소프트맥스 오버플로, 로그-합-익스프 trick, 그래디언트 폭주/소실이 전부 여기 속합니다. 이론보다 "NaN이 떴을 때 어디를 볼 것인가" 체크리스트가 실전에 도움됩니다.