오늘은 딥러닝의 기초 개념인 퍼셉트론(Perceptron), 논리 게이트(Logic Gate), XOR 문제, 다층 퍼셉트론(MLP), 활성화 함수(Activation Function)를 학습했다. 마지막으로 회귀와 분류 문제에 따라 출력층에서 어떤 함수를 사용하는지 정리했다.
이번 복습의 핵심은 입력 데이터 → 가중합 계산 → 활성화 함수 → 신경망 계층 → 출력이라는 흐름을 이해하는 것이다.
1. 머신러닝과 딥러닝의 차이
머신러닝(Machine Learning)
데이터에서 패턴을 학습하여 예측이나 분류를 수행한다. 표 형식 데이터의 분석에도 널리 사용된다.
- 고객 이탈 예측
- 주택 가격 예측
- 매출 예측
딥러닝(Deep Learning)
인공신경망의 여러 계층을 활용하여 데이터의 복잡한 특징을 학습하는 방법이다. 이미지, 음성, 텍스트 등 다양한 분야에서 활용된다.
- 이미지 분류
- 음성 인식
- 자연어 처리
- 생성형 AI
트랜스포머(Transformer)
트랜스포머는 2017년 구글 연구진이 발표한 신경망 구조로, Self-Attention을 활용하여 데이터 요소 사이의 관계를 학습한다. GPT와 BERT 같은 언어 모델의 핵심 기반 기술로 활용된다.
2. 퍼셉트론(Perceptron)
퍼셉트론은 인공신경망의 기본 계산 단위다. 여러 입력에 가중치를 적용하고 편향을 더해 가중합을 계산한다.
핵심 수식
z = w₁x₁ + w₂x₂ + ... + b
- x: 입력값(Feature)
- w: 가중치(Weight)
- b: 편향(Bias)
- z: 가중합 결과
가중치는 각 입력이 결과에 미치는 영향의 크기를 조절하고, 편향은 판단 기준을 이동시키는 역할을 한다. 일반적인 인공뉴런은 가중합을 계산한 다음 활성화 함수를 적용한다.
퍼셉트론의 계산 흐름
입력값 → 가중치 적용 → 가중합(z) → 활성화 함수 → 출력
3. 결정경계(Decision Boundary)
결정경계는 모델이 서로 다른 클래스를 구분하는 기준이다. 입력이 두 개라면 단순 퍼셉트론의 결정경계는 직선으로 표현할 수 있다.
0.5x₁ + 0.5x₂ - 0.7 = 0
이 식을 만족하는 점들이 결정경계를 구성한다. 계단 함수를 사용하는 경우 다음과 같이 분류할 수 있다.
- z ≥ 0 → 1
- z < 0 → 0
단층 퍼셉트론은 선형 결정경계를 사용하므로 직선 하나로 분리할 수 있는 문제에 적합하다.
4. 논리 게이트(Logic Gate)
AND, OR, NAND, XOR는 입력값에 따라 정해진 결과를 출력하는 논리 연산이다. 퍼셉트론의 원리를 이해하는 데 좋은 예제다.
AND 게이트
두 입력이 모두 1일 때만 1을 출력한다.
| x₁ | x₂ | 출력 |
|---|---|---|
| 0 | 0 | 0 |
| 0 | 1 | 0 |
| 1 | 0 | 0 |
| 1 | 1 | 1 |
OR 게이트
두 입력 중 하나라도 1이면 1을 출력한다.
| x₁ | x₂ | 출력 |
|---|---|---|
| 0 | 0 | 0 |
| 0 | 1 | 1 |
| 1 | 0 | 1 |
| 1 | 1 | 1 |
NAND 게이트
AND의 결과를 반대로 출력한다.
| x₁ | x₂ | 출력 |
|---|---|---|
| 0 | 0 | 1 |
| 0 | 1 | 1 |
| 1 | 0 | 1 |
| 1 | 1 | 0 |
XOR 게이트
두 입력이 서로 다를 때만 1을 출력한다.
| x₁ | x₂ | 출력 |
|---|---|---|
| 0 | 0 | 0 |
| 0 | 1 | 1 |
| 1 | 0 | 1 |
| 1 | 1 | 0 |
5. XOR 문제와 다층 퍼셉트론(MLP)
AND, OR, NAND는 하나의 직선으로 입력을 분리할 수 있다. 반면 XOR는 출력이 1인 두 점과 출력이 0인 두 점이 대각선으로 배치되어 있어 직선 하나만으로 완벽하게 분리할 수 없다.
MLP(Multi-Layer Perceptron)
입력층(Input Layer)
↓
은닉층(Hidden Layer)
↓
출력층(Output Layer)
MLP는 여러 계층의 뉴런을 연결한 신경망이다. 은닉층과 비선형 활성화 함수를 활용하면 단층 퍼셉트론이 해결하지 못하는 XOR 같은 비선형 분류 문제도 학습할 수 있다.
6. 활성화 함수(Activation Function)
활성화 함수는 뉴런의 가중합 z를 입력받아 변환된 값을 출력한다. 특히 비선형 활성화 함수를 여러 계층에 적용하면 신경망이 복잡한 패턴을 학습할 수 있다.
① 계단 함수(Step Function)
계단 함수는 기준값에 따라 출력을 0 또는 1로 바꾼다.
- z ≥ 0 → 1
- z < 0 → 0
논리 게이트와 초기 퍼셉트론의 원리를 이해할 때 유용하다. 다만 출력이 불연속적이고 대부분의 구간에서 미분값이 0이므로 일반적인 역전파 기반 딥러닝 학습에는 적합하지 않다.
② 시그모이드(Sigmoid)
σ(z) = 1 / (1 + e-z)
입력값을 0과 1 사이의 값으로 변환한다.
- σ(큰 양수) → 1에 가까워짐
- σ(0) = 0.5
- σ(큰 음수) → 0에 가까워짐
이진 분류의 출력층에서 자주 사용한다. 출력값을 확률로 해석하려면 모델 학습과 데이터 조건이 적절해야 하며, 예측값 0.95가 항상 실제 정답 확률 95%를 의미하는 것은 아니다.
시그모이드의 미분식은 다음과 같다.
σ'(z) = σ(z)(1 - σ(z))
입력값의 절댓값이 매우 커지면 미분값이 작아지는 경향이 있다. 깊은 신경망에서는 이로 인해 기울기 소실 문제가 발생할 수 있다.
③ ReLU(Rectified Linear Unit)
ReLU(z) = max(0, z)
- ReLU(-3) = 0
- ReLU(0) = 0
- ReLU(5) = 5
ReLU는 계산이 간단하고 양수 영역에서 기울기가 1이므로 은닉층에서 널리 사용된다. 다만 음수 영역에서는 기울기가 0이어서 뉴런이 활성화되지 않는 상태가 지속될 수 있다.
7. 출력층과 문제 유형
출력층의 구조와 활성화 함수는 해결하려는 문제에 따라 달라진다.
| 문제 유형 | 출력층 함수 | 출력 뉴런 | 예시 |
|---|---|---|---|
| 회귀 | 항등 함수 | 예측값 수에 따라 결정 | 집값, 매출 |
| 이진 분류 | 시그모이드 | 일반적으로 1개 | 스팸, 고객 이탈 |
| 다중 분류 | 소프트맥스 | 클래스 수만큼 | 숫자, 동물 분류 |
회귀(Regression)
연속적인 수치를 예측한다. 출력값에 별도의 제한을 두지 않는 일반적인 회귀 신경망에서는 항등 함수 y = z를 사용한다.
이진 분류(Binary Classification)
두 클래스 중 하나를 예측한다. 출력층에 시그모이드를 적용하면 0과 1 사이의 값을 얻을 수 있다. 일반적으로 임계값 0.5를 기준으로 클래스를 결정하지만, 업무 목적에 따라 임계값을 조정할 수 있다.
다중 분류(Multiclass Classification)
세 개 이상의 상호 배타적인 클래스 중 하나를 선택하는 문제다. 출력층에 클래스 수만큼 뉴런을 두고 소프트맥스를 적용하는 방식을 흔히 사용한다.
8. 소프트맥스(Softmax)
소프트맥스는 여러 출력 점수를 확률 분포처럼 변환하는 함수다. 각 출력은 0보다 크고 1보다 작으며, 전체 출력의 합은 1이 된다.
예를 들어 동물 분류 모델이 다음 결과를 출력했다고 가정하자.
| 클래스 | 출력값 |
|---|---|
| 강아지 | 0.10 |
| 고양이 | 0.80 |
| 토끼 | 0.10 |
| 합계 | 1.00 |
가장 높은 출력값은 고양이의 0.80이므로 모델의 예측 클래스는 고양이다. 단, 소프트맥스 출력값 역시 별도의 보정 없이 실제 정답 확률과 정확히 일치한다고 보장되지는 않는다.
9. 핵심 개념 한눈에 정리
| 개념 | 핵심 역할 | 기억할 내용 |
|---|---|---|
| 퍼셉트론 | 입력의 가중합 계산 | z = w·x + b |
| 결정경계 | 클래스 구분 | 단층 퍼셉트론은 선형 경계 |
| AND / OR / NAND | 논리 연산 구현 | 단층 퍼셉트론으로 구현 가능 |
| XOR | 비선형 분류 예제 | 직선 하나로 분리 불가 |
| MLP | 여러 신경망 계층 연결 | 비선형 문제 학습 가능 |
| 계단 함수 | 이진 출력 | 0 또는 1 |
| 시그모이드 | 이진 분류 출력 | 0~1 사이 값 |
| ReLU | 은닉층 활성화 | max(0, z) |
| 항등 함수 | 회귀 출력 | 입력값 그대로 출력 |
| 소프트맥스 | 다중 분류 출력 | 출력 합계 1 |
10. 최종 암기 문장
퍼셉트론은 입력의 가중합을 계산하고, 활성화 함수는 그 값을 변환한다. 단층 퍼셉트론은 선형 문제를 해결하며, MLP는 여러 계층과 비선형 활성화 함수를 통해 XOR 같은 비선형 문제를 학습할 수 있다. 은닉층에는 ReLU를 널리 사용하고, 출력층은 회귀에는 항등 함수, 이진 분류에는 시그모이드, 다중 분류에는 소프트맥스를 주로 사용한다.
마무리
딥러닝을 이해하는 첫 단계는 수식을 외우는 것보다 각 개념이 어떤 역할을 하는지 연결하는 것이다. 특히 가중합 → 활성화 함수 → 신경망 구조 → 출력층의 흐름을 이해하면 이후 학습할 손실함수(Loss Function), 역전파(Backpropagation), 경사하강법(Gradient Descent)의 개념도 자연스럽게 연결할 수 있다.
다음 학습에서는 예측값과 실제 정답의 차이를 계산하는 손실함수와 모델의 가중치를 업데이트하는 학습 과정을 살펴볼 예정이다.
```