[AI]_1. 딥러닝(Deep Learning)

 

딥러닝(Deep Learning)

• 머신러닝의 한 분야로 연속된 층(Layer)에서 점직적으로 의미 있는 표현을 배우는데 강점이 있으며, 데이터로부터 표현을 학습하는 새로운 방식입니다. 
• 딥러닝에서 딥(Deep)은 연속된 층으로 표현을 학습한다는 개념을 나타냅니다
• 층 기반 표현 학습(Layered representations learning), 계층적 표현 학습(Hierarchical representations learning)이라고도 합니다. 

 

 

신경망(Neural Network)

• 딥러닝은 층(Layer)들을 쌓아서 구성한 신경망(Neural Network)이라는 모델을 사용하여 학습을 진행합니다.
• 신경망은 뉴런(Neuron)들로 이루어진 그룹을 의미합니다. 신경망은 원래 신경 생물학의 용어입니다. 뉴런들의 끝이 다른 뉴런들과 연결된 구조입니다. 뇌 구조를 이해하는 것에서 영감을 받아서 딥러닝 모델의 핵심 개념을 설명하지만, 실제로 뇌를 모델링하여 만든 것은 아닙니다.
• 신경망에 구성은 Input Layer(입력층), Output Layer(출력층), Hidden Layer(은닉층)으로 구성돼있습니다.

 

 

 

 

뉴런(Neural)

• 생물학적인 뉴런의 개념에 기초한 수학적인 함수를 의미합니다.
• 뉴런이 활성 중인지에 따라서 활성 함수가 결정됩니다.

생물체의 neuron 과 딥러닝에서의 neuron

 

 

 

신경망 학습

• 신경망 학습의 목표는 가중치의 정확한 값을 찾아가는 것에 있습니다. 어떤 층이 있을 때, 해당층을 데이터가 거치면서 일어나는 변환은 해당 층의 가중치를 매개변수로 가지는 함수를 통에서 진행됩니다.

 

Weight(가중치)

• 뉴런 사이의 연결 강도를 의미합니다.
• 신경망이 훈련을 하는 동안, 업데이트되어 weight가 변경됩니다.

 

Bias(편향)

• 뉴런의 가중치를 의미합니다.
• 해당 값 또한, 훈련 시 업데이트됩니다.

 

Activation Function (활성 함수)

• 주어진 입력값들을 받는 뉴런의 출력 값을 돌려주는 함수입니다.
• 현재 뉴런의 활성화에 따라 출력값을 결정합니다. 1은 뉴런을 활성화, 0은 뉴런을 비활성화입니다.
• 대표적인 활성 함수는 Sigmoid, Hyperbolic Tangent, ReLU 등이 있습니다.

 

 

Reference - 시작하세요! 텐서플로 2.0 프로그래밍, 밑바닥부터 시작하는 딥러닝