Tensorflow1

신경망은 뉴런이 기본 요소임. 뉴런은 퍼셉트론이라고도 불림(tensorflow1). 입력을 받아서 계산 후 출력을 반환하는 단순한 구조임.

 

신경망은 뉴런이 여러개 모이면 레이어를 구성하는데 이 레이어가 다시 여러개의 형태로 구성되어지는 것이 신경망이라고 한다.

뉴런과 레이어를 우리말로 각각 신경 세포와 층이라고도 한다.

 

뉴런은 입력, 가중치, 활성화함수, 출력으로 구성된다.

 

[뉴런의 구성요소]

입력X --> 활성화함수 f --> 출력Y        (가중치w)

위의 뉴런의 출력 계산식은 다음과 같다.

Y=f(X*w)

 

뉴런에서 학습할 때 바뀌는 것은 가중치이다.

 

활성화함수(가중치의 출력값에 점점 가까운 값을 얻을때 쓰여지는 함수)로는 시그모이드, ReLU등을 주고 쓰게 된다.

신경망 초기에는 시그모이드가 주료 쓰였지만 은닉층을 다수 사용하는 딥러닝 시대가 되면서 ReLU가 더 많이 쓰여지게 되었다.

 

뉴런의 학습은 w의 활성화함수의 출력에러값에서 0에 가까워지는 값을 얻는 것이다.

 

뉴런이란 결국 w이다.

 

편항(bias)란 늘 한쪽으로 치우친 고정된 값을 받아서 뉴런이 아무것도 배우지 못할경우 넣는 값을 말함. 

 

입력X ---> 활성화함수f ---> 출력Y        (가중치w) 입력1 -----------┙        (편향b)

출력 계산식

y=f(X*w+1*b)