[머신 러닝] 가중치 (W), 편향 (Bias)

인공지능을 공부하면 처음 가중치 (W), 편향 (Bias)에 대한 단어가 계속 나오는데
이번에는 가중치와 편향에 대해서 알아볼까한다.

가중치 (Weight)

각 입력 신호가 결과 출력에 미치는 중요도를 조절하는 매개 변수 → 입력 값에 곱해지는 수
활성화 함수에 따라 기울기를 증가시킴 (기울기가 커질수록 모델에 더 많은 영향을 미치게 됨)

처음 들어온 데이터 (입력층)에서 다음 노드로 넘어갈 때 모두 같은 값이면 계속 같은 값이 나오기 때문에
입력 값에 곱해주면서 비중을 두고 다음 은닉층 (hidden layer)로 전달해주는 것이 목표이다.

가중치

 

편향 (Bias)

뉴런의 활성화 조건을 결정해주는 매개변수 → 활성화 함수에서 설정된 임계값을 얼마나 쉽게 넘게 할 것인지 결정
(편향이 커질수록 그만큼 활성화 함수의 임계값을 넘기 어렵기 때문에 까다로움)
(편향이 작을수록 활성화되는 뉴런들이 많아져 복잡한 모델이 됨)

ex) y = wx + b라는 함수에서, wx + b가 양수가 되어 뉴런을 활성화시키고 싶으면 b가 wx보다 커야된다.

편향은 하나의 뉴런에서 활성화 함수를 거쳐 최종적으로 출력되는 값을 조절하는 역할을 해준다.

편향

 

가중치와 편향 비교

가중치만 존재하는 경우

위의 그림에서 보면 입력값은 검은색 글이고, 가중치는 빨간색 글로 이루어져 있다.
해당 모델은 가중치가 -5.3으로 제일 큰 부분이 있으므로 이것에 대한 영향을 많이 받을 것이다.
가중치가 작을수록 출력 값에 큰 영향을 주지 않는다는 것이 핵심이다.

 

편향도 존재하는 경우

-2.97, +2.33 등 다양한 값들이 나올 수 있음.
최종적으로 나온 결과물에서 편향을 넣어줘 값을 변형시킬 수 있다.

 

결론

하나의 노드에서 다른 노드로 넘어갈 때 생기는 공식에서 가중치는 기울기 역할을 해주고 편향은 y값 역할을 해주는 것이다.
-> 뉴런을 활성화하려면 우리가 설정한 임계점을 넘어야한다.