[모두의 인공지능 기초수학] 미분-2

---

9 도함수의 활용

---

💡  미분법

#1 미분방정식 : 미지의 도함수를 포함하는 방정식

👉🏻 계수

-  미분방정식의 가장 큰 미분 횟수

👉🏻 차수

- 미분방정식의 최고 계수항의 거듭제곱 횟수

 

- 선형 : 각 항의 계수가 독립변수 x에만 의존하면 선형

- 비선형 : 계수 중에서 종속변수 y에 의존하는 항이 하나라도 있으면 비선형

👉🏻 상미분방정식

- 독립변수 한 개로 미분한 도함수만 포함

👉🏻 편미분방정식

- 독립변수 두 개 이상으로 미분한 도함수를 포함

- x, y 두변수가 있어 두 변수 중 하나를 상수로 보고 미분하는 것

① y를 상수로 보고 x를 미분하는 방법 = x에 대한 y의 미분 fx(x,y)

② x를 상수로 보고 y를 미분하는 방법 = y에 대한 x의 미분 fy(x,y)

#독립변수

- x변수가 값이 변함에 따라 함수 y값도 바뀐다고 할 때 y=f(x)의 식이 성립함

- 이때 x를 독립변수라고 하며 y를 종속변수라고 함

#2 평균값 정리와 롤 정리

👉🏻 구간

- 어떤 지점과 다른 지점 사이

- 수학적 의미에서 구간은 수직선 위 두 실수 사이에 있는 모든 실수의 집합

[ 구간에 대한 기호 ]

① ( a, b ) : a < x < b   :  열린구간(open interval), 개구간

② [ a, b ] : a ≤ x ≤ b   :  닫힌구간(closed interval), 폐구간

③ ( a, b ] : a < x ≤ b    :   반열린구간(half-open interval)

④ [ a, b ) : a ≤ x < b    :   반열린구간(half-open interval)

- 닫힌 구간은 실수의 집합에서 양 끝 수를 포함하고 열린 구간은 실수의 집합에서 양 끝 수를 포함하지 않음

👉🏻 평균값 정리

                                     함수 f(x)가 닫힌 구간 [a, b]에서 연속이고 열린 구간 (a, b)에서 미분 가능하면
                                                            f(b)-f(a)/b-a = f'(c)인 c가 a와 b 사이에 적어도 하나 존재함

(1) f(b)-f(a)/b-a : [a, b] 구간에서 함수 f(x)가 주어질 때 평균변화율

- 평균변화율은 임의의 두 점을 지나는 직선의 기울기

(2) f'(c) : f(x)가 있을 때 x=c에서의 미분계수

- 미분계수는 접선의 기울기

→ 점 A, B를 지나는 직선의 기울기와 같은 접선의 기울기가 존재함

    즉, 평균값 정리는

         "곡선 y=f(x)의 접선 중에서 직선 A, B와 평행하는 접점(c1, c2)이 a와 b사이에 적어도 하나가 존재"함

👉🏻 롤의 정리

                                          함수 f(x)가 닫힌 구간 [a, b]에서 연속이고 열린 구간 (a, b)에서 미분 가능하면
                                            f(a)=f(b)이면 f'(c)=0 (a<c<b)인 c가 열린 구간 (a, b)에 적어도 하나 존재함

- 롤의 정리는 평균값 정리의 특별한 경우로 평균변화율이 0이라고 생각하면 됨

#3 속도와 가속도

👉🏻 이동거리

- 물체가 지나간 길의 거리

- 방향은 없고 크기만 있는 물리량으로 이를 스칼라양이라고도 함

👉🏻 변위

- 도착점이 출발점에서 얼마나 떨어져 있는지, 즉 위치변화를 나타냄

- 크기뿐만 아니라 방향도 있어 이러한 물리량을 벡터양이라고도 함

- △x = x₂ - x₁

- 변위는 방향이 있기 때문에 +, - 표현 필요

 

→ 이동거리와 변위가 속력과 속도를 계산하는데 필요함

👉🏻 속력

- 속력 = 이동거리 / 시간

- 속력은 이동한 방향을 고려하지 않음

👉🏻 속도

- 속도 = 변위 / 시간

- 속도는 이동한 방향을 고려함

평균변화율 ?  좌표 위 점 A와 B 사이의 변화율
순간변화율 ? 특정한 지점을 한 순간으로 잡은 변화율

- 미분에서 속도는 순간변화율 !!

- 즉, 위치가 시간에 대한 함수로 표현되어 있을 때 그 위치를 시간에 대해 미분하면 속도가 나옴

\

(1) 평균속도 = 평균변화율

- P가 수직선 위를 움직일 때 시각 t에서 점 P의 위치를 좌표 x로 나타내면 x=f(t)

- 이때 시각이 t에서 t+△t까지 변할 때 평균 속도는 함수 f(t)의 평균변화율과 같음

(2) 순간속도 = 순간변화율

- 함수 f(t)의 시각 t에서 순간변화율을 점 P의 순간속도라고 함

- 기호로는 v로 나타냄

(3) 가속도 = 속도 v의 순간변화율

- 점 P에 대해 시각 t에서 속도 v가 주어질 때 속도 v의 도함수 dv/dt는 점 P에 대해 t에서 속도의 순간변화율을 의미

- 시각 t에 따른 속도 변화, 즉 속도 v의 순간변화율

💡  미분 법칙과 오차역전파

#1 미분법칙

: 변수가 동일한 둘 이상의 함수에 대한 미분법칙

① 합(차) 법칙

- f(x)와 g(x) 모두 미분 가능하다면 함수들의 합(차) 도함수는 각 도함수의 합(차)와 같음

② 곱 법칙

- f(x)와 g(x) 모두 미분 가능하다면 f(x)의 도함수와 g(x)의 곱과 f(x)와 g(x) 도함수의 곱을 더한 것과 같음

③ 몫 법칙

- f(x)와 g(x) 모두 미분 가능하다면 분자의 도함수에 분모를 곱하고 분자에 분모의 도함수를 곱해서 뺀 값을 분모의 제곱으로 나눈 것과 같음

④ 연쇄 법칙

- 두 함수를 합성한 합성함수의 미분법

# 합성함수
두 함수 f: X → Y, g: Y → Z가 주어졌을 때
집합 X의 임의의 원소 x에 대해 f(x)를 대응시키고 f(x)를 g(f(x))에 대응시켜 x에서 z로의 함수를 만들 수 있음

(1) 일변수함수의 연쇄법칙 - 변수가 하나인 함수

- 일변수 합성함수 y=f(g(x))가 y=f(u), u=g(x)로 분해되어 있다면 다음 공식이 성립

- 각항이 dy와 dx를 미분할 때 du라고 하는 항이 한쪽은 분모로,

                                                               다른 한 쪽은 분자로 사슬처럼 이어져있어 연쇄법칙이라고 함

(2) 다변수함수의 연쇄법칙 - 변수가 두 개 이상인 함수

- 일변수함수의 연쇄법칙은 다변수함수에도 적용가능

① z를 x에 대해 편미분한 후 x를 t에 대해 미분

 

② z를 y에 대해 편미분한 후 y를 t에 대해 미분

 

③ z를 t에 대해 미분 = (1)과 (2)의 합

 

 

#2 오차역전파

👉🏻 계산 그래프

- 계산 과정을 그래프로 나타낸 것이며 노드(node)와 엣지(edge)로 표현

- 노드는 연산을 정의하며 엣지는 데이터가 흘러가는 방향

[ 계산 그래프 장점 ]

(1) 국소적 계산으로 각 노드의 계산에 집중하여 문제를 단순화 가능

(2) 역전파로 미분을 효율적으로 계산 가능

* 국소적 계산 ? 자신과 직접관계된 범위내에서만 계산

 

[ 계산 그래프 풀이방법 ]

(1) 순전파 : 왼쪽에서 오른쪽으로 진행

(2) 역전파 : 오른쪽에서 왼쪽으로 진행

 

 

👉🏻 오차역전파

- 오차를 줄이는 방향으로 바로 앞 가중치를 수정

- 가중치를 수정할 때는 순전파에서 계산한 y=g(f(x))의 편미분 값을 오차에 곱해서 하류 노드(은닉층)에 전달

- 이때 편미분을 사용하는 이유? 연결된 가중치만 고려 + 출력층과 입력층사이에 은닉층이 많아도 간단한 미분으로 기울기 계산 가능

# 역전파 : 계산결과와 정답의 오차를 구해서 이 오차에 관여하는 노드값들의 가중치와 편향 수정

→  이때, 오차역전파는 오차가 작아지는 방향으로 반복해서 수정

       횟수가 커지면 그만큼 정확성은 높아지지만 시간이 오래걸리는 단점이

       횟수가 작아지면 정확성은 떨어지지만 시간이 단축되는 장점이 있음 = 이 횟수의 주기를 1에포크라고 함

                      " 에포크를 늘리면서 가중치와 편향을 업데이트하여 점점 오차를 줄여나감 "

 

#오차역전파 계산방법

① 입력값에 가중치를 곱한 값과 편향을 합하여 그 값이 임계치인 0을 넘으면 1을 출력하고 그렇지 않으면 0을 출력하는 순전파 과정을 거침

② 출력 값과 정답의 차이인 오차를 구함 + 역방향으로 오차를 줄이는 가중치 갑으로 수정

③ 출력층의 가중치 값을 수정

④ 은닉층의 가중치 값을 수정

→  오차가 더 이상 줄어들지 않을 때 까지 ② ~ ④ 과정 반복

👉🏻 오차역전파 계산

# 덧셈의 노드 역전파 : 그대로 전파

- 상류(출력)에서 1.5 값이 입력되었다고 가정하면 덧셈 노드의 역전파는 입력된 값을 그대로 다음 노드로 전파

# 곱셈의 노드 역전파 : 서로 바꾼 값 곱하기

- 상류에서 1.5값이 입력되었다고 가정하면 곱셈 노드의 역전파는 상류(출력) 값에 순전파의 입력신호를 서로 바꾼 값을 곱해서 하류(은닉층)로 보내면 됨

 

지금까지 배운 미분, 계산그래프, 역전파는 모두 인공지능의 오차역전파를 이용한 가중치와 편향 값을 조정하는 것 

= 이를 최적화 라고 함