미분과 적분이란? 그리고 미분과 적분의 데이터 분석에서의 활용

Notice

Recent Posts

Recent Comments

Link

« 2024/12 »
일	월	화	수	목	금	토
1	2	3	4	5	6	7
8	9	10	11	12	13	14
15	16	17	18	19	20	21
22	23	24	25	26	27	28
29	30	31

Tags more

Archives

Today

Total

관리 메뉴

one of a kind scene

미분과 적분이란? 그리고 미분과 적분의 데이터 분석에서의 활용 본문

데이터 분석 이론/일반

미분과 적분이란? 그리고 미분과 적분의 데이터 분석에서의 활용

specialscene 2020. 4. 17. 01:57

용어 정리 및 어원

- Calculus 어원

: 어원적으로 라틴어 calculus 는 '작은 돌( small stone ), 조약돌( pebble )'을 의미하는데 이러한 돌을 계산을 할 때 사용해서 단어 calculate(계산하다)도 여기에서 유래됨

- 미적분 : Calculus

- 미분 : Differential Calculus, Differentiation

- (참고) 도함수 : Derivatives

- 적분 : Integral Calculus, Integration

수학적 표기법

- 미분(D, d) : Differential의 D를 의미

- 적분(∫) : 영문 대문자 S자를 길게 늘여뜨린 모양. Sum의 S를 의미

미분이란?

- 미분의 가장 정확한 표현은 순간변화율 이다.

- 적분의 반대말이 미분(정확히 말하면 부정적분이 미분과 반대말 관계)

- 비유적으로는 미분은 미세하게 쪼개는 것(적분은 쌓는 것)

- 아마도 순간변화율을 구하는 방법이 나누기라서 미분이라고 부르는 것 같다고 함

(변화율이란?)

- 속도(력)는 시간에 대한 위치변화(이동거리)의 변화율이고, 중학교 때 배우는 직선의 기울기는 x값에 대한 y값의 변화율이다.

- 변화율을 말하려면 변화율의 기준이 되는 놈이 있어야 한다

미분의 종류

1) 미분의 기하학적 의미

- 공간에서 위치가 변함에 따라 (함수로 표현되는) 어떤 양이 어떻게 변하는지를 측정하는 도구

- y=f(x) 위의 임의의 점 (x, y)에서의 접선의 기울기

2) 전미분(=일반적인 미분, total, total differnetial, D, d)

- y = f(x, y, z) 일때 x, y, z 각각으로 모두(total) 미분하는 걸 "전미분" 이라고 한다

- 아래 예제에서 fx, fy, fz, fw는 각각 x로, y로, z로, w로 미분한 값을 나타냄

- 각각을 편미분한 값을 괄호로 묶고 편미분한 변수(예 : dx)라는 표식을 붙여줌

- 즉, (2xy+z)dx는 x로 미분한 값이라는 것을 뜻함

3) 편미분(partial, partial differential, ∂)

- 편미분은 한쪽에 편중해서 미분하겠다라는 의미

- ∂y / ∂x1의 뜻은 분자에 있는 y를 분모에 있는 x1으로 미분했다는 의미

4) 변화량(delta, △, δ)

- △x 는 '델타엑스'라고 읽는다

- △x 는 어떤 구간에서의 x의 변화량을 나타낸다.

- 만일, x가 x1에서 x2로 값이 변했다면 △x = x2 - x1이다.

- dx는 △x를 무한히 작은 값으로 보낸 극한에서의 개념이다

미분의 Chain Rule(연쇄 법칙) : 합성 함수의 도함수를 구할 때 이용되는 법칙

1) 도함수(Derived Function)

- 미분을 한다 = 도함수를 구한다

- 도함수의 '도(導)'는 이도할/이끌 도 → 도함수는 미분하여 이끌어낸 함수라는 뜻

- 도함수는 어떤 함수를 미분하여 얻은 함수로, f(x)의 미분 계수라고도 함

2) 두 함수를 합성한 합성 함수의 도함수(derivative)에 관한 공식 → 합성 함수를 떠올리자

3) 오차 역전파(Backpropagation)에서 Chain Rule이 사용된다

- 오차 역전파의 목적은 Loss(오차, L)가 나왔을 때 Loss가 나오게끔 한 x의 weight를 구해서 Loss가 줄어들게 끔 weight 값을 update 하는 것

- (참고) 업데이트는 기울기가 작아지는(혹은 커지는) 방향으로 learning rate 만큼 움직여서 변화함

- ∂L / ∂x = 미분을 통해 Loss가 나오게끔 한 x의 weight를 구한다는 의미

- 이 과정에서 chain rule이 사용됨

미분의 최적화(Optimization) 활용

- 2차원 최적화(Otimization) 과정에서 최대/최소 값은 보통 기울기가 0인 지점에서 나타나기 때문에 최대/최소 지점을 찾는 경우에도 미분이 사용됨

적분이란?

- 아래 그림에 나와있는 적분(∫) 식의 의미는 "x를 a부터 b까지 변화시키면서 f(x)에 dx를 곱한 것을 전부 합쳐라" 라는 의미

- dx는 △x를 무한히 작은 값으로 보낸 극한에서의 개념이다

- 예를 들어, 어떤 직사각형이 있고 이 직사각형의 밑변의 길이가 △x라 하자. 이제 이 직사각형을 세로방향으로 잘라서 둘로 나누자. 그럼 밑변의 길이가 △x/2가 된다. 그런데 이 사각형을 무한히 계속 나눈다면 하나의 기다란 선처럼 될 것이고, 이 선의 밑변의 길이는 0은 아니지만 0에 무한히 가까운 값이 될 것이다. 상상속에서만 존재하는 이 선의 밑변의 길이가 바로 dx이다. (편의상 dx를 길이라고 했지만 dx는 +, - 부호를 갖는 값이다. x가 증가하면 +, 감소하면 -이다. dx의 정확한 표현은 x의 순간변화량이다)

- 그렇다면, f(x)dx가 의미하는 것은 빨간색 선의 넓이.(면적)라는 것이다 (f(x)가 높이, dx가 밑변)