최적화 조건의 일반화와 그 증명

이 글은 제가 공부한 내용을 정리하는 글입니다. 잘못된 내용이 있을 수 있으며, 잘못된 내용을 찾으셨다면 리플로 알려주시길 부탁드립니다. 감사합니다.

Numerical Optimization, 즉 수치최적화를 공부하고 그 내용을 정리하고자 합니다.

Univariate function 의 최적화 조건의 일반화에 대한 증명을 잘 정리해 놓은 글을 찾았습니다. 이 증명은 Higher-order derivative test 의 증명 방법 중 하나로 이해됩니다. 원문의 증명 과정중 간단하게 생략하거나 말로만 설명한 부분들의 수식을 보충해서 번역했습니다. 원문은 가장 아래에 링크를 적었습니다. 티스토리 수식입력 기능이 한글을 지원하지 않아 번역임에도 수식을 영어와 혼용해서 쓰겠습니다.

증명하고자 하는 명제는 다음과 같습니다.

명제를 번역하면,

함수 f 가 x_0 에서 n 번 미분 가능할 때, x_0 에서의 마지막 n 차 미분항 f_n ≠ 0 이고, 나머지 미분항은 0 일 때

(a) n 이 양수이고 n 차 미분항 f_n 이 x_0 에서 0 보다 크다면 x_0 는 local minimum

(b) n 이 홀수라면 x_0 는 함수 f 의 극점이 아니다.

입니다.

f(x_0) 에서의 테일러 급수 전개를 P 라고 했을 때

여기서 f(x) 의 x_0 에서의 테일러 급수 전개가 P 이기 때문에 Lemma 에 나오는 극한 부분의 분자만 따로 떼서 계산하면 0이 됩니다.(f(x) = P 이므로) 분자 부분의 (x - x_0) 부분은 이후 증명의 전개를 위해 집어 넣은 항이라고 이해 했습니다.

위 Lemma 의 식을 n번째 마지막 항만 빼서 다시 정리하면

수식을 간소하게 정리하겠습니다.

여기서 Q(x) 와 g(x) 의 n 차 미분에 대해서 먼저 정리하겠습니다.

이제 원래 극한이 들어간 수식을 로피탈 정리를 이용해서 다시 표현하면

여기서 최초 명제의 내용을 가정하겠습니다.

위 극한값은 0에 수렴하고, 연속성에 의해서 위 수식의 대괄호 안 두개의 항은 같은 부호를 가져야 합니다.

여기서 n 이 짝수인지 홀수인지와 상관없이 n이 자연수이기 때문에 n! 은 양수입니다. 그렇다면, n 이 짝수일 때 (x-x_0)^n 은 양수이고, n 이 홀수일 때 (x-x_0)^n 의 부호는 확정할 수 없습니다.

여기서 일반성을 잃지 않기 위해 두가지 가정을 추가하겠습니다.

Assume this two conditions are ture

1] x ∈ Nbh(x_0)

2] f(x_0) = 0

(x ∈ Nbh(x_0) 이기 때문에 f(x_0) ≠ 0 이 아니어도 증명가능합니다.)

1) n 이 짝수일 경우

2) n 이 홀수일 경우

위의 증명과정에서 두개의 항이 항상 같은 부호를 가진다는 것을 보였습니다. 이 두 항을 다시 한번 생각해봅니다. 두 항에서 변수라고 할 수 있는 것은 오로지 x 뿐입니다. x_0, n 은 증명과정에서 특정 상수라고 가정하기 때문입니다.

그렇다면인 경우를 생각해보겠습니다. 이 경우 좌측항 또한양수여야 하는데,

(x-x_0)^n 의 부호에 따라 f(x) 의 부호가 바뀌게 됩니다. 즉 x 가 x_0 에 무한이 가까워질때, x+ 방향과 x- 방향에 따라 f(x) 의 부호가 바뀌게 됩니다. 따라서 f(x) 가 x → x_0 로 수렴하는 극한에서 양방향의 부호가 다르기 때문에 x_0 는 local minimum 이 아니게 됩니다.

인 경우 또한 위와 같은 과정으로 똑같이 증명할 수 있습니다. 두 경우 모두 f(x) when x → x_0 일 때 f(x) 의 양방향의 부호가 달라지기 때문입니다.