cs231n :6강 Jacobian 우리가 알 수 있나? 왜 쓰는 것일까? 역행렬 써도되나?

분모항에 들어가는 ad - bc를 우리는 determinant라고 부르며, 이것을 통해서 invertible한지 안한지 알 수가 있다. 이것이 0이 된다면 invertible하지 않은 것이고, 0이 아니라면 invertible한 것이다. 자주 사용되니 알아두면 좋다.

I'll add a pointer to a more specialized result: for harmonic maps between open subsets of ℝ^2, being invertible implies that the Jacobian is invertible at every point. This is a theorem of H. Lewy (1936). Unfortunately it fails in higher dimensions.

f 와 f의 역행렬은 모두 미분가능하므로, f 의 야코비안은 미분가능하므로 어느점이나 invertible 합니다.

 

짙은 초랭이들을 왼쪽--> 오른쪽 위-->아래로 하나씩짝지어서 곱해준다음 더하면 q 행렬의 첫번째 열(스칼라 값) 이 나온다

(dot product)

 

행렬의 오른쪽은 곱할때 행렬의 왼쪽과 값이 똑같아야 곱해진다

야코비안 행렬을 정의하지않고도 product 을 연산할 수 있다

 

w의 전치행렬과 w 를 곱하면 element 가 제곱된다

(1,2,3,4,5) 와 (1,2,3,4,5) 를 행렬곱하면 (1,4,9,16,25) 가 되는데

이렇게 원소별로 곱해주려면 (1,2,3,4,5)행렬을 전치를 해주고 (1,2,3,4,5)행렬의  오른쪽에 가야 한다. 

 

위 사진에서 f 는 L2 norm 을 의미한다. 

각 엘리먼트를 곱해서 더해준게 f의 연산결과값 이므로 스칼라 값이다. 음 그렇다면 각 엘리먼트들은 1*m 형태로 있다!

이 f 함수를 x 에 대해서 그라디언트를 취해주었다

f는 1*m 행렬이므로 위 사진들에 대입해보면 

x 에 대한 f 그라디언트는 1*n 행렬이 된다

x 도 1*n 행렬이었으므로, 똑같은 형태가 되었다. 

 

변수에 대한 경사는 변수와 같은 shape 을 가져야 함 을 확인하였습니다 

dot product --> 내적.

두 개의 벡터를 바탕으로 하나의 스칼라를 만들어냄 

x 벡터의 i 번째에 해당하는 x_i 가 스칼라값이라

y를 x_i 에 대해 편미분한 값도 스칼라 값이다.