파이토치 파이토치

grid Search -->모든 조합 계산 Error 최소화되는 점 찾기 --> lambda 1,2 찾기 Prior Knowledge 를 이용해서 제약을 가해보자 ! 람다가 무한대면 베타에 대해서 제약을 많이 가한다 모든 베타가 0이될수없어서 constant 한 값을 가진다 tunning parameter t -> 0 이 감으로 제약을 가함 중간에 0으로 떨어지는 변수가 있음(빨간색 기준) selection 되는 효과가 있음(lasso에는) solution path lasso 마름모 형태로 나타남 모서리에서 0 이 되서 베타 값이 0 이되는 경우가 발생

row-wise highest probability = y_i y에서 시작해서 w 로 감 product of likelihood for everyone 두번째 식의 SUM 은 세번째식의 diagonals 의 합과 같다(대각행렬) L2 패널티 이용ㅈ W_k=Y_i 를 W_k 에 대해서 gradient 를 한 값은 identity matrix 이다. yi = k 일때 1 이고 그렇지 않다면 0 을 취합니다

, 로 되어있는게 결합확률 | 로 되어있는게 조건부 확률 P(S|R) P(R) = P(S,R) 이다 가우시안 분포 p(X|theta) 는 likelihood 함수로, 파라미터 벡터 세타로 본 가능도 함수이다 X는 관측한 데이터로 각각다른 세타의 값들로 관측된 것이다. likelihood 함수는 세타에 대한 확률분포가 아니라는 점에 명심하라 만약 set X 가 독립적이라면, 가능도함수는 다음과 같이 개별적인, 샘플을 가진 p(x_i|theta)의 가능도함수들의 product(곱) 으로 나타날 수 있다. p(X|theta)를 직접 최적화하기 보다는 우리는 p(X|theta) 에 로그를 취한것의 맥시멈값을 찾는다. mu 에 대해서 맥시멈값을 찾는다면, 이것을 mu 에 대해 편미분한뒤 그것이 0 이되는 값을 찾..

크로스 엔트로피란? 교차 엔트로피는 주어진 확률 변수 또는 일련의 이벤트에 대한 두 확률 분포 간의 차이를 측정한 것입니다. 정보 가 이벤트를 인코딩하고 전송하는 데 필요한 비트 수를 수량화 한다는 것을 기억할 수 있습니다 . 낮은 확률의 사건은 더 많은 정보를 갖고, 높은 확률의 사건은 더 적은 정보를 가집니다. 정보 이론에서 우리 는 사건 의 " 놀라움 "을 설명하는 것을 좋아합니다. 이벤트는 가능성이 적을수록 더 놀랍습니다. 즉, 더 많은 정보가 포함됩니다. 낮은 확률 이벤트 ( 놀라움 ): 추가 정보. 더 높은 확률 이벤트 ( 당연하지 않음): 정보가 적습니다. 정보 h(x) 는 다음과 같이 이벤트 P(x) 의 확률이 주어지면 이벤트 x 에 대해 계산할 수 있습니다 . h(x) = -log(P(x..