파이토치 파이토치

cost function J(theta) 두번째 항이 왜 저렇게 생겼냐면 세타_0 가 초기항이고 저걸 빼줘야 한다! 그리고 왜 transpose 냐면 뒤에 n*1 행렬인 gradient(theta에 대한) 이 있으므로 1*n 사이즈로 만들어줘야해서 그렇다! 그렇게 되면 스칼라값이 나오게 된다 그런데, 뒤에 J(theta) 가 있으므로, J(theta) + 스칼라값 * J(theta) 가 나오는 것이다! 뒤에 1/2 그다음 H 함수는 그라디언트는 1차 미분인데 비해, 헤시안 행렬은 다음과 같다 2차 미분 식이다. 그레디언트는 1차미분이라 n*1 행렬인데 헤시안은 2차미분이라 1*n 사이즈의 행렬을 곱해도 된다! 그러면 1*m 행렬이 나오게 될 텐데 , 왜 1/2 이 붙었냐하면 테일러시리즈를 보면된다. f ..

(X_T * X )_ -1 = X _-1 * X_T_-1 , X _-1 * X_T_-1 * X_T = X_-1 * I (eigenvector I). = X_ -1 (X의 역행렬) X_ -1 (X의 역행렬) * y = 베타_햇 (예상치 파라미터) y = 정답지 y = X *베타_햇(실제값 * 예상치 파라미터) 예상치 파라미터 베타_햇 이 작아져야 합니다!!! 이건 회귀계수 라고도 부름. 앞으로 햇이 붙은 것은 추정치라고 생각합니다! LOSS 함수의 첫번째 항은 Variance 인데, 이게 최소가 되어야 한다!! 뒤의 항은 BIAS 로, 베타를 이용해 표현한다! 총쏘는데 분산되면 안되니까 분산값은 최소로 하고 베타를 이용해 적이 표적지 다른 데에서 나타나도 표적지만 맞추지않게 바이어스를(거리를) 좀 주는 것..

clf = make_pipeline(StandardScaler(),LinearSVC(random_state=0, tol=1e-5)) clf = make_pipeline(StandardScaler(),SVC(gamma='auto')) Regression (회귀) 라서 작동을 안한다 Classifier (분류)기만 작동 하는 듯... clf = make_pipeline(StandardScaler(),SVR(C=1.0, epsilon=0.2))

gradient boosting regression tree는 여러 개의 decision tree를 묶어 강력한 model을 만드는 ensemble기법입니다. random forest와 달리 gradient boosting model은 이전 tree의 오차를 보완하는 방식으로 tree를 만듭니다. gradient boosting은 무작위성이 없어 powerful한 pre-pruning이 사용되며 1~5 정도 깊이의 tree를 사용하므로 메모리를 적게 사용하고 예측도 빠릅니다. # clf9 = Pipeline([ # ('feature_selection', SelectFromModel(LinearSVC(penalty="l1"))), # ('classification', RandomForestClassifie..

주가를 1주당 매출액으로 나눈 수치로 비율이 작을수록 주가가 상대적으로 저평가된 것으로 볼 수 있다.TTM

gradient 를 자동 계산하기 위해 GPU 를 사용하기 위해 TF, PyTorch 사용한다 GPU 에서 돌아가기 위한 데이터 형태로 .type 으로 바꿔줍니다!!!

https://www.youtube.com/watch?v=\_JB0AO7QxSA&list=PLC1qU-LWwrF64f4QKQT-Vg5Wr4qEE1Zxk&index=7 앞선 글에서는 Learning rate 이 있었지만 지금은 없다 그러나 이 모델은 딥러닝에 조금 실용적이지 않을 수 있다 헤시안 매트릭스가 n*n 인데 n은 파라미터의 수이다 근데 파라미터수가 1억개이면 1억 *1억이면 너무 크잖아 메모리에 저장할수도없을거고 변형도 불가할거야 그래서 근사 뉴턴 방법을 쓰지 그래서 아담은 좋아 거의 대부분의 케이스에서 하지만 너가 연산이 개짱좋은 하드웨어도 있고 돈도많다면 노이즈도 없앨수있다면 L-BFGS 를 한번 써봐 로우(z)가 확률밀도 함수 , f(x,z)가 두개의 인자를 받은 함수이다. 동영상에서도 z..

https://www.youtube.com/watch?v=WCEXYvv-T5Q&t=657s 회귀(Regression) : 예측해야할 데이터가 연속적인 값 일때 회귀 라고 함 많은 데이터 모델을 한 번에 스택 가능하고 학습 시키고 예측시킬 수 있다는 장점이 있다. 데이터 가공(ETL)을 거쳐 모델을 훈련하고 예측하는 과정을 transformers 가 해줌 센서별, 타임별로 있으므로 이런 값들을 예측하기 위해서는 두가지 접근이 필요함 깔끔하게 이 것을 캡슐화한 것이다. Estimator 를 추상기라고 부르자. 추상기(pipeline)는 인스턴스화 되었다 힙 메모리에 있다는 뜻이다. 파이프라인 안에 파이프라인을 만들 수 있을 정도로 유연하다 reg 라는 객체를 빨간색선으로 생성! reg = Logistic_r..