전체 글
-
푸리에 급수와 앤드류스 곡선카테고리 없음 2022. 2. 9. 19:43
각 샘플의 특성 곡선 앤드류 값 곡선을 생성하는 푸리에 계수들의 시퀀스로 변환된다. 서로 다른 색의 각 클래스에 대한 표준 곡선 클러스터 데이터를 가시화 할 수 있고, 일반적으로 가까운 동일한 클래스에 속하는 샘플의 곡선이 큰 구조를 구성한다. 이렇게 써먹는다. 다른 자료와 큰 차이를 나타내는 이상치를 발견 자료간의 거리 유지 자료의 그룹화 그래서 시계열 말고도, 사진이 푸리에 급수를 이용해서 해석 가능한 것 같다 푸리에 변환을 해서 jpeg 을 만들었으니...
-
transformer 논문 리뷰카테고리 없음 2022. 2. 9. 10:46
초기모델 수렴 속도 높 >> 글로벌 미니마 찾는게 더 빨라짐 레이어는 서로 다른 파라미터를 가짐 셀프 어텐션(첫번째 어텐션) 은 문장에서 각각의단어들이 서로에게 어떤 의미인가(높은 연관성) 하는 것 두번째 어텐션에서 인코더 의 출력을 입력으로 받아 연관성 파악 쿼리는 무언가를 물어보는 주체입니다.(단어) 각각의 단어들 이 키이다(물어보는 대상,단어) 각각의단어들이 다른단어와 어떤 연관성이 있는가??? 결과값 attention value ( 가중치가 적용된) 입력문장이 들어왔을때 h개의 서로다른 attention concept -->다양한 학습 지원 벨류,키,쿼리쌍을 만들게된다 concat 해줌으로 출력디멘션이 입력과같게해준다 디코더 파트 쿼리 인코터 파트 키 벨류 키디멘션으로 노말라이션 한다
-
ex10-GAN카테고리 없음 2022. 2. 8. 22:56
이제 kernel_regularizer 를 넣어서 층을 더 깊게 만들어주었고 어떻게 되는지 보도록 하겠다. kernel_regularizer=regularizers.l1_l2(l1=1e-5, l2=1e-4) 커널 정규화로 -->> loss 의 진폭이 줄어듦, acc 의 차이가 줄어듦. 모델을 돌리고 다시 학습시키면 그 결과에서부터 학습이 이루어짐을 확인 -------------------------------------------------- 실험3 결과를 또 돌림 epoch 90으로 -------------------------------------------------------------------------------- 파라미터 수정 1회차 이걸 써보았다. 판별자는 1,1(default) 로 써줘..
-
cs231n <lecture.9>카테고리 없음 2022. 2. 7. 11:52
leNet 계열은 weight decay (L1,L2) 만 했는데 AlexNet 은 FC 를 써서 dropout 을 해서 모델의 복잡도를 조절 하였다. 뎁스 많아지는 문제는 bottleneck 구조로 해결한다. 64차원의 내적을 수행한다. --> 필터 개수로 차원 축소 인셉션 모듈 : 병렬로 필터 적용 1by1, 3by3, 5by5, pooling --> concat (depth-wise) 같은 공간차원 유지 (zero padding, stride) 더 낮은 차원으로 투영 1 by 1 bottlleneck --> reduce depth dimension Fact: Deep models have more representation power (more parameters) than shallower mod..
-
ex09) dense Resnet 문제 해결 법카테고리 없음 2022. 2. 5. 13:20
이 오류를 해결하기 위해서 dense 에 클래스 1로 설정하였는데 나는 두개로 분류해야 하는데 어떻게 해야하지..??? from tensorflow.keras.utils import to_categorical one_hot = to_categorical(label_batch) one_hot = to_categorical(image_batch) 일단이걸로 배치들을 0,1로 만들어준다...--> 이 과정빼고 하면 어떻게 되지?? --> 상관없이 동작한다. 결국 클래스와 동일한 출력을 가지려면 네트워크를 축소해야 합니다. 예를 들어, 숫자에 대해 OCR을 수행하면 Dense(10)의 최종 출력이 필요하고 최종 출력이 됩니다(숫자 0에서 9까지). -1을 해야되서 1을 dense output 에 넣어준다. x ..