분류 전체보기
-
PR-304: Pretrained Transformers As Universal Computation Engines자율주행스터디 2022. 1. 21. 15:46
일부만 이용--> fpt lstm 보다 좋음? 파라미터는 0.1퍼밖에 되지 않음 자연어 데이터-->pretraining --> vision 으로 시퀀스 길이 1000개 비트 인풋 15 512개의 벡터를 먹임 그레이스케일, 4*4로 자르면 8*8 로 64개의 토큰이 생김 4*4 이미지니까 16짜리 디멘션(시퀀스 랭스가 64) 컬러 이미지 Long Range A gray scale --> 하나하나 bit string 처럼 넣어주는 것 1*1 d이니까 1024개의 토큰 (랭스가 긺) 단백질 접힘 예측 이미지 데이터--> 학습 --> 자연어에 적용? 될 것인가???? transfer 가 잘 될것인지? feedforward 만 추가했을 때 퍼포먼스 올라감 다 추가하면 오버핏 아웃풋 레이어는 반드시 fine tun..
-
-
-
PR-243: Designing Network Design Spaces자율주행스터디 2022. 1. 21. 13:43
디자인 스페이스 --> 샘플링 --> 학습--> 에러 분포도 보면 좋은 디자인 스페이스 내에서 있음--> 에러 낮은 데를 찾자! 에러 평균, variance 낮게 하는게 목표 샘플링 에러율이 50프로미만인얘가 60프로이다 복원추출 ( bootstrap ) 파란색연한부분이 베스트 모델(신뢰도 90프로) 구간 body 부분 집중 바디를 4개의 stage로 구성(4가 제일 좋았음) 하나의 스테이지 안에 d 개의 block 존재 1 by 1 bottleneck block 안의 구조에 대한 이미지 group conv 쓴다. 전체채널 100 개 그룹 이 20개다 --> 5개 채널이 한 그룹에 (g_i) g = 그룹 하나에 들어가는 채널의 개수 b_i = 몇분의1로 줄일건지 -- > bottle neck ratio ..
-
자율주행스터디_2_0121(BiFPN)자율주행스터디 2022. 1. 21. 13:01
– While previous works mainly rely on bigger backbone networks [24, 35, 34, 10] or larger input image sizes [13, 45] for higher accuracy, we observe that scaling up feature network and box/class prediction network is also critical when taking into account both accuracy and efficiency 지금까지 더 높은 정확도를 위해 인풋사이즈를 키우거나 백본 네트워크를 크게 하였지만 우리는 이러한 것이 정확도와 효율성을 동시에 생각했을 때 별로라는 생각이 들었다. 서로다른 해상도에서 피쳐들을 강조하는..