반도체 AI, 베이지안 뉴럴 네트워크의 중요성

단위공정 들을 이용하여 

패턴을 형성한다

twin-well 형성--> 트랜치 및 FOX 형성 --> 채널 이온 주입 --> MOSFET 형성 --> 금속배선층 형성 --> PAD 개방 및 보호막 형성

이온주입( 문턱 전압값 조절)

채널 이온주입때는 증착 과정이 빠진다.

증착은 얇은 박막을 만들때 사용되므로, 이온주입은 많은 이온(3족원소 및 5족원소) 을 주입하는 것이므로, 증착과정은 아니다.

 

 액티브 영역과 임플란트 영역의 다른점은, 액티브 영역이 더 작은영역인데, 

실제 이온이 주입되는 영역을 말한다.

남는 공간은 필드 산화막으로, 이온주입을 막는다.

파티클이 있는지 defect map 으로 알 수 있음

전자/광학 현미경으로 defect image 나옴

특이사항또한 저장된다

빈 넘버 부여

정상인곳은 1

불량--> 여러 타입의 여러 번호

어떤공정이 원인인지 파악가능 (엔지니어가 할 일)

분류문제의 타입

향후의 수율 예측(회귀문제)

불량의 종류 클래스 분류 문제

데이터가 하루 수천~수만장 생성되어 레이블링을 일일이 할수없어서

unlabeled data에 대한 분류 비용을 최소화하는 방법을 찾아야한다

소량만 레이블링 진행하여 머신러닝을 구축

그다지 좋은 성능아님

--> 다시 unlabeled pool 에 넣음

--> 학습에 더 좋은 sample을 계산

--> 모델 재학습

(phase 1)

Useful sample = 보라색

휴리스틱--> 확실하지 않은 예측확률을 갖는 Sample

결정경계에 가까운2번이 분류하기에 어려운 샘플이다.

least confidence : 가장높은 확률이 낮을 수록 어려운 샘플

엔트로피 : 엔트로피가 더 큰 것이 어려운 샘플

서로다른 결정경계를 가질 것입니다.

1번은 어떤 모델이던지 같은 클래스로 분류됨

3,4 번 샘플은 각각의 모델에따라 다른 클래스로 분류됨

파란샘플들이 빨간샘플들을 대표할 수 있다.(쏘카 데이터에도 이용할 수 있지않을까 생각함 map based) 

첫번째 dropout 때 검은색(꺼진것) 노드가 있음

on off 를 바꾼상태로 dropout 진행 

변동이 클수록 학습에 어려운 샘플이다.(샘플1 해당)

베이지안 드롭아웃 방법론이 가장 좋은 성능이다.

!!!!

a small drop out rate eliminates the Monte-Carlo sampling utility

Uncertainty estimation 은 자율주행에서 중요하며(빛의 플로우와 뎁스를 추정하는데) 

하이퍼파라미터 조정을 위해 쓰이기도 한다.

하이퍼파라미터는 벨리데이션 분할을 이용하여 조정한다.

단순 그리드 서치를 이용해서 하이퍼파라미터를 찾는것보다, 여러 로스 펑션들에 웨이트 를 주는 하이퍼파라미터들로 좀 성가시게 되었다.

 

 

drop out 로스 함수

expectation + 정규화 텀

적분이 어려우니 기댓값으로 대신(Monte Carlo 적분법 )

Resnet 과 비슷하게 

분포를 유도할 수 있다!

error term 만 back prop 된다

빨간줄 쳐놓은 부분 (error term)

 

W 웨이트 값의 확률 분포를 학습

베이지안 뉴럴 네트워크의 핵심 아이디어

오차항을 기준으로 하게 된다. 

샘플링을 여러번--> 결과값을 평균 

t,w

joint dist(조인트 분포, )

확률값을 제대로 추론하기에 softmax 는 less reliable 함

주황색 엑스 가 out of distribution 샘플

LOSS surface 위에서 local minimum 근처에있는 weight 값들 이 가능한 solution들이다. 라고 생각하는것.

SWA 를 하는 파라미터를 가우시안 분포한게 SWAG 이다