산술평균(arithmetic mean),CNN,attention unit

https://www.youtube.com/watch?v=W2rWgXJBZhU 

확률 * actual value

context  C 로 결정됨(확률의 weight )

CNN 처리를 해서 인풋 y 들이 있음

weight vector 들은 업데이트 가능함(training data 로) 

tanh 는 이미지를 smoothing 하는 효과가 남(함수의 형태로,,, 높은값은 1근처에서 별로 차이x,낮은값도 -1근처에서 별로차이 x)

이미지의 아웃풋이 C 와 의 유사도는 다음과 같이 Context C 와 regions Y 의 내적이다.

더 유사할 수록 내적의 값은 높다. 

tanh 를 각각 안써줘도 내적으로 가능함 (차원축소?) 

all region randomly: Hard Attention 

soft attention

hard attention