파이토치 파이토치

HOW IT RUNS ON TRIP : 언어모델에서 많이 차용 더보기 아마 트위터 인수하면서 기술들도 많이 전수가 된 듯... self supervised learning 기법도 언어모델에 많이 논문들 쏟아지고 있음. sparse computation on a dense dot production engine argmax 한 데이터와 matmul 할 데이터 : embedding table(in SRAM)로 임베딩 된값 --> 값 --> Tile --> Fuse --> Token Cache(언어모델에서 차용된 개념... 여러 칼럼값들이 들어가 있음) sparse matrix를 연산을 하기 위해서는 기존 matrix를 임베딩 차원으로 임베딩 해야 block tri diagonal 같이 효율적 계산 가능.....