전체 글
-
nlpaugmentation카테고리 없음 2022. 1. 21. 12:40
# Install and import nlpaug package. !cp -r ../input/nlpaug-from-github/nlpaug-master ./ !pip install nlpaug-master/ !rm -r nlpaug-master import nlpaug.augmenter.char as nac import nlpaug.augmenter.word as naw import nlpaug.augmenter.word.context_word_embs as nawcwe import nlpaug.augmenter.word.word_embs as nawwe import nlpaug.augmenter.word.spelling as naws from colorama import Fore from pathli..
-
PyTorch "ShortFormer" - RoBERTa w/Chunks(kaggle study__2)자율주행스터디 2022. 1. 21. 11:29
트랜스포머 모델은 훌륭합니다. 우리 모두는 그들을 사랑합니다. 그러나 Transformer 아키텍처의 핵심인 self-attention 메커니즘에는 메모리 측면에서 (적어도) 입력 시퀀스 길이에 따라 2차적으로 확장되는 행렬 곱셈이 있습니다. 이 연산은 비용이 많이 듭니다. 그리고 이것은 바닐라 트랜스포머 를 긴 시퀀스에서 금지하게 만듭니다. 이것은 우리가 지속적으로 보고 사용하는 BERT와 같은 모델에서 최대 512개의 토큰으로 이어집니다. import os import gc import time from tqdm import tqdm from collections import defaultdict import numpy as np import pandas as pd from sklearn.metric..
-
-
kaggle study1__rapids umap tfidf kmeanCodingPython 2022. 1. 20. 18:42
import pandas as pd, os import cudf, cuml, cupy from tqdm import tqdm import numpy as np print('RAPIDS',cudf.__version__) # https://www.kaggle.com/raghavendrakotala/fine-tunned-on-roberta-base-as-ner-problem-0-533 train_names, train_texts = [], [] # 빈 리스트 for f in tqdm(list(os.listdir('../input/feedback-prize-2021/train'))): train_names.append(f.replace('.txt', '')) # 빈 걸로 바꿈 train_texts.append(..
-
-
-
한국어 임베딩 gru,LSTM(ex06)EX 2022. 1. 20. 15:06
https://github.com/Futuremine97/-E-06-emotionOFdata GitHub - Futuremine97/-E-06-emotionOFdata Contribute to Futuremine97/-E-06-emotionOFdata development by creating an account on GitHub. github.com GlobalMaxPooling1D 1d CNN 할때 사용 GRU LSTM 2층으로 쌓으면 오류가 뜬다. GRU 가 더 나은듯 epoch 중간까지 이격이 있지만 곧 가까워진다 손실함수로 KVLdivergence 썼을시 손실함수로 LogCosh 썼을 시 (위 사진) MeanSquaredLogarithmicError 썼을시 경험적으로 binarycross 가 좋..
-