codebert에 model.from_pretrained에서, 단순히 codebert를 graphcodebert로 바꾸고 pairwise의 결과와의 단순 가중치 앙상블 Rank Ensemble 캐글 리더보드에 저 비율을 쓰더라 # Reading the submissions df_1 = pd.read_csv('submission1.csv') df_...

Preprocess 기본적인 데이터 추출은 baseline의 그것과 같다 class Preprocessor: def __init__(self, **args): self.__dict__.update(args) self.data_dir = Path(self.input_path) def read_noteboo...

Preprocess 이것저것 걸러내기 class PairwisePreprocessor(Preprocessor): def __init__(self, **args): self.__dict__.update(args) super(PairwisePreprocessor, self).__init__(**args) ...

Load data raw data를 dataframe으로 바꿔주는 함수 def get_df(data_dir, num_rows, folder='train'): paths_train = list((data_dir / folder).glob('*.json'))[:num_rows] notebooks_train = [ rea...

Overview 이 대회의 목적은 파이썬 (주피터) 노트북의 코드와 코멘트 사이의 관계를 이해하는 것이다. 당신은 주어진 노트북의 코드셀의 순서에 따라, 어떤 자연어가 코드와 연관되는지 파악하여 마크다운 셀의 순서를 재구성 해야한다. Context 구글과 알파벳의 리서치 팀은 머신러닝이 소프트웨어 개발자들을 보조할 수 있는 새로운 방법을 찾고있으...

이 절에서는 BERT를 사전학습 시키는 방법을 알아본다. 그런데 사전 학습이란 무엇일까? 모델을 하나 학습시켜야 된다고 가정해보자. 일단 특정 태스크에 대한 방대한 데이터셋으로 모델을 학습시키고 학습된 모델을 저장한다. 그 다음으로, 새 태스크가 주어지면 임의 가중치로 모델을 초기화하는 대신 이미 학습된 모델의 가중치로 모델을 초기화한다. 즉, 모델이...

BERT 논문 저자들은 아래와 같이 두 가지 구성의 모델을 제시했다. BERT-base BERT-large 각각을 자세히 알아보자. 2.3.1 BERT-base BERT-base는 12개의 인코더 레이어가 스택처럼 쌓인 형태로 구성되어 있다. 모든 인코더는 12개의 어텐션 헤드를 사용하며, 인코더의 피드포워드 네트워크는 768개 차원...

이름에서 알 수 있듯이 BERT는 트랜스포머 모델을 기반으로 하며, 인코더-디코더가 있는 트랜스포머 모델과 달리 인코더만 사용한다. 1장에서 문장을 트랜스포머 인코더에 입력하고 문장의 각 단어에 대한 표현 벡터를 출력으로 반환한다는 것을 확인했다. 그럼, 양방향 (Bidirectional)이라는 단어는 무엇을 의미할까? 트랜스포머 인코더는 원래 양...

BERT (Bidirectional Encoder Representation from Transformer)는 구글에서 발표한 최신 임베딩 모델이다. 질문에 대한 대답, 텍스트 생성, 문장 분류 등과 같은 태스크에서 가장 좋은 성능을 도출해 자연어 처리 분야에 크게 기여했다. BERT가 성공한 주된 이유는 문맥이 없는 워드투벡터와 같은 다른 인기 있는...

인코더와 디코더를 포함한 완전한 모양의 트랜스포머 아키텍처는 다음과 같다. 그림 1-63 트랜스포머 인코더, 디코더 $N \times$ 는 인코더와 디코더를 $N$개 쌓을 수 있음으로 나타낸다. [그림 1-63]에서 알 수 있듯이, 입력 문장 (소스 문장)을 입력하면 인코더에서는 해당 문장에 대한 표현을 학습시키고, 그 결괏값을 디코더...