이곳은 개발을 위한 베타 사이트 입니다.
기여내역은 언제든 초기화될 수 있으며, 예기치 못한 오류가 발생할 수 있습니다.

BERT

덤프버전 :

분류


이 문서는 토막글입니다.

토막글 규정을 유의하시기 바랍니다.



1. 개요


1. 개요[편집]

BERT는 구글에서 개발한 자연 언어 처리 모델이다. Transformer 구조에 Encoder를 여러 층 더한 모델이다.
학습은 다음 문장 예측(NSP)과 문장의 가려진 단어 예측(MLP)으로 학습된다.

GPT-3와 함께 대표적인 트랜스포머 활용 구조로 알려져 있다.

논문, 저자 Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova

관련 문서