[상주] (단기)딥러닝(특정 NER Label만 인식)

XLM-RoBERTa 모델에서 NER task를 Fine-tunning 하는데 전체 NER Label 중에서 특정 NER Label만 인식하는 모델을 학습. 여기에서 제한된 NER 리스트 입력을 추가하여 해당 NER 리스트에 포함된 토큰만 인식하도록 모델을 생성하고자 함. 예시로 전체 NER Label은 “주어, 동사, 목적어, 명사, 대명사”가 있을 때, “주어, 동사, 명사”만 인식하도록 학습하고 싶다면 다음과 같이 입력을 정의함. NER_map { 0: O, (미인식 토큰) 1: 주어, 2: 동사, 3: 목적어, 4: 명사, 5: 대명사 } “나는 밥을 먹는다” 라는 문장이 있다면, 이를 토큰화 하여 [“나는”, “밥을”, “먹는다”]로 분리한 후, NER 토큰 [“주어”, “O”, “동사”]을 [1, 0, 2]로 인코딩 진행. 그리고 인식하고자 하는 토큰 리스트 [“주어”, “동사”, “명사”]를 [1, 2, 4]로 인코딩 진행. 이러한 경우, 목적어(3)은 인식 대상이 아니므로 O(0) 미인식 토큰으로 학습.

10

2023.05.01

경기도 성남시 분당구 정자동 정자일로 162

평일 9시~6시