02_빅데이터 기술 및 제도(9) - 인공지능 데이터 학습의 진화

2) 인공지능 데이터 학습의 진화

① 전이학습(Transfer Learning)

 전이 학습은 기존의 학습된 모델의 지식을 새로운 문제에 적용하여 학습을 빠르고 효율적으로 수행하는 머신러닝 기법이다. 전이학습은 기존의 모델이 학습한 특성, 가중치, 표현 등을 새로운 모델에 전달하여 새로운 작업에 적용하는 방식으로 작동한다. 비슷한 분야에서 학습된 딥러닝 모형을 다른 문제를 해결하기 위해 사용하고자 할 때 적은 양의 데이터로도 좋은 결과를 얻을 수 있다.

 

● 주로 이미지, 언어, 텍스트 인식과 같이 지도학습 중 분류모형인 인식(recognition)문제에 활용 가능하다.

ー 인식 문제의 경우 데이터 표준화가 가능하여 사전학습모형 입력형식에 맞출 수 있다.

 

② 전이학습 기반 사전학습모형(Pre-trained Model)

학습 데이터에 의한 인지능력을 갖춘 딥러닝 모형에 추가적인 데이터를 학습시키는 방식이다.

● 데이터 학습량에 따라 점차 발전하는 것도 중요하지만, 응용력을 갖추는 것 또한 필수적이다.

● 상대적으로 적은 양의 데이터로도 제한된 문제에 인공지능 적용이 가능하다.

ー 이미 학습된 사전학습모형 데이터를 함축한 초보적 인공지능으로서 충분한 가치를 지닌 새로운 의미의 데이터라고 할 수 있다.

 

③ BERT(Bidirectional Encoder Representatins from Transformers)

2018년 구글에서 발표한 언어인식 사전학습모형이다. 확보된 언어 데이터의 추가 학습을 통한 신속한 학습이 가능하다.

● 다층의 임베딩 구조를 통해 1억 2천개가 넘는 파라미터로 구성된 획기적인 모형이다.

● 256개까지의 문자가 입력되어 768차원 숫자 벡터가 생성되는 방식이다.

● 언어 인식뿐 아니라 번역, 챗봇의 Q&A엔진으로 활용 가능하다.