학습데이터 부족현상 해결법, 전이학습(Transfer Learning)

학습데이터 부족현상 해결법, 전이학습(Transfer Learning)

 

전이학습이란?

- 학습 데이터가 부족한 분야의 모델 구축을 위해 데이터가 풍부한 분야에서 훈련된 모델을 재사용하는 머신러닝 학습 기법

머신러닝 모델 구축 시에 품질에 영향을 주는 큰 요소가 학습데이터의 양과 질입니다. 편향되지 않고 이상치, 결측치가 없는 풍부한 데이터를 바탕으로 한 학습모델은 좋은 성능을 보여줄 가능성이 높습니다.

 하지만 모든 분야에서 학습 데이터가 풍부한 것은 아닙니다. 학습 데이터의 부족은 곧 완전하지 않은 모델(Incomplete Model)로 이어질 수 밖에 없겠죠. 이러한 제약을 극복하기 위해 학습 방법 자체에 대한 연구, 즉 메타-학습에 관한 연구도 활발히 이뤄지고 있습니다.

 학습에 사용할만한 양질의 데이터가 충분히 확보되지 못한다면 다른 분야의 풍부한 데이터를 바탕으로 한 좋은 성능의 모델에서 일부 계층을 재활용하여 모델을 구축하는 방법을 고려해 볼 수 있습니다. 이러한 학습 기법이 바로 전이학습(Transfer Learnning) 입니다.

 

전이학습의 분류

- Target Data와 Source Data의 Lable 존재 유무에 따라 분류

Inductive Learning(귀납 학습)

- Inductive transfer learning(귀납 전이 학습)은 전이 학습의 한 유형으로, 소스 도메인과 대상 도메인 모두에 적용할 수 있는 일반적인 함수를 학습하는 것이 목표입니다. Inductive transfer learning(귀납 전이 학습)에서는 레이블이 지정된 소스 데이터에 대해 모델을 학습한 다음 대상 데이터에 대해 미세 조정합니다. 목표는 소스 및 대상 도메인 모두에서 새로운 예제에 일반화할 수 있는 모델을 학습하는 것입니다.

Inductive transfer learning(귀납 전이 학습)은 대상 도메인이 소스 도메인과 유사할 때 자주 사용됩니다. 소스 도메인에서 학습한 지식을 활용하면 더 적은 수의 예제로 대상 도메인에서 모델을 미세 조정할 수 있으므로 필요한 레이블 데이터의 양을 줄일 수 있습니다. 이는 대상 도메인에서 레이블이 지정된 데이터가 제한되어 있을 때 특히 유용할 수 있습니다.

Inductive transfer learning(귀납 전이 학습)은 일반적으로 레이블이 지정된 소스 데이터에 대해 모델을 먼저 학습한 다음 레이블이 지정된 대상 데이터에 대해 미세 조정하는 감독 방식으로 수행됩니다. 미세 조정 프로세스는 소스 데이터에서 학습한 지식을 그대로 유지하면서 대상 데이터에 더 잘 맞도록 모델의 가중치를 조정합니다. 이 작업은 고정 또는 고정 해제 특징 추출기를 사용한 미세 조정과 같은 기술을 사용하여 수행할 수 있습니다.

Inductive transfer learning(귀납 전이 학습)의 한 가지 장점은 레이블이 지정된 데이터가 제한적인 경우에도 소스 도메인의 정보를 활용하여 대상 도메인의 성능을 개선할 수 있다는 것입니다. 또 다른 장점은 소스 도메인과 타깃 도메인 모두에 적용할 수 있는 일반적인 함수를 학습하는 데 사용할 수 있어 다양한 작업에 유용하다는 점입니다.

요약하면 Inductive transfer learning(귀납 전이 학습)은 대상 도메인이 소스 도메인과 유사할 때 사용하는 전이 학습의 한 유형입니다. Inductive transfer learning(귀납 전이 학습)은 레이블이 지정된 소스 데이터에 대해 모델을 학습하고 레이블이 지정된 대상 데이터에 대해 미세 조정함으로써 레이블이 지정된 데이터가 제한된 경우에도 소스 도메인의 지식을 활용하여 대상 도메인의 성능을 개선할 수 있습니다.

Tranductive Learning(변형 학습) 

- Transductive transfer learning(변형 전이 학습)은 전이 학습의 한 유형으로, 소스 도메인의 입력을 대상 도메인의 출력에 매핑하는 함수를 학습하는 것이 목표입니다. Transductive transfer learning(변형 전이 학습)에서 모델은 레이블이 지정된 소스 데이터와 레이블이 지정되지 않은 대상 데이터 모두에 대해 학습되며, 대상 데이터에 대한 예측을 하는 것이 목표입니다.

Transductive transfer learning(변형 전이 학습)은 레이블이 지정된 데이터가 대상 도메인에 제한되어 있거나 대상 도메인이 소스 도메인과 어떤 방식으로든 다른 경우에 자주 사용됩니다. 소스 도메인과 대상 도메인의 정보를 모두 통합함으로써, Transductive transfer learning(변형 전이 학습)은 대상 데이터만으로 모델을 처음부터 훈련할 때보다 성능을 향상시킬 수 있습니다.

Transductive transfer learning(변형 전이 학습)은 일반적으로 레이블이 지정된 소스 데이터와 레이블이 지정되지 않은 대상 데이터 모두에 대해 모델을 학습시키는 반지도 방식으로 수행됩니다. 레이블이 지정된 소스 데이터는 작업의 구조를 학습하는 데 사용되며, 레이블이 지정되지 않은 대상 데이터는 예측에 사용됩니다. 이 작업은 그래프 기반 준지도 학습이나 매니폴드 정렬과 같은 다양한 기법을 사용하여 수행할 수 있습니다.

Transductive transfer learning(변형 전이 학습)의 한 가지 장점은 레이블이 지정된 데이터가 제한되어 있는 경우에도 소스 도메인의 정보를 활용하여 대상 도메인에서 예측을 수행할 수 있다는 것입니다. 이는 목표 도메인이 소스 도메인과 다를 때 특히 유용할 수 있는데, 모델이 이러한 차이로 인해 발생하는 문제를 극복하는 데 도움이 될 수 있기 때문입니다.

요약하면, Transductive transfer learning(변형 전이 학습)은 레이블이 지정된 데이터가 대상 도메인에 제한되어 있거나 대상 도메인이 소스 도메인과 다를 때 사용되는 전이 학습의 한 유형입니다. 소스 도메인과 타깃 도메인의 정보를 모두 통합함으로써, Transductive transfer learning(변형 전이 학습)은 타깃 데이터만으로 모델을 처음부터 훈련하는 것에 비해 성능을 향상시킬 수 있습니다.

Self-taught Learning(자기교시 학습) 

- Self-supervised transfer learning이라고도 하는 Self-taught Learning(자기교시 학습)은 레이블이 지정된 데이터 없이 대상 도메인 데이터에 대해 모델을 학습시키는 전이 학습의 한 유형입니다. 대신, 모델은 비지도 또는 자기 지도 기법을 사용하여 대상 데이터에 대해 학습됩니다. 목표는 지도 학습 작업의 시작점으로 사용할 수 있는 대상 데이터의 표현을 학습하는 것입니다.

Self-taught Learning(자기교시 학습)에서는 자동 인코더, 딥 클러스터링 또는 구실 작업과 같은 기술을 사용하는 등 비지도 또는 자가 지도 방식으로 대상 데이터에 대해 모델을 학습합니다. 목표는 지도 학습 작업의 시작점으로 사용할 수 있는 대상 데이터의 표현을 학습하는 것입니다. 표현을 학습한 후에는 가능한 경우 레이블이 지정된 대상 데이터에 대해 모델을 미세 조정하여 성능을 더욱 개선할 수 있습니다.

Self-taught Learning(자기교시 학습)의 한 가지 장점은 대상 도메인에서 레이블이 지정된 데이터가 제한되어 있을 때 사용할 수 있다는 것입니다. 비지도 또는 자가 지도 방식으로 대상 데이터에 대해 모델을 훈련함으로써 모델은 지도 학습 작업의 시작점으로 사용할 수 있는 대상 데이터의 표현을 학습할 수 있습니다. 이렇게 하면 모델이 이미 대상 데이터의 좋은 표현을 학습했기 때문에 필요한 레이블 데이터의 양을 줄일 수 있습니다.

Self-taught Learning(자기교시 학습)의 또 다른 장점은 소스 도메인과 타깃 도메인 간의 차이에 강한 타깃 데이터의 표현을 학습하는 데 사용할 수 있다는 것입니다. 이는 대상 도메인이 소스 도메인과 어떤 방식으로든 다른 경우 모델이 이러한 차이로 인해 발생하는 문제를 극복하는 데 도움이 될 수 있으므로 특히 유용할 수 있습니다.

요약하면, Self-taught Learning(자기교시 학습) 또는 자가 감독 전이 학습은 레이블이 지정된 데이터 없이 대상 도메인 데이터에 대해 모델을 학습시키는 전이 학습의 한 유형입니다. 비지도 또는 자기 지도 방식으로 대상 데이터에 대해 모델을 훈련함으로써 모델은 지도 학습 작업의 시작점으로 사용할 수 있는 대상 데이터의 표현을 학습하여 필요한 라벨링 데이터의 양을 줄이고 다양한 작업에 유용하게 사용할 수 있습니다.

Unsupervised Learning(자율 학습) 

- Unsupervised transfer learning(비지도 전이 학습)은 지도 학습 작업의 시작점으로 사용할 수 있는 대상 도메인 데이터의 표현을 학습하는 것이 목표인 전이 학습의 한 유형입니다. Unsupervised transfer learning(비지도 전이 학습)에서는 클러스터링, 차원 축소 또는 생성 모델과 같은 비지도 기법을 사용하여 레이블이 지정된 데이터 없이 대상 도메인 데이터에 대해 모델을 학습합니다.

Unsupervised transfer learning(비지도 전이 학습)의 주요 목표는 지도 학습 작업의 시작점으로 사용할 수 있는 대상 도메인 데이터의 표현을 학습하는 것입니다. 이렇게 하면 모델이 이미 대상 데이터의 좋은 표현을 학습했기 때문에 지도 작업에 필요한 레이블이 지정된 데이터의 양을 줄일 수 있습니다.

Unsupervised transfer learning(비지도 전이 학습)은 대상 도메인에서 레이블이 지정된 데이터가 제한되어 있을 때 자주 사용됩니다. 비지도 방식으로 대상 데이터에 대해 모델을 학습시킴으로써 모델은 지도 학습 작업의 시작점으로 사용할 수 있는 대상 데이터의 표현을 학습하여 필요한 레이블이 지정된 데이터의 양을 줄일 수 있습니다.

Unsupervised transfer learning(비지도 전이 학습)의 한 가지 장점은 소스 도메인과 타깃 도메인 간의 차이에 강한 타깃 데이터의 표현을 학습하는 데 사용할 수 있다는 것입니다. 이는 대상 도메인이 소스 도메인과 어떤 방식으로든 다른 경우 모델이 이러한 차이로 인해 발생하는 문제를 극복하는 데 도움이 될 수 있으므로 특히 유용할 수 있습니다.

Unsupervised transfer learning(비지도 전이 학습)의 또 다른 장점은 모델이 감독 신호의 영향을 받지 않고 대상 데이터의 표현을 학습했기 때문에 당면한 작업에 더 적합한 대상 데이터의 표현을 학습하는 데 사용할 수 있다는 것입니다.

요약하면, Unsupervised transfer learning(비지도 전이 학습)은 지도 학습 작업의 시작점으로 사용할 수 있는 대상 도메인 데이터의 표현을 학습하는 것이 목표인 전이 학습의 한 유형입니다. 비지도 방식으로 대상 데이터에 대해 모델을 훈련함으로써 모델은 필요한 라벨링 데이터의 양을 줄이고 다양한 작업에 유용하게 사용할 수 있는 대상 데이터의 표현을 학습할 수 있습니다.

 

전이학습의 주요 학습 기법

Feature Extraction

이러한 유형의 전이 학습에서는 사전 학습된 모델을 사용하여 입력 데이터에서 특징을 추출한 다음, 목표 작업을 수행하도록 학습된 새 모델의 입력으로 사용합니다. 사전 학습된 모델은 일반적으로 심층 신경망이며, 추출된 특징은 숨겨진 레이어의 활성화입니다.

Fine-Tuning

Fine-Tuning은 사전 학습된 모델로 시작한 다음 목표 작업에 더 적합하도록 가중치를 업데이트하는 것을 포함합니다. 이 작업은 사전 학습된 모델의 가중치를 고정된 상태로 유지하면서 소량의 레이블이 지정된 데이터를 사용하여 대상 작업에 대해 모델을 학습하는 방식으로 수행됩니다.

Multi-task learning

Multi-task learning은 하나의 모델이 여러 개의 관련 작업을 동시에 수행하도록 훈련하는 것입니다. 예를 들어, 이미지 분류와 객체 감지를 모두 수행하도록 멀티태스크 모델을 학습시킬 수 있습니다. 이러한 유형의 전이 학습에서는 한 작업에서 학습한 지식이 다른 작업의 성능을 개선하는 데 사용됩니다.

Domain adaptation

Domain adaptation은 소스 도메인과 대상 도메인이 서로 다르지만 관련성이 있는 전이 학습의 한 유형입니다. 예를 들어 소스 도메인은 자연 이미지이고 대상 도메인은 의료 이미지일 수 있습니다. Domain adaptation에서는 도메인별 정보를 사용하여 사전 학습된 모델을 대상 도메인에 맞게 조정합니다.

Zero-shot learning

Zero-shot learning은 모델을 한 세트의 클래스에 대해 학습한 다음 추가 학습 없이 다른 세트의 클래스에 대해 테스트하는 전이 학습의 한 유형입니다. 이 아이디어는 훈련 클래스에서 학습한 지식을 활용하여 훈련 중에 보지 못한 새로운 클래스를 인식하는 것입니다.

 

 

다른 글 함께 보기

2021/02/07 - [한 페이지 IT 토픽/빅데이터와 인공지능] - 모델의 성능을 높이기 위한 결측치(Missing Value) 처리 방법

2021/02/09 - [한페이지 토픽리뷰] - ROC Curve, 수신자 조작 특성 곡선(Receiver Operating Characteristic Curve)

2021/02/10 - [한 페이지 IT 토픽/빅데이터와 인공지능] - 정보의 홍수에서 살아남기, 패스트 데이터(Fast Data)

2019/02/01 - [한 페이지 IT 토픽/디지털 서비스 및 신기술] - 집적회로 한계 극복, 양자컴퓨터