Parameter-Efficient Fine-tuning(PEFT)

• LLM이 우리가 원하는 task를 하지 않기 때문에 원하는 data로 학습해야한다: full finetuning하려면 비효율적이다
• parameter efficient fine-tuning 방법으로 조금만 학습하거나 65B parameter(Llama)의 0.01%만 학습해도 BERT보다 성능이 훨씬 좋다.

✅ Prefix-tuning

• Optimizing Continuous Prompts for Generation

모델 앞에 학습 가능한 벡터 추가하는 것: random하게 초기화

• LLM 모델의 파라미터는 고정한 상태(=frozen)
• Task 별로 continuous vector / virtual tokens를 추가: 학습 가능한 sofr vector값을 주자
• 하나의 LLM 모델로 여러 개의 태스크를 처리할 수 있음 (prefix만 학습)

<aside> 💡 Prefix-tuning에서 사용되는 벡터는 입력 데이터와 함께 모델에 주어지며, 초기에는 랜덤하게 초기화됩니다. 그 후 훈련 과정에서 이 벡터는 업데이트되어, 특정 작업에 필요한 정보를 학습하게 됩니다. 이렇게 학습된 벡터는 그 후의 예측 또는 분류 과정에서 사용됩니다. 이 방식은 모델의 파라미터를 크게 늘리지 않으면서도 특정 작업에 대한 성능을 향상시키는데 도움을 줍니다.

</aside>

prefix 붙이기

• 성능

  overfitting의 위험이 있는 full fine tuning보다 오히려 성능 좋다.

  prefix로는 task에 맞는 능력 학습, frozen된 llm은 general한 능력 학습

• 문제점

  task마다 적절한 prefix 길이 다름 ⇒ 사람이 일일이 찾아야 됨

  prefix의 길이가 길어질수록 모델의 input 길이에 제약이 생김

  prefix 길이가 길어진다는 것은 학습할 파라미터가 증가한다는 것을 의미

  input에 continous vector를 추가하는 것은 다른 PEFT에 비해서 더 많은 parameter를 필요로 한다.

✅ Adapter tuning

• Parameter Efficient Transfer Learning for NLP

• 전체 모델을 고정하되, adapter 부분만 학습하자: 학습 parameter 수 매우 감소
• 하나의 Transformer layer내에 Adapter를 추가하자: 직렬 구조