L2P and Dual Prompt

Continual Learning에 대해 연구하던 중 L2P와 Dual Prompt를 사용할 일이 있어 기존 jax library로 구현된 코드를 pytorch로 구현하였습니다.

Github link : https://github.com/HyungjoByun/L2P

논문:

• Learning to Prompt for Continual Learning
• DualPrompt: Complementary Prompting for Rehearsal-free Continual Learning

기본 틀은 PLM4CL 코드를 사용했고 ViT구현은 Huggingface transformers를 사용 했습니다.

직접 작성한 코드는 l2p_vit.py 와 dualp_vit.py 그리고 prompt_pool.py입니다. 코드에 대한 자세한 설명은 이후 틈틈이 게시하도록 하겠습니다.