전북대학교 조재혁 교수와 현준서 석사과정생(공대 소프트웨어공학과)이 최근 열린 ‘2025년 (사)ICT플랫폼학회 하계학술대회 및 생성형 AI 기술세미나’에서 우수논문상을 수상했다고 전했다.
이번 학술대회에서 현 석사과정생은 「Quantized Low-Rank Adaptation의 하이퍼 파라미터가 의료 언어모델 fine-tuning에 미치는 영향」이라는 제목의 논문을 발표해 주목을 받았다.
이 논문은 제한된 자원 환경에서 대형 언어모델을 효율적으로 훈련시키기 위한 기법 중 하나인 ‘Quantized Low-Rank Adaptation(QLoRA)’의 핵심 하이퍼 파라미터가 의료 데이터 학습에 어떤 영향을 미치는지를 분석한 것이다.
‘QLoRA’는 언어모델 파인튜닝 시 전체 모델이 아닌 일부 파라미터만 수정하는 PEFT(Parameter-Efficient Fine-Tuning) 기법의 일종으로, 모델 크기를 줄이는 ‘양자화’와 훈련에 필요한 자원을 줄이는 ‘LoRA’를 결합한 방식이다.
구조는 동일하지만 다른 데이터로 사전 학습된 모델인 ‘Gemma3’와 ‘MedGemma’이라는 두 모델을 의료 언어모델 파인튜닝 과정에서 QLoRA의 하이퍼 파라미터인 r(저차원 행렬 차원)과 α(출력 스케일링 계수)의 변화가 학습 성능에 미치는 영향을 실험적으로 분석했다.
그 결과, 의료 데이터로 사전 학습된 MedGemma가 일반 모델보다 더 안정적이고 빠르게 학습된다는 점을 밝혀냈다.
이 연구 성과는 향후 의료 현장에서의 감염 대응 역량 강화를 위한 생성형 AI 기술의 실용적 가능성을 제시했다는 평가를 받고 있다.
/장은성 기자
.gif)
