고가의 그래픽처리장치(GPU)나 고속 네트워크 없이 AI 모델을 효율적으로 학습할 수 있는 기술이 개발됐다. AI 인프라 자원이 제한된 기업이나 연구자들이 AI 연구를 보다 효과적으로 하는 길이 열릴 것으로 기대된다.
KAIST는 한동수 전기및전자공학부 교수 연구팀이 일반 소비자용 GPU를 이용해 네트워크 대역폭이 제한된 분산 환경에서도 AI 모델을 최대 104배 빠르게 학습할 수 있는 '스텔라트레인 프레임워크'를 개발했다고 19일 밝혔다.
AI 모델을 학습하려면 수천만원에 달하는 고성능 서버용 GPU 여러 대와 이들을 연결하는 400Gbps급 고속 네트워크로 구성된 고가의 인프라가 필요하다. 이 때문에 거대 IT 기업을 제외한 대다수의 기업과 연구자들은 비용 문제로 어려움을 겪는다.
연구팀은 엔비디아의 고성능 GPU 'H100'에 비해 10∼20배 저렴한 소비자용 GPU를 활용해 고속의 전용 네트워크 대신 일반 인터넷 환경에서 효율적인 분산 학습이 가능한 '스텔라트레인 프레임워크'를 개발했다. 스텔라트레인 기술은 CPU와 GPU를 병렬로 활용해 학습 속도를 높이고, 네트워크 속도에 맞춰 데이터를 효율적으로 압축·전송하는 알고리즘을 적용해 고속 네트워크 없이도 여러 대의 저가 GPU를 이용해 빠른 학습이 가능하다.
연구팀은 학습을 작업 단계별로 CPU와 GPU가 나눠서 병렬적으로 처리할 수 있는 새로운 파이프라인 기술을 도입해 연산 자원의 효율을 높였다. 아울러 GPU 활용률을 실시간 모니터링해 AI 모델이 학습하는 샘플의 개수를 동적으로 결정하고, 변화하는 네트워크 대역폭에 맞춰 GPU 간 데이터 전송을 효율화하는 기술을 개발해 원거리 분산 환경에서도 GPU 연산 효율을 높였다.
이를 통해 기존 데이터 병렬 학습에 비해 최대 104배 빠른 성능을 낼 수 있다고 연구팀은 설명했다. 앞서 연구팀은 지난 7월 소수의 GPU로 거대언어모델(LLM)을 학습할 수 있는 프레임워크 기술을 개발한 바 있다.
한동수 KAIST 교수는 "대규모 AI 모델 학습을 누구나 고가의 인프라 없이 할 수 있도록 지원한다"며 "앞으로 저비용 환경에서도 대규모 AI 모델을 학습할 수 있는 기술을 지속적으로 개발하겠다"고 말했다.
이 연구결과는 지난 8월 호주 시드니에서 열린 'ACM SIGCOMM 2024'에서 발표됐다.이준기기자 bongchu@dt.co.kr
KAIST 연구진이 고가의 GPU와 고속 네트워크 없이도 인터넷 환경에서 AI 모델을 최대 104배 빠른 성능으로 학습할 수 있는 '스텔라트레인 프레임워크'를 개발했다. 사진은 스텔라트레인 개념도. KAIST 제공
