RHEL AI는 생성형AI 사용사례에 최적화된 특수 제작 RHEL 이미지에 오픈소스 그래니트 대형언어모델(LLM)과 인스트럭트랩 모델 정렬 도구를 결합해 제공한다. 1.2버전에서는 조직이 자체 민감 데이터를 사용해 LLM을 보다 효율적으로 미세조정(파인튜닝)하고 배포해 엔터프라이즈 용도에 더 잘 맞출 수 있도록 지원한다.
먼저, 엔비디아 GPU가 탑재된 레노버 씽크시스템 SR675 V3 서버를 지원하고, AMD 인스팅트 가속기 지원도 기술 프리뷰로 제공한다. 또한, 마이크로소프트(MS) 애저 및 구글클라우드플랫폼(GCP)에서도 RHEL AI를 기술 프리뷰로 사용할 수 있게 했다.
주기적인 체크포인트로 모델 미세조정 중 긴 훈련 실행을 일정 간격으로 저장할 수 있는 기능도 인스트럭트랩 기반으로 추가됐다. 이와 함께 인스트럽트랩 CLI(Command Line Interface)가 사용 중인 하드웨어 가속기 유형을 자동 감지하고 최적 성능을 위한 인스트럭트랩 파이프라인도 구성해준다. 이밖에 파이토치 FSDP(Fully Sharded Data Parallel)를 통한 향상된 훈련 기능도 기술 프리뷰로 제공된다.팽동현기자 dhp@dt.co.kr
[ 저작권자 ⓒ디지털타임스, 무단 전재 및 재배포 금지 ]
