"Àú·ÅÇÏ°í È¿À²ÀûÀÎ sLMÀ¸·Î"¡¦ AI¿¡ ºÒ¾î¿À´Â `°¡¼ººñ` ¹Ù¶÷
ÀÔ·Â: 2024-07-09 17:14
Æص¿Çö ±âÀÚ
¸ñÀû¡¤¿ëµµ ¸ÂÃá ºñ¿ëÈ¿À² ÁßÁ¡
100¸¸ÅäÅ«´ç 1´Þ·¯ ¹Ì¸¸ ¸ðµ¨ µî
¾ð¾î¸ðµ¨ ´ëÇü ¡æ ¼ÒÇü '´Ùº¯È'
MS¡¤³×À̹ö µî Àúºñ¿ë¸ðµ¨ Ãâ½Ã
100¸¸ÅäÅ«´ç 1´Þ·¯ ¹Ì¸¸ ¸ðµ¨ µî
¾ð¾î¸ðµ¨ ´ëÇü ¡æ ¼ÒÇü '´Ùº¯È'
MS¡¤³×À̹ö µî Àúºñ¿ë¸ðµ¨ Ãâ½Ã
ÁÖ¿ä AI±â¾÷µéÀº ÃÖ±Ù ´ëÇü¾ð¾î¸ðµ¨(LLM)»Ó ¾Æ´Ï¶ó ¼ÒÇü¾ð¾î¸ðµ¨(sLM)·Î ±â¼ú ´Ùº¯È¸¦ ²ÒÇÏ°í ÀÖ´Ù. ¼º´É Çâ»óÀ» À§ÇØ AI¸ðµ¨ ¸Å°³º¯¼ö(ÆĶó¹ÌÅÍ) ±Ô¸ð Å°¿ì±â °æÀïÀ» ¹úÀÌ´ø AI±â¾÷µéÀÌ ÀÌÁ¨ ºñ¿ë È¿À²¼º¿¡ ÁßÁ¡À» µÐ ¸ðµ¨µµ ÇÔ²² ¼±º¸ÀÌ¸é¼ °¢ÀÚ Àúº¯ È®´ë¿¡ ³ª¼°í ÀÖ´Ù´Â °Í.
SLMÀÇ °æ¿ì ÀÌ¹Ì Áö³ÇغÎÅÍ ¸ÞŸ¸¦ ºñ·ÔÇÑ ¿ÀǸ𵨠Áø¿µ°ú ½Å»ý AI ½ºÅ¸Æ®¾÷µéÀ» ÁÖÃàÀ¸·Î ´Ù¾çÇÑ ¸ðµ¨ÀÌ ¼±º¸¿© ¿Ô´Ù. ±×·¡ÇÈó¸®ÀåÄ¡(GPU) ¼ö±Þ³À» Æ÷ÇÔÇØ AI ÄÄÇ»Æà ºñ¿ë ¹®Á¦°¡ ºÒ°ÅÁö¸é¼ ´õ Àú·ÅÇÏ°í ºü¸£¸ç ¿øÇÏ´Â ¿µ¿ª¿¡ Æ¯È °¡´ÉÇÑ ¸ðµ¨¿¡ ´ëÇÑ ¼ö¿äµµ µ¢´Þ¾Æ Ä¿Á³±â ¶§¹®ÀÌ´Ù.
¿ÃÇØ µé¾î¼´Â ÁÖ¿ä LLM ±â¾÷µé±îÁö ÀÌ·± È帧¿¡ Àû±ØÀûÀ¸·Î ¶Ù¾îµé°í ÀÖ´Ù. ¿ÀÇÂAIÀÇ ÃÖ´ëÁÖÁÖÀÎ ¸¶ÀÌÅ©·Î¼ÒÇÁÆ®(MS)´Â Áö³ 4¿ù ÆĶó¹ÌÅÍ 38¾ï°³ÀÇ 'ÆÄÀÌ-3 ¹Ì´Ï'¸¦ Ãâ½ÃÇÏ¸é¼ "ÀÌ ¸ðµ¨ÀÌ 10¹è Å« ¸ðµ¨ ¼öÁØÀÇ ÀÀ´äÀ» Á¦°øÇÒ ¼ö ÀÖ°í, ºñ½ÁÇÑ ±â´ÉÀ» °¡Áø ´Ù¸¥ ¸ðµ¨µé¿¡ ºñÇØ ÇнÀ¡¤±¸µ¿¿¡ µå´Â ºñ¿ëÀÌ 10ºÐÀÇ 1 ¼öÁØ"À̶ó°í ¼³¸íÇß´Ù.
À̵é°ú AI ½ÃÀå¿¡¼ ÁÖµµ±Ç ´ÙÅùÀ» ÇÏ°í ÀÖ´Â ±¸±Ûµµ ÃÖ±Ù 'Á¦¹Ì³ªÀÌ 1.5 Ç÷¡½Ã'¸¦ ±¸±ÛŬ¶ó¿ìµå ¹öÅؽºAI Ç÷§ÆûÀ» ÅëÇØ °ø½Ä Ãâ½ÃÇß´Ù. ±¸±Û¿¡ µû¸£¸é 'GPT-3.5 Åͺ¸' ´ëºñ 60¹è°¡·® ´õ ±ä 100¸¸ ÅäÅ«ÀÇ ÄÜÅؽºÆ® À©µµ¿ì¿Í ÇÔ²² 1¸¸ÀÚ ÀÔ·Â ±âÁØ Æò±Õ 40% ´õ ºü¸¥ ¼Óµµ¸¦ Áö¿øÇÏ°í, 3¸¸2000ÀÚ ÀÌ»ó ÀÔ·Â ½Ã ÄÜÅؽºÆ® ij½Ì ±â´ÉÀ¸·Î ÀԷºñ¿ëµµ ÃÖ´ë 4¹è Àý°¨ÇÒ ¼ö ÀÖ´Ù.
¾Õ¼ ÆÄÀ̳½¼ÈŸÀÓ½º(FT)´Â ÃÖ±Ù ÁÖ¿ä AI±â¾÷µéÀÌ 100¸¸ ÅäÅ«´ç 1´Þ·¯ ¹Ì¸¸ ºñ¿ëÀÌ µå´Â ¸ðµ¨À» ³»³õ´Â ÀÌ·± Çຸ¸¦ ¼Ò°³Çϸé¼, ÀÌ´Â IT½ÃÀå Àü¹ÝÀÇ ºñ¿ëÈ¿À² Á߽à ±âÁ¶¿Íµµ ¸Â´ê¾Æ ÀÖ´Ù°í ºÐ¼®Çß´Ù. ÀüüÀûÀÎ ¼º´ÉÀ̳ª ¹ü¿ëÀûÀÎ ¼º´É¿¡¼ SLMÀº LLM¿¡ µÚ¶³¾îÁú ¼ö¹Û¿¡ ¾øÁö¸¸, LLMÀÇ ÅäÅ«´ç ÀÌ¿ë·á µî¿¡ ºÎ´ãÀ» ´À³¢´Â °í°´µé¿¡°Ô ¸ñÀû¿Í ¿ëµµ¿¡ ¸ÂÃç ´õ ÀûÇÕÇÏ°í È¿À²ÀûÀÎ SLM ¼±ÅÃÁöµµ ÇÔ²² Á¦½ÃÇÏ´Â °ÍÀÌ´Ù.
¾Ø½º·ÎÇÈÀÇ 'Ŭ·Îµå' ¶óÀξ÷ Áß ÇÏÀÌÄí ¸ðµ¨°ú ¹Ì½ºÆ®¶öÀÇ ¿©·¯ SLMµµ °°Àº Á¢±ÙÀÇ ÀÏȯÀÌ´Ù. LLM ¼±ÁÖµÎÀÚÀÎ ¿ÀÇÂAI ¶ÇÇÑ ÇöÀ纸´Ù ÀÛÀº ¸ðµ¨À» ¼±º¸ÀÏ °¡´É¼ºÀ» Á¡ÃÄÁø´Ù. ¾Æ¿ï·¯ ½º¸¶Æ®Æù, AI PC µîÀ¸·Î È®ÀåµÇ´Â ¿Âµð¹ÙÀ̽ºAI ¶ÇÇÑ SLMÀÇ ¼ö¿ä¸¦ ³ÐÈ÷´Â ÁÖ¿ä µ¿·ÂÀÌ µÇ°í ÀÖ´Ù.
¿ù½ºÆ®¸®Æ®Àú³Î(WSJ)Àº Áö³ 6ÀÏ(ÇöÁö½Ã°£) "AI °ÅÀε鿡 ÀÖ¾î ¶§·Î´Â ÀÛÀº °Ô ´õ ³´´Ù"´Â Á¦¸ñÀ¸·Î ÃÖ±Ù È帧À» ¼Ò°³Çϸé¼, SLMÀ¸·Î ÃæºÐÇÑ ÀÛ¾÷¿¡ LLMÀ» ¾²´Â °ÍÀ» "ÅÊÅ©¸¦ ¸ô°í ½Ä·áÇ°À» »ç·¯ °¡´Â °Í"¿¡ ºñÀ¯Çß´Ù. Çö »ý¼ºÇüAI Æ®·»µåÀÇ ±â¹ÝÀÌ µÈ ±¸±ÛÀÇ ³í¹®(Attention is all you need) °øµ¿ÀúÀÚÀÎ Àϸ®¾Æ Æú·Î¼öŲÀº "2 ´õÇϱâ 2¸¦ °è»êÇÏ´Â µ¥ ¼öÁ¶ ¹øÀÇ ¿¬»êÀÌ ÇÊ¿äÇؼ± ¾È µÈ´Ù"°í ¾ð±ÞÇß´Ù.
SLM ´Ùº¯È¿Í ÇÔ²² Àü¹®°¡È¥ÇÕ(MoE) ¾ÆÅ°ÅØó µîÀ¸·Î LLMÀ» ÃÖÀûÈÇÏ´Â ½Ãµµµµ À̾îÁö°í ÀÖ´Ù. µ¥ÀÌÅͺ긯½º´Â 1320¾ï ÆĶó¹ÌÅ͸¦ Áö´Ñ ÀÚ»ç DBRX ¸ðµ¨ÀÌ ÁÖ¾îÁø ½Ã°£¿¡ 360¾ï°³ ÆĶó¹ÌÅ͸¸ »ç¿ëÇÑ´Ù°í ¹àÈù ¹Ù ÀÖ´Ù. ÀÌ¿¡ °æÀï»çÀÎ ½º³ë¿ìÇ÷¹ÀÌÅ©´Â 4800¾ï ÆĶó¹ÌÅÍÀÇ ¾Æũƽ ¸ðµ¨À» ³»³õÀ¸¸é¼ DBRXº¸´Ù ¾à 50%, ¸ÞŸ ¶ó¸¶3 70Bº¸´Ù ¾à 75% ÀûÀº ¸Å°³º¯¼ö¸¦ È°¼ºÈÇÏ¸ç ´õ ³ôÀº È¿À²À» º¸Àδٰí Çß´Ù.
±¹³»¿¡¼´Â ³×À̹ö°¡ »ç¿ëÀÚ°¡ ÀÛ¾÷ Á¾·ù³ª ºñ¿ë µî¿¡ µû¶ó ÀûÇÕÇÑ AI¸ðµ¨À» ¼±ÅÃÇÒ ¼ö ÀÖµµ·Ï ¶óÀξ÷À» È®ÀåÇß´Ù. Áö³ 4¿ù 'Ŭ·Î¹Ù½ºÆ©µð¿À'¸¦ ÅëÇØ 'ÇÏÀÌÆÛŬ·Î¹ÙX'ÀÇ ½Å±Ô ¸ðµ¨·Î Ãâ½ÃÇÑ 'HCX-´ë½Ã(DASH)'´Â ±âÁ¸ 'ÇÏÀÌÆÛŬ·Î¹ÙX(HCX-003)'ÀÇ 5ºÐÀÇ 1 ¼öÁØ °¡°ÝÀ¸·Î Á¦°øµÇ¸ç, È¿À²ÀûÀÎ ÄÄÇ»ÆÃÀÚ¿ø È°¿ëÀ¸·Î ¼Óµµµµ °³¼±µÆ´Ù.
Æص¿Çö±âÀÚ dhp@dt.co.kr
!["Àú·ÅÇÏ°í È¿À²ÀûÀÎ sLMÀ¸·Î"¡¦ AI¿¡ ºÒ¾î¿À´Â `°¡¼ººñ` ¹Ù¶÷ "Àú·ÅÇÏ°í È¿À²ÀûÀÎ sLMÀ¸·Î"¡¦ AI¿¡ ºÒ¾î¿À´Â `°¡¼ººñ` ¹Ù¶÷](http://contents.dt.co.kr/images/202407/2024070902109931081006[1].jpg)
[ ÀúÀÛ±ÇÀÚ ¨ÏµðÁöÅПÀÓ½º, ¹«´Ü ÀüÀç ¹× Àç¹èÆ÷ ±ÝÁö ]