ÀÔ·Â : 2020-05-22 14:55:34
¿£ºñµð¾Æ´Â 22ÀÏ, ÀÚ»ç A100 GPUÀÇ Áß½ÉÀÌ µÇ´Â ¾ÏÆä¾î(Ampere) ¾ÆÅ°ÅØó¿¡ Ãß°¡µÈ »õ·Î¿î ¿¬»ê¸ðµå 'TF32'¸¦ ÅëÇØ ÀΰøÁö´É(AI) ÈÆ·Ã °¡¼Óȸ¦ Áö¿øÇÑ´Ù°í ¹àÇû´Ù.
<TF32¸¦ ÅëÇØ A100 GPU´Â º¼Å¸ GPU ´ëºñ ÃÖ´ë 20¹è Çâ»óµÈ AI ¼º´ÉÀ» Á¦°øÇÑ´Ù.>
TF32´Â AI¿Í ƯÁ¤ HPC ¾ÖÇø®ÄÉÀ̼ǿ¡¼ ÇÙ½ÉÀûÀ¸·Î »ç¿ëµÇ´Â ÅÙ¼¿¬»êÀ̶ó°íµµ ºÒ¸®´Â Çà·Ä¿¬»ê 󸮸¦ À§ÇÑ ¿£ºñµð¾Æ A100 GPUÀÇ »õ·Î¿î ¿¬»ê¸ðµå´Ù. TF32´Â A100 GPUÀÇ ÅÙ¼ Äھ¼ ½ÇÇàµÇ¸ç, º¼Å¸ GPUÀÇ ´ÜÁ¤¹ÐµµºÎµ¿¼Ò¼öÁ¡¿¬»ê(FP32)¿¡ ºñÇØ ÃÖ´ë 10¹è ºü¸¥ ¼Óµµ¸¦ Á¦°øÇÒ ¼ö ÀÖ´Ù.
¶ÇÇÑ, A100¿¡¼ TF32¿Í ±¸Á¶Àû Èñ¼Ò¼º ±â´ÉÀ» °áÇÕÇÏ¸é º¼Å¸ ´ëºñ ÃÖ´ë 20¹è ¼º´ÉÀ» Çâ»óÇÒ ¼ö ÀÖ´Ù.
ÇÑ Çü½ÄÀÇ Áö¼ö ³»¿¡¼ ºñÆ®(bit)ÀÇ ¼ö´Â °³Ã¼ Å©±â¸¦ ÃøÁ¤ÇÒ ¼ö ÀÖ´Â ¹üÀ§¸¦ °áÁ¤ÇÑ´Ù. Á¤¹Ðµµ´Â ±â¼ö³ª ¼Ò¼öÁ¡ µÚ¿¡ ÀÖ´Â ºÎµ¿¼Ò¼öÁ¡ ¼ýÀÚ¿¡ ÇØ´çÇÏ´Â °¡¼ö¿¡ »ç¿ëµÈ bitÀÇ ¼ö¿¡ µû¶ó °áÁ¤µÈ´Ù. ÁÁÀº Çü½ÄÀº ±ÕÇüÀ» ÀÌ·ç°í ÀÖ´Ù. Á¤¹Ðµµ¸¦ Àü´ÞÇϱâ À§Çؼ´Â ³Ê¹« ¸¹Àº bit¸¦ »ç¿ëÇÏÁö ¾Ê°í ÀûÁ¤ÇÑ ¾çÀÇ bit¸¦ »ç¿ëÇØ Ã³¸®¼Óµµ¸¦ ´ÊÃßÁö ¾Ê°í ¸Þ¸ð¸®¸¦ Â÷ÁöÇÏÁö ¾Ê¾Æ¾ß ÇÑ´Ù.
TF32´Â ¹ÝÁ¤¹Ðµµ(FP16) ¼öÇаú µ¿ÀÏÇÑ 10bit °¡¼ö¸¦ »ç¿ëÇϸç AI ¿öÅ©·Îµå¿¡¼ ¿ä±¸µÇ´Â Á¤¹Ðµµ¸¦ ÃæºÐÈ÷ ÃæÁ·½ÃŲ´Ù. ÀÌ¿Í µ¿½Ã¿¡ TF32´Â FP32¿Í µ¿ÀÏÇÑ 8bit Áö¼ö¸¦ »ç¿ëÇϹǷÎ, µ¿ÀÏÇÑ ¼ýÀÚ ¹üÀ§¸¦ Áö¿øÇÒ ¼ö ÀÖ´Ù.
<¹üÀ§¿Í Á¤È®µµ ¼º´É Ãø¸é¿¡¼ ±ÕÇü ÀâÈù ¸ð½ÀÀ» º¸¿©ÁÖ´Â TF32>
TF32´Â ÀÌ Á¶ÇÕÀ» ÅëÇØ ´ÜÁ¤¹Ðµµ¼öÇаú ƯÈ÷ µö ·¯´×°ú ¸¹Àº HPC ¾ÖÇø®ÄÉÀ̼ǿ¡¼ ÇÙ½ÉÀûÀÎ ¿ªÇÒÀ» ÇÏ´Â ´ë±Ô¸ð °ö¼À ´©Àû ¿¬»êÀ» ÃæºÐÈ÷ ´ëüÇÒ ¼ö ÀÖ´Ù. »ç¿ëÀÚ´Â ¿£ºñµð¾Æ ¶óÀ̺귯¸®¸¦ »ç¿ëÇÏ´Â ¾ÖÇø®ÄÉÀ̼ÇÀ¸·Î ÄÚµå º¯°æ¾øÀÌ TF32ÀÇ ÀÌÁ¡À» È°¿ëÇÒ ¼ö ÀÖ´Ù. TF32 ÅÙ¼ ÄÚ¾î´Â FP32 ÀÎDz¿¡¼ ÀÛµ¿Çϸç FP32¿¡¼ °á°ú¸¦ µµÃâÇÑ´Ù. ºñÇà·Ä¿¬»ê¿¡¼µµ FP32¸¦ »ç¿ëÇÑ´Ù.
A100Àº ÃÖ´ë ¼º´ÉÀ» ³»±âÀ§ÇØ 16bit ¿¬»ê ±â´ÉÀÌ °ÈµÅ FP16°ú BF16À» TF32ÀÇ µÎ ¹è ºñÀ²·Î Áö¿øÇÑ´Ù. »ç¿ëÀÚ´Â ÀÚµ¿È¥ÇÕÁ¤¹Ðµµ¸¦ »ç¿ëÇØ ¸î ÁÙÀÇ Äڵ常À¸·Î 2¹è ³ôÀº ¼º´ÉÀ» ¾òÀ» ¼ö ÀÖ´Ù.
TF32´Â BERT¸¦ FP32 ´ëºñ 6¹è »¡¸® ÈƷýÃŲ´Ù. Çà·Ä¿¬»ê¿¡ ÀÇÁ¸ÇÏ´Â AI ÈƷðú HPC ¾ÖÇø®ÄÉÀ̼ÇÀÇ ¾ÖÇø®ÄÉÀ̼Ç-·¹º§ °á°ú´Â ¿öÅ©·Îµå¿¡ µû¶ó ´Ù¸¦ °ÍÀÌ´Ù. TF32ÀÇ Á¤È®¼ºÀ» °ËÁõÇϱâ À§ÇØ ÄÄÇ»ÅÍ ºñÀüºÎÅÍ ÀÚ¿¬¾î ó¸®, Ãßõ ½Ã½ºÅÛ±îÁö ´Ù¾çÇÑ ¾ÖÇø®ÄÉÀÌ¼Ç ºÐ¾ß¿¡¼ TF32¸¦ AI ³×Æ®¿öÅ©¸¦ ÈÆ·ÃÇϴµ¥ È°¿ëÇß´Ù. ±× °á°ú, TF32´Â FP32¿Í µ¿ÀÏÇÑ ¼öÁØÀÇ ¼ö·Å-Á¤È®µµ¸¦ º¸¿´´Ù.
<TF32´Â BERT¸¦ FP32 ´ëºñ 6¹è »¡¸® ÈƷýÃŲ´Ù.>
ÀÌ¿¡, ¿£ºñµð¾Æ´Â ´º·² ³×Æ®¿öÅ©ÀÇ ÇÙ½É ¿¬»êÀ» °¡¼ÓÈÇÏ´Â cuDNN ¶óÀ̺귯¸®ÀÇ ±âº»°ªÀ¸·Î TF32¸¦ äÅÃÇß´Ù. ¶ÇÇÑ AI ÇÁ·¹ÀÓ¿öÅ©¸¦ °³¹ßÇÏ´Â ¿ÀǼҽº Ä¿¹Â´ÏƼ¿Í Çù·ÂÇØ A100 GPU¿¡¼µµ TF32¸¦ ±âº» ±³À° ¸ðµå·Î »ç¿ëÇÒ ¼ö ÀÖµµ·Ï ÇÏ°í ÀÖ´Ù.
¹Ýº¹Çà·Ä¼öÇÐ ¿¬»ê ¾Ë°í¸®ÁòÀÎ ¼±Çü ¼Ö¹ö¶ó°í ºÒ¸®´Â HPC ¾ÖÇø®ÄÉÀ̼ǵ鵵 TF32ÀÇ ÀÌÁ¡À» È°¿ëÇÒ ¼ö ÀÖ´Ù. ÀÌ´Â Áö±¸ °úÇÐ, À¯Ã¼ ¿ªÇÐ, ÇコÄɾî, Àç·á °úÇÐ, ¿øÀÚ·Â»Ó ¾Æ´Ï¶ó ¼®À¯¿Í °¡½º Ž»ç µî ±¤¹üÀ§ÇÑ ºÐ¾ß¿¡¼ »ç¿ëµÈ´Ù.
FP32¸¦ »ç¿ëÇØ FP64 Á¤¹Ðµµ¸¦ ´Þ¼ºÇÑ ¼±Çü ¼Ö¹ö´Â ÀÌ¹Ì 30³â ÀÌ»ó »ç¿ëµÆ´Ù. À۳⿡ ½Ç½ÃÇÑ ±¹Á¦¿ÇÙÀ¶ÇÕ½ÇÇè·Î(ITER) À¶ÇÕ¹ÝÀÀ¿¬±¸¿¡¼ È¥ÇÕÁ¤¹Ð¹ýÀÌ ¿£ºñµð¾Æ FP16 ÅÙ¼ Äھ ÀÌ¿ëÇÑ ¼Ö¹öµéÀÇ Ã³¸®¼Óµµ¸¦ 3.5¹è Çâ»ó½ÃÄ×´Ù´Â Á¡ÀÌ ÀÔÁõµÆ´Ù. ÀÌ ¿¬±¸¿¡ »ç¿ëµÈ µ¿ÀÏÇÑ ±â¼úÀ» ÅëÇØ ¼¹Ô ½´ÆÛÄÄÇ»ÅÍ´Â HPL-AI º¥Ä¡¸¶Å©¿¡¼ ¼º´ÉÀÌ 3¹è Çâ»óµÈ µÈ °ÍÀ¸·Î ³ªÅ¸³µ´Ù.
HPCÀÇ ´Ù¸¥ µµ¸ÞÀÎÀº FP32 Çà·Ä¿¬»êÀ» »ç¿ëÇÑ´Ù. ¿£ºñµð¾Æ´Â ÇöÀç FP32À» »ç¿ëÇÏ°í ÀÖ´Â °÷¿¡ TF32ÀÇ Àû¿ë »ç·Ê¸¦ ´Ã·Á°¡¸ç ¿¬±¸ÇÒ °èȹÀÌ´Ù.