´º½º

¿£ºñµð¾Æ A100 GPU, ¿¬»ê¸ðµå 'TF32'·Î AI ÈÆ·Ã °¡¼ÓÈ­ Áö¿ø

  • ¹ÚÁö¿ì ±âÀÚ
    • ±â»ç
    • Å©°Ô
    • ÀÛ°Ô

    ÀÔ·Â : 2020-05-22 14:55:34

    - Çà·Ä¿¬»ê ó¸® À§ÇÑ A100 GPU ½Å±Ô ¿¬»ê¸ðµå... FP32 ´ëºñ ÃÖ´ë 10¹è ºü¸¥ ¼Óµµ Á¦°ø

    ¿£ºñµð¾Æ´Â 22ÀÏ, ÀÚ»ç A100 GPUÀÇ Áß½ÉÀÌ µÇ´Â ¾ÏÆä¾î(Ampere) ¾ÆÅ°ÅØó¿¡ Ãß°¡µÈ »õ·Î¿î ¿¬»ê¸ðµå 'TF32'¸¦ ÅëÇØ ÀΰøÁö´É(AI) ÈÆ·Ã °¡¼ÓÈ­¸¦ Áö¿øÇÑ´Ù°í ¹àÇû´Ù.

    <TF32¸¦ ÅëÇØ A100 GPU´Â º¼Å¸ GPU ´ëºñ ÃÖ´ë 20¹è Çâ»óµÈ AI ¼º´ÉÀ» Á¦°øÇÑ´Ù.>

    TF32´Â AI¿Í ƯÁ¤ HPC ¾ÖÇø®ÄÉÀ̼ǿ¡¼­ ÇÙ½ÉÀûÀ¸·Î »ç¿ëµÇ´Â ÅÙ¼­¿¬»êÀ̶ó°íµµ ºÒ¸®´Â Çà·Ä¿¬»ê 󸮸¦ À§ÇÑ ¿£ºñµð¾Æ A100 GPUÀÇ »õ·Î¿î ¿¬»ê¸ðµå´Ù. TF32´Â A100 GPUÀÇ ÅÙ¼­ Äھ¼­ ½ÇÇàµÇ¸ç, º¼Å¸ GPUÀÇ ´ÜÁ¤¹ÐµµºÎµ¿¼Ò¼öÁ¡¿¬»ê(FP32)¿¡ ºñÇØ ÃÖ´ë 10¹è ºü¸¥ ¼Óµµ¸¦ Á¦°øÇÒ ¼ö ÀÖ´Ù.

    ¶ÇÇÑ, A100¿¡¼­ TF32¿Í ±¸Á¶Àû Èñ¼Ò¼º ±â´ÉÀ» °áÇÕÇÏ¸é º¼Å¸ ´ëºñ ÃÖ´ë 20¹è ¼º´ÉÀ» Çâ»óÇÒ ¼ö ÀÖ´Ù.

    ÇÑ Çü½ÄÀÇ Áö¼ö ³»¿¡¼­ ºñÆ®(bit)ÀÇ ¼ö´Â °³Ã¼ Å©±â¸¦ ÃøÁ¤ÇÒ ¼ö ÀÖ´Â ¹üÀ§¸¦ °áÁ¤ÇÑ´Ù. Á¤¹Ðµµ´Â ±â¼ö³ª ¼Ò¼öÁ¡ µÚ¿¡ ÀÖ´Â ºÎµ¿¼Ò¼öÁ¡ ¼ýÀÚ¿¡ ÇØ´çÇÏ´Â °¡¼ö¿¡ »ç¿ëµÈ bitÀÇ ¼ö¿¡ µû¶ó °áÁ¤µÈ´Ù. ÁÁÀº Çü½ÄÀº ±ÕÇüÀ» ÀÌ·ç°í ÀÖ´Ù. Á¤¹Ðµµ¸¦ Àü´ÞÇϱâ À§Çؼ­´Â ³Ê¹« ¸¹Àº bit¸¦ »ç¿ëÇÏÁö ¾Ê°í ÀûÁ¤ÇÑ ¾çÀÇ bit¸¦ »ç¿ëÇØ Ã³¸®¼Óµµ¸¦ ´ÊÃßÁö ¾Ê°í ¸Þ¸ð¸®¸¦ Â÷ÁöÇÏÁö ¾Ê¾Æ¾ß ÇÑ´Ù.

    TF32´Â ¹ÝÁ¤¹Ðµµ(FP16) ¼öÇаú µ¿ÀÏÇÑ 10bit °¡¼ö¸¦ »ç¿ëÇϸç AI ¿öÅ©·Îµå¿¡¼­ ¿ä±¸µÇ´Â Á¤¹Ðµµ¸¦ ÃæºÐÈ÷ ÃæÁ·½ÃŲ´Ù. ÀÌ¿Í µ¿½Ã¿¡ TF32´Â FP32¿Í µ¿ÀÏÇÑ 8bit Áö¼ö¸¦ »ç¿ëÇϹǷÎ, µ¿ÀÏÇÑ ¼ýÀÚ ¹üÀ§¸¦ Áö¿øÇÒ ¼ö ÀÖ´Ù.

    <¹üÀ§¿Í Á¤È®µµ ¼º´É Ãø¸é¿¡¼­ ±ÕÇü ÀâÈù ¸ð½ÀÀ» º¸¿©ÁÖ´Â TF32>

    TF32´Â ÀÌ Á¶ÇÕÀ» ÅëÇØ ´ÜÁ¤¹Ðµµ¼öÇаú ƯÈ÷ µö ·¯´×°ú ¸¹Àº HPC ¾ÖÇø®ÄÉÀ̼ǿ¡¼­ ÇÙ½ÉÀûÀÎ ¿ªÇÒÀ» ÇÏ´Â ´ë±Ô¸ð °ö¼À ´©Àû ¿¬»êÀ» ÃæºÐÈ÷ ´ëüÇÒ ¼ö ÀÖ´Ù. »ç¿ëÀÚ´Â ¿£ºñµð¾Æ ¶óÀ̺귯¸®¸¦ »ç¿ëÇÏ´Â ¾ÖÇø®ÄÉÀ̼ÇÀ¸·Î ÄÚµå º¯°æ¾øÀÌ TF32ÀÇ ÀÌÁ¡À» È°¿ëÇÒ ¼ö ÀÖ´Ù. TF32 ÅÙ¼­ ÄÚ¾î´Â FP32 ÀÎDz¿¡¼­ ÀÛµ¿Çϸç FP32¿¡¼­ °á°ú¸¦ µµÃâÇÑ´Ù. ºñÇà·Ä¿¬»ê¿¡¼­µµ FP32¸¦ »ç¿ëÇÑ´Ù.

    A100Àº ÃÖ´ë ¼º´ÉÀ» ³»±âÀ§ÇØ 16bit ¿¬»ê ±â´ÉÀÌ °­È­µÅ FP16°ú BF16À» TF32ÀÇ µÎ ¹è ºñÀ²·Î Áö¿øÇÑ´Ù. »ç¿ëÀÚ´Â ÀÚµ¿È¥ÇÕÁ¤¹Ðµµ¸¦ »ç¿ëÇØ ¸î ÁÙÀÇ Äڵ常À¸·Î 2¹è ³ôÀº ¼º´ÉÀ» ¾òÀ» ¼ö ÀÖ´Ù.

    TF32´Â BERT¸¦ FP32 ´ëºñ 6¹è »¡¸® ÈƷýÃŲ´Ù. Çà·Ä¿¬»ê¿¡ ÀÇÁ¸ÇÏ´Â AI ÈƷðú HPC ¾ÖÇø®ÄÉÀ̼ÇÀÇ ¾ÖÇø®ÄÉÀ̼Ç-·¹º§ °á°ú´Â ¿öÅ©·Îµå¿¡ µû¶ó ´Ù¸¦ °ÍÀÌ´Ù. TF32ÀÇ Á¤È®¼ºÀ» °ËÁõÇϱâ À§ÇØ ÄÄÇ»ÅÍ ºñÀüºÎÅÍ ÀÚ¿¬¾î ó¸®, Ãßõ ½Ã½ºÅÛ±îÁö ´Ù¾çÇÑ ¾ÖÇø®ÄÉÀÌ¼Ç ºÐ¾ß¿¡¼­ TF32¸¦ AI ³×Æ®¿öÅ©¸¦ ÈÆ·ÃÇϴµ¥ È°¿ëÇß´Ù. ±× °á°ú, TF32´Â FP32¿Í µ¿ÀÏÇÑ ¼öÁØÀÇ ¼ö·Å-Á¤È®µµ¸¦ º¸¿´´Ù.

    <TF32´Â BERT¸¦ FP32 ´ëºñ 6¹è »¡¸® ÈƷýÃŲ´Ù.>

    ÀÌ¿¡, ¿£ºñµð¾Æ´Â ´º·² ³×Æ®¿öÅ©ÀÇ ÇÙ½É ¿¬»êÀ» °¡¼ÓÈ­ÇÏ´Â cuDNN ¶óÀ̺귯¸®ÀÇ ±âº»°ªÀ¸·Î TF32¸¦ äÅÃÇß´Ù. ¶ÇÇÑ AI ÇÁ·¹ÀÓ¿öÅ©¸¦ °³¹ßÇÏ´Â ¿ÀǼҽº Ä¿¹Â´ÏƼ¿Í Çù·ÂÇØ A100 GPU¿¡¼­µµ TF32¸¦ ±âº» ±³À° ¸ðµå·Î »ç¿ëÇÒ ¼ö ÀÖµµ·Ï ÇÏ°í ÀÖ´Ù.

    ¹Ýº¹Çà·Ä¼öÇÐ ¿¬»ê ¾Ë°í¸®ÁòÀÎ ¼±Çü ¼Ö¹ö¶ó°í ºÒ¸®´Â HPC ¾ÖÇø®ÄÉÀ̼ǵ鵵 TF32ÀÇ ÀÌÁ¡À» È°¿ëÇÒ ¼ö ÀÖ´Ù. ÀÌ´Â Áö±¸ °úÇÐ, À¯Ã¼ ¿ªÇÐ, ÇコÄɾî, Àç·á °úÇÐ, ¿øÀÚ·Â»Ó ¾Æ´Ï¶ó ¼®À¯¿Í °¡½º Ž»ç µî ±¤¹üÀ§ÇÑ ºÐ¾ß¿¡¼­ »ç¿ëµÈ´Ù.

    FP32¸¦ »ç¿ëÇØ FP64 Á¤¹Ðµµ¸¦ ´Þ¼ºÇÑ ¼±Çü ¼Ö¹ö´Â ÀÌ¹Ì 30³â ÀÌ»ó »ç¿ëµÆ´Ù. À۳⿡ ½Ç½ÃÇÑ ±¹Á¦¿­ÇÙÀ¶ÇÕ½ÇÇè·Î(ITER) À¶ÇÕ¹ÝÀÀ¿¬±¸¿¡¼­ È¥ÇÕÁ¤¹Ð¹ýÀÌ ¿£ºñµð¾Æ FP16 ÅÙ¼­ Äھ ÀÌ¿ëÇÑ ¼Ö¹öµéÀÇ Ã³¸®¼Óµµ¸¦ 3.5¹è Çâ»ó½ÃÄ×´Ù´Â Á¡ÀÌ ÀÔÁõµÆ´Ù. ÀÌ ¿¬±¸¿¡ »ç¿ëµÈ µ¿ÀÏÇÑ ±â¼úÀ» ÅëÇØ ¼­¹Ô ½´ÆÛÄÄÇ»ÅÍ´Â HPL-AI º¥Ä¡¸¶Å©¿¡¼­ ¼º´ÉÀÌ 3¹è Çâ»óµÈ µÈ °ÍÀ¸·Î ³ªÅ¸³µ´Ù.

    HPCÀÇ ´Ù¸¥ µµ¸ÞÀÎÀº FP32 Çà·Ä¿¬»êÀ» »ç¿ëÇÑ´Ù. ¿£ºñµð¾Æ´Â ÇöÀç FP32À» »ç¿ëÇÏ°í ÀÖ´Â °÷¿¡ TF32ÀÇ Àû¿ë »ç·Ê¸¦ ´Ã·Á°¡¸ç ¿¬±¸ÇÒ °èȹÀÌ´Ù.



    • ±â»çº¸³»±â
    • facebook
    • twitter
    • google
    • e-mail
  • Copyrights ¨Ï BetaNews.net