입력 : 2022-04-06 18:45:00
- CNN과 RNN을 대체하는 트랜스포머
트랜스포머 모델은 문장 속 단어와 같은 순차 데이터 내의 관계를 추적해 맥락과 의미를 학습하는 신경망을 의미한다.
어텐션 또는 셀프어텐션이라 불리며, 진화를 거듭하는 수학적 기법을 응용해 서로 떨어져 있는 데이터 요소들의 의미가 관계에 따라 미묘하게 달라지는 부분까지 감지한다.
;)
< ’파운데이션 모델’이라 불리는 트랜스포머는 여러 데이터 소스와 함께 다양한 영역에서 활용되고 있다. >
구글의 2017년 논문에 처음 등장한 트랜스포머는 ‘트랜스포머 AI’라 불리는 머신 러닝계의 혁신을 주도한다. 스탠퍼드대학교 연구진은 2021년 8월에 발표한 논문에서 트랜스포머를 ‘파운데이션 모델’로 일컬은 바 있다.
트랜스포머는 텍스트와 음성을 거의 실시간으로 옮겨 청각 장애인 등 다양한 청중의 회의와 강의 참여를 지원한다. DNA의 유전자 사슬과 단백질의 아미노산에 대한 이해를 도와 신약 디자인을 가속하기도 한다.
트렌드와 이상 징후를 감지해 부정 방지, 제조 간소화, 온라인 추천, 헬스케어 개선 등에 기여한다. 구글이나 마이크로소프트 빙에서 검색할 때에도 트랜스포머를 사용한다.
순차적 텍스트나 이미지, 비디오 데이터를 사용하는 애플리케이션은 무엇이든 트랜스포머 모델이 될 수 있다. 이는 트랜스포머 AI의 선순환으로 이어진다. 대규모 데이터세트로 구축된 트랜스포머는 정확한 예측을 통해 효과적인 쓰임새를 찾아내고, 이로 인해 더 많이 생성한 데이터로 개선된 모델을 구축할 수 있다.
;)
< 스탠퍼드 연구진은 트랜스포머가 AI 발전의 다음 단계인 ‘트랜스포머 AI의 시대’를 주도할 것이라 말한다. >
엔비디아는 문장 속 단어와 같은 순차 데이터 내의 관계를 추적해 맥락과 의미를 학습하는 신경망인 ‘트랜스포머(Transformer)’ 모델을 통해 AI 분야를 가속한다고 밝혔다.
엔비디아 창립자 겸 CEO인 젠슨 황은 GTC 2022 키노트에서 트랜스포머가 “자기지도(self-supervised) 학습을 가능하게 하고, AI가 초고속으로 움직이게 만든다”고 설명했다.
합성곱과 순환 신경망은 현재 트랜스포머가 대체하고 있다. 실제로 지난 2년간 아카이브에 게재된 AI 관련 논문의 70%에 트랜스포머가 등장한다.
랜스포머는 요소들 사이의 패턴을 수학적으로 찾아내기에 많은 시간과 비용이 필요로 하지 않는다. 따라서 수조 개의 이미지와 페타바이트급 텍스트 데이터를 웹과 기업 데이터베이스에서 사용할 수 있다.
;)
< 트랜스포머를 정의한 2017년 논문의 공동저자 8인 중 한 명인 에이단 고메즈(Aidan Gomez)가 제시한 모델의 세부 모습 >
이에 더해 트랜스포머가 사용하는 연산은 병렬 프로세싱에 적합하기에 모델의 실행 속도 또한 빨라진다.
신경망 대부분이 그렇듯 트랜스포머 모델도 기본적으로 데이터를 처리하는 대형 인코더/디코더 블록에 해당한다. 이 블록에 작지만 전략적인 요소들을 추가해(하단 그림 참고) 트랜스포머를 개선할 수 있다.
트랜스포머는 네트워크에 송수신되는 데이터 요소에 위치 인코더로 태그를 지정한다. 이 태그를 따라 어텐션 유닛이 데이터 요소 간의 관계를 보여주는 일종의 대수 지도를 계산한다. 어텐션 쿼리는 멀티헤드 어텐션이라 불리는 방정식들의 행렬을 계산해 대개 병렬로 실행된다. 이러한 도구들을 활용해 컴퓨터는 인간의 눈에 비치는 패턴을 똑같이 볼 수 있게 된다.
지난 11월 엔비디아와 마이크로소프트는 5,300억 개의 파라미터를 가진 MT-NLG(Megatron-Turing Natural Language Generation) 모델을 발표했다. 이 모델은 새로운 프레임워크인 엔비디아 네모(NeMo) 메가트론과 함께 공개됐다.
어떤 기업이든 십억 또는 조 단위의 파라미터를 보유한 자체 트랜스포머를 개발할 수 있도록 지원해 커스텀 챗봇과 개인 어시스턴트 등 언어를 이해하는 AI 애플리케이션을 개선하는 것이 목표다.
MT-NLG는 수천억 개의 데이터 요소를 사용해 훈련됐으며, 이 과정은 수천 개의 GPU를 동원해 수주일 동안 계속됐다.
목록
위로