입력 : 2024-06-29 10:25:53
오픈AI가 챗(Chat)GPT의 오류를 찾는 용도의 AI모델 크리틱(Critic)GPT를 발표했다고 27일(현지시간) 공식 블로그에서 연구 논문을 인용해 밝혔다. 크리틱GTP는 챗GPT와 마찬가지로 GPT-4를 기반으로 구축되었으며, 특히 코딩 작업에서 챗GPT가 생성한 응답의 오류를 식별하는데 역할을 한다.
;)
챗GPT의 베이스인 GPT-4 시리즈 AI 모델은 RLHF(Reinforcement Learning from Human Feedback, 인간의 피드백에 의한 강화 학습)라고 불리는 기법으로 구축된 것이 특징이다. 이 기법에서는 AI 모델이 생성해 출력하는 답변을 AI 트레이너(사람)가 비교 및 평가해 조정해 나가는 방식이 쓰인다.
하지만, 추론 성능이나 모델이 개선되어 응답의 정밀도가 높아질수록 오류가 더욱 미묘해져서 AI 트레이너가 이를 발견하기 힘들어지는 한계가 존재한다. 이것은 RLHF 기법의 한계로도 여겨진다. 오픈AI가 챗GPT의 잘못된 응답을 검출하기 위한 AI 모델로 크리틱GPT를 구축한 이유다.
크리틱GPT의 검증이 반드시옳다고 볼 수는 없지만, AI 트레이너가 크리틱GPT의 지원을 받을 경우 오류 검출의 정밀도를 높일 수 있다고 오픈AI 측은 설명한다. 오픈AI는 “코드 리뷰 작업 시 크리틱GPT를 사용할 경우, 사용하지 않는 경우보다 60% 이상 성능이 향상됐다.”고 밝혔다.
크리틱GPT 역시 챗GPT와 마찬가지로 RLHF에서 훈련 중인 것은 같지만, 오류가 포함된 데이터를 학습하는 점이 다르다. 예를 들어 크리틱GTP는 챗GPT가 작성한 오류 코드에 AI 트레이너의 실수가 더해진 오류 코드 샘플을 학습하게 된다.
목록
위로