ChatGPT의 탄생 비하인드 스토리

ChatGPT의 탄생 비하인드 스토리

Table of Contents

1. Introduction
2. The Founding Members of Open AI
3. Early Stories and Initiatives
4. The Later Stage of Open AI
5. The Importance of Elon Musk and Other Key Members
6. The Role of Co-founder Greg Brockman
7. The Evolution of Open AI
8. The Introduction of GPT and Natural Language Processing
9. The GPT2 Project and Its Impact
10. The Emergence of Stable Fusion
11. The Significance of Microsoft's Investment
12. The Departure and Return of Andrej Karpathy
13. Open AI's Transition to For-Profit
14. The Challenges Faced by Open AI
15. Collaboration with Microsoft and the Acquisition of GitHub
16. The Future of Open AI

Article

Introduction

안녕하세요! 정시훈입니다. 이번 채찍 PT는 네 번째 시간이자 오픈 AI에 대한 이야기는 두 번째입니다. 이전 시간에는 오픈 AI의 창업 멤버들과 초기 창업 방식에 대해 알아보았습니다. 이번 시간은 그 이후의 이야기를 드리겠습니다. 지난번에는 사실상 최중요한 창업 멤버로서 시의원 쌤 헬트만과 와이 컴비네이터의 대표였던 일론 머스크, 투자자 그룹 및 일리아 사스케벌과 치프 사이언티스트로서 역할을 했었습니다. 하지만, 이들 세 사람은 파트타임으로 할 수밖에 없기 때문에 풀타임으로 할 사람이 없었고, 이에 그렉 드록만이 치명적으로 등장해 사람들을 모으고 멤버들과의 소통에 참여하게 되었습니다.

The Founding Members of Open AI

그렉 드록만은 스트라이브 앤 시티어에 있었던 그래프롱이자 나섰으며, 그래프롱만은 초기 창업 때 그림으로 보여드렸던 그 아파트에 주로 사람들을 모아 일을 시작했습니다. 이 아파트에는 초기 멤버들과 함께 활동한 친구들이 모여 시작을 했습니다. 처음 일하는 날에는 화이트보드가 없어서 화이트보드를 사가지고 왔으며, 이를 시작으로 하나씩 만들어간 것이 오픈 AI의 시작이었습니다. 오픈 AI는 강화 학습 분야에서 유명한 GPT로 알려져 있었지만, 당시에는 그게 많이 중요한 부분은 아니었습니다. 기본적으로 영리를 추구하지 않는 집단으로서 1조원 정도의 기부금을 받아 운영되는 종류였기 때문입니다. 초기 모임의 대다수는 강화 학습에 능한 연구자들로 구성되었으며, 이때 주로 강화 학습과 관련된 강의 영상을 제공하는 새로운 프로젝트를 시작하기로 하였습니다. 이렇게 프로젝트를 시작한 것이 9월달이었습니다. 이 프로젝트는 닙스에서 발표되었으며, 프로젝트는 오픈 AI 짐이라는 이름으로 알려졌습니다. 지금은 유립스로 이름이 바뀌었습니다.

Early Stories and Initiatives

프로젝트가 시작되면서 오픈 AI는 주로 강화 학습과 관련된 시뮬레이션 환경을 제공하기 위한 작업에 중점을 두기로 결정했습니다. 이를 위해 게임과 도시 운전, 이적 보행과 같은 여러 가지 시뮬레이션을 이용하여 환경을 조성했습니다. 이렇게 만든 환경에서 강화 학습 연구를 수행할 수 있도록 돕는 무조건 환경이 제공되었습니다. 프로젝트의 주요 목표는 해외에 있는 강화 학습 연구자들을 위해 새로운 기능을 제공하는 것이었습니다. 이를 통해 오픈 AI는 자신들의 역할을 강화 학습 분야에서 제공하는 것으로 시작하게 되었습니다.

The Later Stage of Open AI

2017년에 알렉스로 시작되어 많은 연구자들이 참여한 프로젝트를 이후 오픈 AI는 GPT로 전환하게 됩니다. 알렉스는 생성형 AI의 연구에 흥미를 가지고 있었으며, 트랜스포머를 이용해 문장 생성과 같은 작업에 접근하고자 했습니다. 이것이 바로 유명한 GPT 논문을 쓴 계기가 되었고, 이후로 오픈 AI는 강화 학습에서 빅 모델로의 전환을 예상하며 큰 변화를 겪게 됩니다. 또한, 생성형 AI와 관련하여 더 중요한 연구를 이끈 것이 바로 클립입니다. 이번 시리즈에서는 클립에 대한 언급은 생략하겠지만, 최근 AI 트렌드에서 가장 중요한 주제 중 하나입니다.

The Importance of Elon Musk and Other Key Members

오픈 AI의 중요한 변화 중 하나는 일론 머스크가 오픈 AI의 공식적인 역할에서 손을 떼겠다는 선언을 한 것입니다. 일론 머스크는 테슬라 자동차가 AI 기술을 강화하려고 오픈 AI에 투자한 것이 그 원인이었습니다. 테슬라 자동차 필요에 따라 AI를 강화하기 위해 투자한 것이지만, 이는 오픈 AI의 상업적 목적을 위해 인터페이스 역할을 맡은 것이지만, 오픈 AI와 테슬라 간의 갈등으로 오해를 사기도 했습니다. 특히 구글에서 직접 투자한 것은 아니지만 초창기 오픈 AI의 멤버로서 중요한 역할을 한 사람들이 많은 투자금액을 받았다는 이야기가 있었습니다. 투자금액의 크기와 오픈 AI의 영리하지 않은 성격 때문에 비판을 받기도 했습니다. 그 결과, 오픈 AI의 입장에서는 경쟁을 해결하기 위한 방안으로 기존 비영리 오픈 AI가 결정을 내리는 구조를 만들게 되었습니다.

The Introduction of GPT and Natural Language Processing

오픈 AI가 주로 알려져 있던 GPT를 기반으로 자연어 처리 분야에서 활용 가능한 환경을 제공했습니다. GPT2 프로젝트 이후 여러 가지 프로젝트를 통해 더 큰 모델이 가능성이 있어 보였으며, 특히 마이크로소프트는 활발한 참여를 시작했습니다. 마이크로소프트는 2019년에 오픈 AI의 넘는 돈을 투자하면서 오픈 AI와 협력하고자 했습니다. 이를 통해 마이크로소프트는 빙, 오피스 제품과의 연결 등을 향한 프로젝트를 발표했으며, 이전에 GitHub를 인수하고 개발자들에게 접근할 수 있는 데이터도 보유하고 있었습니다. 이를 바탕으로 프로그래밍 코드를 자동으로 생성하는 프로젝트인 코딕스를 개발했습니다.

The Challenges Faced by Open AI

오픈 AI가 직면한 주요한 도전은 학습에 필요한 비용이 너무 크다는 것입니다. 강화 학습과 GPT를 학습하는 데에는 많은 비용이 발생하며, 이는 엄청난 금액의 투자를 필요로 합니다. 이로 인해 다른 대형 회사와 경쟁해야 하는 상황에서 오픈 AI에 파트타임 참여한 멤버로서는 충분한 자금 조달이 필요했습니다. 이때 오픈 AI는 투자금액의 100배까지 캡을 설정해 투자를 받고 영리성을 유지할 계획을 발표했습니다. 이러한 결정은 양날의 검이 되었으며, 오픈 AI를 100% 영리로 전환하는 것과 같은 비판을 받았지만, 이는 단순히 기부금을 잘 활용할 수 없는 상황을 극복하기 위한 답으로 등장한 것입니다.