Bryan Catanzaro와 함께하는 대규모 언어 모델의 병렬 처리와 가속화

딥 러닝 연구 부사장 Brian Cottonzaro와의 인터뷰

Brian Cottonzaro 부사장은 NVIDIA의 응용 딥러닝 연구 부사장입니다. 어서 오세요 Brian! 지금부터 포드캐스트에서 대화에 참여하는 것을 매우 기대하고 있습니다. 얼마나 기다렸는지 모르겠지만 드디어 연결될 수 있어서 기쁩니다. 이제 우리는 당신이 작업하는 재미있는 내용들에 대해 이야기하게 될 것이지만, 먼저 여러분의 배경에 대해 좀 더 자세히 들어보고 싶습니다. 여러분은 주로 coo dnn 라이브러리의 창시자나 제작자로 알려져 있을 수 있습니다. 딥러닝을 시작하게 된 경위와 여러분의 이야기에 대해 알려주실 수 있을까요?

배경 이야기

저는 실제로는 버클리 대학교에서 대학원생으로 공부하면서 GPU 상에서 머신러닝을 시작했습니다. 2008년에 ICML에서 GPU 상에서 큰 SVM 모델을 훈련하는 방법에 대한 첫 논문을 발표했는데, 그 당시에는 GPU와 머신러닝을 함께 다루는 사람이 흔하지 않아 흥미로운 반응을 받았습니다. 2011년에 졸업하면서 NVIDIA에 입사했고, 제 강의논문 당시 머신러닝과 딥러닝이 세상을 바꿀 것이라고 믿었습니다. 이것을 실현하기 위해서는 가장 큰 모델을 가지고 빠른 속도로 훈련해야 했습니다. 그래서 이것을 주제로 박사 학위 논문을 작성했고, NVIDIA의 연구팀에서 일을 시작했습니다. 거기서 제가 작은 프로토타입 라이브러리를 만들어서 딥러닝의 GPU 최적화에 도움을 주었습니다. 그 라이브러리는 CUDA DNN으로 발전되었으며 전 세계의 수백만 개의 AI 개발자가 사용하게 되었습니다. 오늘날에는 많은 사람들이 그러한 커널을 계속 개발하고 있습니다. 제 코드 중 일부는 아마도 여전히 사용 중일 것이지만, 전반적인 팀 작업으로 발전되었기 때문에 그것을 생각하면 참으로 훌륭한 일이었습니다. 지금은 NVIDIA의 응용 딥러닝 연구 팀을 리드하고 있으며, deep learning을 통해 NVIDIA의 제품과 업무를 개선할 수 있는 새로운 방법을 발견하기 위해 노력하고 있습니다. 그래픽 및 컴퓨터 비전, 음성, 언어, 시스템 디자인에 대한 연구를 주로 수행하고 있습니다. NVIDIA는 시스템 디자인 회사이기 때문에 칩, 라이브러리, 컴파일러, 네트워크 하드웨어 및 데이터 센터 스타일의 컴퓨터와 같은 다양한 영역에서 인공지능을 적용할 기회가 있습니다. 이 네 가지 영역에 대해 연구하고 있습니다.

고성능 컴퓨팅 및 인공지능

NVIDIA에서는 최근 인공지능과 고성능 컴퓨팅 간의 많은 연결점을 발견했고, 저는 지난 몇 년간 연구와 함께 이 분야에 뛰어들어왔습니다. 인공지능이 컴퓨팅의 규모에 대한 깊은 고민을 하는 동안 HPC 측면에서도 큰 관심을 가져왔습니다. 저는 컴퓨터 과학을 전공한 버클리 대학교의 박사과정 중에 아주 좋은 동료들과 함께 HPC 분야에서 작업을 진행하면서 HPC 관점에서 생각하는 법에 대해 배울 수 있었습니다. 그렇게 전통적인 HPC 관점이 딥러닝에도 적용되었고, 2013년에는 함께 연구한 동료들과 함께 ICML에서 HPC를 사용한 뉴럴넷 모델 훈련을 그야말로 성공적으로 발표하였습니다. 우리는 만 CPU 기반의 수천 개의 서버에서 실행되는 비지도형 컴퓨터 비전 모델 훈련을 3개의 GPU 기반 서버로 실행되도록 최적화하여 성공적으로 작업했습니다. 이를 통해 얻을 수 있는 향상된 성능에 대해 더 자세히 이야기하기 위해 11월에 열리는 슈퍼 컴퓨팅 컨퍼런스에서 우리의 논문을 발표할 예정입니다.