대형 언어 모델의 실전 개론

Table of Contents

1. 데이터 과학 시리즈에 오신 것을 환영합니다
2. 대형 언어 모델 소개
3. 대형 언어 모델의 세 가지 활용 수준
   • 3.1 프롬프트 엔지니어링
   • 3.2 모델 파인튜닝
   • 3.3 자체 생성 대형 언어 모델
4. 프롬프트 엔지니어링
5. 모델 파인튜닝
6. 자체 생성 대형 언어 모델
7. 요약
8. 자주 묻는 질문

데이터 과학 시리즈에 오신 것을 환영합니다

저는 Shah입니다. 새로운 데이터 과학 시리즈로 돌아왔습니다. 이 새로운 시리즈에서는 대형 언어 모델에 대해 이야기하고 실전에서의 활용 방법에 대해 설명할 것입니다. 이 비디오에서는 대형 언어 모델의 초보자 친화적인 소개를 제공하고 실전에서의 세 가지 활용 수준에 대해 설명할 것입니다. 이 시리즈의 다음 비디오에서는 OpenAI의 Python API를 사용하는 방법, hugging face Transformers 라이브러리와 같은 오픈 소스 솔루션의 활용 방법, 대형 언어 모델의 파인튜닝 방법 및 대형 언어 모델을 완전히 처음부터 구축하는 방법 등의 실전 측면을 논의할 예정입니다. 이 콘텐츠가 마음에 든다면 구독하고 공유해주시고, 이 시리즈에 포함시키고 싶은 제안이 있으시면 아래 댓글 섹션에 공유해주시기 바랍니다. 그럼 이제 시작해봅시다.

대형 언어 모델 소개

대형 언어 모델은 챗 GPT와 같이 많은 사람들이 이미 알고 있는 것 같습니다. 그러나 대형 언어 모델이 왜 "대형"인지, 대형 언어 모델과 그렇지 않은 언어 모델(일반적인 언어 모델)과의 차이점이 무엇인지 궁금하실 것입니다. 대형 언어 모델은 과거의 언어 모델에서 더 많은 모델 파라미터를 가지고 있다는 점이 가장 큰 차이점입니다. 이들은 수십억에서 수천억 개의 모델 파라미터를 가지고 있기 때문에 사람들은 보통 대형 언어 모델이라고 말합니다. 모델 파라미터는 모델이 입력을 받고 출력을 생성하는 방법을 정의하는 수치들입니다. 이것이 대형 언어 모델과 일반적인 언어 모델을 양적으로 구별하는 방법입니다. 그러나 대형 언어 모델의 특징을 보다 단순하게 이해할 수 있는 두 가지 특성에 대해 이야기해보겠습니다. 첫 번째는 양적인 측면이고, 두 번째는 질적인 측면입니다.

대형 언어 모델의 세 가지 활용 수준

3.1 프롬프트 엔지니어링

프롬프트 엔지니어링은 대형 언어 모델을 기본 상태 그대로 사용하는 것을 뜻합니다. 즉, 모델 파라미터를 직접 조작하지 않고 사용하는 방법입니다. 이 활용 수준에서는 Chat GPT와 같은 직관적인 사용자 인터페이스를 사용할 수 있습니다. 이들은 코드를 필요로하지 않으며 완전히 무료입니다. 누구나 Chat GPT 웹사이트에 접속하여 프롬프트를 입력하면 모델에서 응답을 얻을 수 있습니다. 하지만 이 방법은 웹사이트에 접속해야 하므로 제품 또는 서비스를 구축하는 경우 확장성이 떨어질 수 있습니다. 그러나 많은 경우에 유용하게 사용될 수 있는 방법입니다. 기본 방식이 필요하지 않은 경우, openai API 또는 hugging face Transformers 라이브러리와 같은 오픈 소스 도구를 사용할 수 있습니다. 이러한 도구들은 대형 언어 모델과 상호 작용하기 위한 방법을 프로그래밍적으로 제공합니다. 예를 들어, openai의 Python API를 사용하여 프롬프트를 보내고 응답을 받을 수 있습니다. 물론 이를 위해서는 API 호출당 요금을 지불해야 합니다. open source 솔루션 중 하나인 hugging face Transformers 라이브러리를 사용할 수도 있습니다. 이 라이브러리는 오픈 소스 대형 언어 모델에 쉽게 접근할 수 있도록 해주며, 무료로 로컬에서 모델을 실행할 수 있습니다. 이는 제3자에게 데이터를 전송할 필요가 없으므로 소유권 및 보안과 관련된 대기업이나 대기권조직에서 매우 중요한 문제인 경우에 유용할 수 있습니다.

3.2 모델 파인튜닝

모델 파인튜닝은 특정 작업을 위해 적어도 하나의 내부 모델 파라미터를 조정하는 것을 의미합니다. 이 활용 수준에서는 미세 조정된 모델을 사용합니다. 즉, 예를 들어 chat GPT에서 상호 작용하는 모델은 강화 학습을 통해 개발된 미세 조정된 모델입니다. 이러한 작업을 수행하기 위해 기본 상태의 미세 조정된 모델을 얻고 나서, 특정 작업에 맞게 모델 파라미터를 업데이트합니다. 이를 위해 라벨링된 예제로 파라미터를 조정하는 것이 일반적입니다. 예를 들어, 언어 분류 작업을 수행하는 모델을 구축하기 위해 파라미터를 조정할 때, 영어 및 스페인어 텍스트의 말뭉치를 사용하여 모델에게 자체 지도 학습 방식을 사용할 수 있습니다. 이를 위해 기본 모델에서 파라미터를 자체 지도 학습 방식으로 세밀하게 조정하여 모델이 특정 작업에 대해 좋은 성능을 보일 수 있도록 합니다. 이러한 모델 파인튜닝 기술에는 주로 저위수 적응(low rank adaptation) 또는 사람의 피드백을 통한 강화 학습(reinforcement learning with human feedback)과 같은 기술이 사용됩니다. 그런 다음 fine-tuned된 대형 언어 모델을 배포하여 특정 서비스나 일상 활용에서 사용하면 수익을 얻을 수 있습니다.

3.3 자체 생성 대형 언어 모델

만약 보안이 큰 고려 사항인 경우에는 오픈 소스 모델을 사용하거나 API를 통해 데이터를 제3자에게 전송하지 않고, 자체적으로 대형 언어 모델을 구축해야 할 수도 있습니다. 또한 대형 기업이나 조직에서는 맞춤형 훈련 데이터를 특정 방식으로 사용자 정의하고 상용 목적으로 소유해야 할 수도 있습니다. 이러한 경우에는 모델 파인튜닝을 넘어서 자체 생성 대형 언어 모델을 구축하는 것이 유용할 수 있습니다. 대상 데이터를 구하고 전처리하여 학습 데이터셋을 만들고, 이를 이용해 자체 지도 학습을 통해 모델 트레이닝을 수행한 다음, 이를 기반으로 대형 언어 모델을 만들 수 있습니다. 이렇게 만들어진 자체 생성 대형 언어 모델을 활용하여 사용자 정의된 특정 작업에 대한 원하는 성능을 얻을 수 있습니다. 더 자세한 내용은 나중에 다루도록 하겠습니다.

프롬프트 엔지니어링

프롬프트 엔지니어링은 대형 언어 모델을 프롬프트에 맞게 사용하기 위한 기법입니다. 즉, 적절한 프롬프트를 생성하여 대형 언어 모델로부터 원하는 응답을 얻기 위한 방법을 말합니다. 프롬프트 엔지니어링을 통해 사용자는 대형 언어 모델을 보다 효과적으로 활용할 수 있습니다. 프롬프트 엔지니어링은 어떤 프롬프트를 생성해야 하는지, 어떤 방식으로 프롬프트를 조합해야 하는지 등을 다루는 기술입니다. 이러한 방법을 사용하여 대형 언어 모델과 상호 작용할 때 더 나은 성능을 얻을 수 있습니다.

모델 파인튜닝

모델 파인튜닝은 대형 언어 모델의 일부 파라미터를 지정된 작업에 맞게 조정하는 과정입니다. 이를 통해 대형 언어 모델을 특정 작업에 보다 적합하게 만들 수 있습니다. 모델 파인튜닝은 일반적으로 라벨링된 예제를 사용하여 수행됩니다. 예를 들어, 언어 분류 작업을 위해 모델을 수정할 때, 영어 및 스페인어 텍스트의 데이터셋을 사용하여 모델 파라미터를 조정할 수 있습니다. 이를 통해 모델은 특정 작업에 대해 정확한 예측을 할 수 있게 됩니다. 파인튜닝에는 여러 기술이 사용되며, 저위수 적응 및 사람의 피드백을 통한 강화 학습이 주로 사용되는 기법입니다. 파인튜닝된 모델은 특정 작업에 대한 최적 성능을 발휘할 수 있습니다.

자체 생성 대형 언어 모델

자체 생성 대형 언어 모델은 완전히 사용자 정의된 대형 언어 모델을 구축하는 과정입니다. 사용자는 대형 언어 모델의 모든 파라미터를 제어할 수 있으며, 모델의 성능을 특정 작업에 맞게 최적화할 수 있습니다. 이를 위해서는 훈련 데이터를 준비하고, 모델을 학습시키는 과정을 거쳐야 합니다. 이렇게 생성된 자체 생성 대형 언어 모델은 사용자의 목적에 맞는 특정 작업에 대해서 최상의 성능을 발휘할 수 있습니다.

Note: The above is a table of contents. The content below will be written in separate paragraphs based on the table of contents.