AI 마스터 세계 최초 미니GPT-4 설치 가이드!

Table of Contents

1. Introduction
2. Hardware Environment
3. Installation Process Overview
4. Downloading Dependencies
5. Creating a Virtual Environment
6. Merging Model Files
7. Modifying Configuration Files
8. Running the Program
9. Adjusting Access Settings
10. Common Installation Issues

Introduction

인사말을 하고, 이전에 Mini-GPT4 소개를 한 후에 많은 사람들이 인스톨과 관련된 질문을 하셨다. 그래서 오늘은 로컬 환경에서 Mini-GPT4를 설치하는 방법을 공유하려고 한다. Mini-GPT4의 설치는 복잡하지 않다. 공식 문서에서 말한 것 처럼 3단계만 거치면 된다. 그런데 국내에서 설치하는 경우 약간 복잡할 수 있다. 여기에는 몇 가지 장애물이 있지만 걱정하지 마세요. 이미 대신 해결해 놓았기 때문이다. 오늘의 내용을 시작하기 전에 하드웨어 환경부터 소개하겠다.

Hardware Environment

Mini-GPT4를 실행하기 위해서는 NVIDIA 그래픽 카드가 필요하다. 따라서 애플 칩이 장착된 컴퓨터를 사용하는 경우 다른 컴퓨터를 찾아야 한다. 또한 Mini-GPT4에서는 Vicuna라는 모듈을 사용하고 있으며, 이 모듈은 많은 그래픽 메모리를 필요로 한다. 13B를 실행하는 경우 약 23G의 그래픽 메모리가 필요하며, 이런 좋은 설정이 없는 경우 7B를 시도해보면 11.5G에서 12G 정도의 메모리로도 사용할 수 있다. 또한 이러한 모델 파라미터 파일과 Python의 종속성 패키지를 다운로드하기 위해서는 상당한 디스크 공간이 필요하며, 전체 설치 과정은 대략 100G의 공간이 필요하다. 시스템의 사용 가능한 공간이 150G 이상이면 좋다. CPU와 메모리에 대한 구체적인 요구 사항은 언급되지 않았다. 여기서는 저는 요구사항을 언급하지 않았지만 64코어 2.3GHz 프로세서와 256GB의 메모리를 장착한 서버를 사용했습니다. 운영체제는 리눅스와 윈도우 모두 사용할 수 있지만 우분투를 권장한다. 우리는 우분투 22.04를 사용했다. 소프트웨어의 경우 git과 git-lfs만 필요하며, 자신이 편한 텍스트 에디터 하나만 있으면 된다. Python을 별도로 설치할 필요는 없다. 왜냐하면 Conda를 설치할 때 자체적으로 Python을 제공하기 때문이다. 물론 이미 시스템에 Python이 설치된 경우에도 괜찮다. 여기에서 여러분에게 하나의 추천이 있는데, 여러분들께 터미널 재사용 소프트웨어를 사용하라고 말하고 싶습니다. 이렇게하면 하나의 터미널에서 여러 작업을 동시에 수행할 수 있습니다. 또한 원격 터미널에 SSH로 연결한 경우, SSH가 끊겨도 터미널 재사용 소프트웨어를 사용하면 이전에 실행한 프로그램을 계속 실행할 수 있습니다. 특히 네트워크가 불안정한 상황에서 매우 유용합니다. 그 다음으로, 설치에 필요한 모든 파일을 보여드리고 싶습니다. 모든 파일을 /opt/migigpt4 디렉토리에 넣었습니다. 이후에 사용되는 몇 가지 명령과 설정은이 디렉토리를 기준으로하며, 실제 설치시 실제 상황에 맞게 조정해야합니다. 이것이 설치에 필요한 모든 파일입니다. 이것은 Conda 설치 파일입니다. 가상 환경을 생성 할 때 사용됩니다. 그리고 env 디렉토리는 그가 생성한 가상 환경입니다. 그는 모든 종속성 패키지를이 디렉토리로 설치합니다. 이것은 Mini-GPT4의 소스 코드입니다. 이것도 있는 곳입니다. 사용될 때, 다운로드 된 두 개의 파일이 인터넷에서 다시 다운로드됩니다. 만약 여러분의 인터넷이 안정적이지 않다면, 이 둘 중에 특히 큰 파일이기 때문에, 이전에 다운로드하고, 소스 코드를 수정하여 이전에 다운로드 한 파일을 읽도록 할 수 있습니다. 온라인에서 다운로드하면 실패 확률이 매우 높습니다. 이것은 LLAMA 모델입니다. 이것은 Vicuna모델인데,LLAMA와의 차이점을 말하는 것입니다. LLAMA에서 앞에서 언급했듯이, 재배포할 수 없습니다. 우리는 그 설명을 볼 수 있으며, 일반적인 절차에 따라 신청서를 작성하고, 승인을 받아야 사용할 수 있습니다. 일부 기본 정보는 여기에 있으며, 그 아래에 사용조건이 나열되어 있습니다. 그러나 실제로는 승인을 받기 전에 파일을 받을 수 있습니다. 이 파일을 복사하여 해당 웹 사이트에 넣어도 되며, Git을 통해 직접 다운로드 할 수 있습니다. 하지만 게시하려는 경우, 해당 라이센스 제한을 따라야합니다. 마지막으로 vicuna 디렉토리는 두 모델이 병합 된 결과물입니다. 기본적으로 이러한 파일의 총합은 대략 99G입니다. 실행 시 추가로 다른 위치에 쓸 파일이 있을 수 있으므로 100-150GB 정도의 여유 공간을 남겨두는 것이 좋습니다. Mini-GPT4의 설치는 총 5 단계로 나뉩니다. 첫 번째는 종속 파일을 다운로드하는 것이고, 두 번째는 가상 환경을 생성하는 것이고, 세 번째는 모델 파일을 병합하는 것이고, 네 번째는 구성을 수정하는 것이고, 다섯 번째는 프로그램을 실행하는 것입니다. 그 중 첫 두 단계가 가장 중요하고 시간이 많이 소모됩니다. 왜냐하면 다운로드해야하는 파일이 많아서입니다. 방금 본 모델 파일은 20GB를 넘습니다. 이제 이러한 파일을 먼저 다운로드해 보겠습니다. 이러한 파일을 다운로드하는 방법은 두 가지가 있습니다. 첫 번째는 Git을 사용하는 것입니다. 이것은 소스 코드 리포지토리 일 수도 있고 Git-LFS로 관리하는 파일들 중 일부 일 수도 있다. 또한 일부 파일은 Google 드라이브에 저장되어 있어서 웹 브라우저로 직접 다운로드 할 수 있습니다. 구체적인 다운로드 방법은 브라우저, curl 또는 wget을 사용해도 상관 없습니다. 여기에서는 자세히 설명하지 않겠습니다. 아, 여기에 자세히 설명해 드리지 않았지만, 모델 파일을 다운로드하기 전에 git lfs install이라는 명령을 먼저 실행하여 올바르게 초기화되었는지 확인해야합니다. 이 다운로드는 상당한 시간이 걸릴 수 있으므로 가상 환경을 빌드하는 동안에 이 시간을 활용 할 수 있도록 할 것입니다. 가상 환경을 생성하려면 Conda라는 파일을 먼저 설치해야합니다. Conda에는 Anaconda라는 이름의 두 가지 버전이 있습니다. 하나는 Anaconda이며 1500개의 종속성 패키지가 기본으로 설치됩니다. 또한 설치 파일 및 디스크 공간도 더 많이 차지합니다. 공식 문서에 따르면 약 3GB입니다. 그리고 Miniconda는 작습니다. 몇십 메가바이트 밖에 안됩니다. 그 이유는 그 사용자가 직접 종속성 패키지를 선택할 수 있으므로 그 상황에 따라 선택하면됩니다. 여기에서는 Miniconda를 사용했습니다. 방금 말한대로, 크기는 약 70MB입니다. 다운로드 한 후에는.sh 파일을 실행하여 설치 프로세스를 진행하면됩니다. 안내에 따라 진행하면됩니다. 다운로드 한 파일에 실행 권한이없는 경우 sh Miniconda3-py310_23.3.1-0-Linux-x86_64.sh와 같이 실행하거나 +x를 추가 한 다음 파일을 실행할 수도 있습니다. 그런 다음 안내에 따라 하나씩 설치하면됩니다. 설치가 끝날 때마다 터미널을 초기화하려는지를 묻습니다. 예를 선택하면 됩니다. 설치를 마치고 나면 효력을 발생시키려면 로그아웃해야한다고 나올 것입니다. 제대로 로그인하기 위해 요구 사항을 따라 다시 로그 아웃 한 다음 다시 로그인하면됩니다. 다시 로그인하면 명령 프롬프트 앞에 (base)가 추가됩니다. 이는 현재 기본 환경을 사용 중 이라는 것을 의미합니다. 새 가상 환경을 만들고 활성화 한 후에는 여기에 환경 이름이 표시됩니다. Windows에서 exe로 conda를 설치하는 경우 최종 사용자가 설치 대상을 선택하는 옵션이 하나 있습니다. 가능한 한 "나에게만 설치"라고 선택하십시오. 그렇지 않으면이 프로그램은 시스템 파일에 쓰려고 시도하고 설치가 실패할 수 있습니다. 이는 설치 중에 발생하는 문제 중 하나입니다. conda를 설치한 후에는 미러 소스를 설정해야합니다. 이러한 내용을 그의 구성 파일에 작성해야합니다. 볼 수있는 구성 파일입니다. 그의 구성 파일은 Linux에서는 사용자 디렉토리에서 찾을 수 있습니다. .condarc라는 파일을 확인할 수 있으며 이 파일 전체를 복사하여 붙여 넣으면됩니다. 그런 다음 conda clean -i를 실행하여 이전 캐시를 지워줍니다. 그렇지 않으면이전 미러 소스 주소를 계속 사용할 수 있습니다. conda의 미러 소스를 설정한 후에는 Pip의 미러 소스도 설정해야합니다. 이 두 명령을 실행하면됩니다. conda와 pip의 미러 소스를 설정한 후 가상 환경을 만들 수 있습니다. 먼저 Mini-GPT4 코드 디렉토리로 이동하겠습니다. 이 디렉토리에는 환경 구성 파일인 environment.yml이 있습니다. 가상 환경을 만들려면이 파일이 필요합니다. 그런 다음 conda env create 명령을 실행하고 이 파일을 지정하면됩니다. 두 가지 방법을 사용하여 가상 환경을 만들 수 있습니다. 첫 번째는 공식 사이트에서 제공하는 방법대로 환경 구성 파일을 직접 지정하는 것입니다. 그리고 그 파일에는 "minigpt4"라는 환경 이름이 들어 있습니다. 이 경우 해당 환경의 디렉토리가 사용자 디렉토리에 배치됩니다. 다른 위치를 지정하여 설치하려면 아래 명령 중 하나를 사용하면됩니다. 예를 들어, -p 파라미터를 지정하여 특정 위치로 이동하고 활성화하려면 -p 매개 변수 뒤에 경로를 지정하면됩니다. 가상 환경을 성공적으로 만든 후에야 활성화해야합니다. 그 후 모든 작업은 새로운 환경에서 수행되어야합니다. base에서 실행하지 마십시오. base에서 실행하지 마십시오. 공식 문서에 따르면 모델 매개 변수 파일은 알 수없는 형식의 파일이므로 그대로 사용할 수 없다고 말합니다. 병합하기 전에 Vicuna라는 패키지를 먼저 설치해야합니다. 패키지를 설치하려면 다음 명령을 실행하면됩니다. 그는 자체적으로 깃 허브에서 소스 코드를 다운로드하고 종속 패키지를 다운로드하는 작업을 합니다. 그것은 자동입니다. 우리는 그대로 둘 필요가 없습니다. 이 작업 도중 다음과 같은 오류가 표시되는 경우가 있습니다.예 : "다운로드 한 파일 Windows에서 처리하지 않음". 귀하의 경우 신경 쓰지 마십시오. git pull을 실행하고 "Already up to date"라고 하는지 확인하면됩니다. 그렇지 않으면 아직 다운로드되지 않았습니다. 당신이 실행 한 이전의 다운로드 명령이 끝나면 실행되기를 원래 상태의 명령어 상태로 돌아갈 것입니다. Linux에서 다운로드하려면 Windows에서 처리되지 않는 파일 이름과 같이 유사한 오류 메시지가 표시 될 수 있습니다. 필요하지 않으며 git pull을 실행하면 "업데이트 완료"라는 메시지가 나와야합니다. 두 개의 파일이 다운로드되었고 우리는 이제 병합 명령을 실행 할 수 있습니다. 이 명령은 너무 길기 때문에 읽지 않을 것입니다. 여기에는 세 가지 매개 변수 기본, 중간, Delta가 있습니다. 기본은 LLAMA 모델의 디렉토리이고 이 디렉토리의 전체 경로입니다. 그리고 타겟은 최종 모델 파일의 디렉토리입니다. 그리고 이 delta는 방금 언급한 7B delta 디렉토리입니다. 그런 다음 그가 완료될 때까지 기다리면됩니다. 이 명령의 실행 시간은 생각보다 훨씬 짧으며이 단계가 완료되면 구성 파일을 수정 할 수 있습니다. 다시 소스 코드 디렉토리로 이동하여 minigpt4 / configs / models / minigpt4.yml 파일을 엽니다. 16 번째 줄로 이동하고 여기에 설정하십시오. 방금 전에 명령을 실행 할 때의 타겟 디렉토리 전체 경로입니다. 설정을 마치고 저장하고 종료 한 다음 eval_configs / minigpt4_eval.yaml 파일을 엽니다. 11 번째 줄로 이동하고이 체크 포인트 행을 찾습니다. 여기에는 다운로드 한 사전 훈련 된 Mini-GPT4 7B의 체크 포인트 파일이 있습니다. 파일이기 때문에 디렉토리 대신 파일로 설정하세요. 구성이 완료되면 저장하고 종료합니다. 이전에 다운로드 한 파일을 사용하고 싶다면 방금 언급한 대로 코드를 수정해야합니다. 파일 위치를 바꾸어야 할 소스 코드는 두 군데 뿐입니다. 하나는 minigpt4 / models / mini_gpt4.py의 27 번째 줄입니다. 예전에는 HTTPS 주소 였으며, Google 드라이브 였습니다. 그것을 방금 전에 다운로드한 파일의 실제 절대 경로로 변경하면 됩니다. 파일 이름이 일치해야하기 때문입니다. 그리고 나머지 하나의 위치는 minigpt4 / models / eva_vit.py이며, 429 줄에서 432 줄입니다. 이 3-4 줄을 삭제하거나 주석 처리해도됩니다. 주석 처리하는 경우 앞에 #을 추가하고 대신에 다운로드 한 파일의 실제 경로로 변경합니다. 이 파일 eva_vit_g.pth로 변경해야합니다. 변경 사항을 저장하고 종료한 후에는 이제 실행 할 수 있습니다. 처음 실행하면 의존성 패키지를 추가로 다운로드해야 할 수도 있지만 모두 자동으로 수행됩니다. 다음에 실행하면 그렇게하지 않습니다. 그런 다음 프로그램을 실행해 보십시오. 프롬프트 앞에 .so 파일이 찾을 수없다는 메시지가 표시 될 수 있습니다. 이것은 프로그램의 실행에 영향을주지 않습니다. 첫 번째 실행이라면 추가적인 종속성을 다운로드해야 할 수도 있습니다. 체크 포인트를로드하는 동안이메일 기본적으로 성공적으로 시작되었습니다.이 로컬 주소를 사용하여 액세스 할 수 있으며 공용 URL도 제공됩니다. 다른 사람에게 액세스하도록 공유할 수 있습니다. 약간 이상할 수있는 속도로 진행됩니다. 마지막으로 설치 절차에 대해 언급하겠습니다. 여기에는 두 가지 액세스 주소가 있습니다. 하나는 로컬이고 다른 하나는 공유입니다. 그러나이 주소는 로컬 IP를 통해 액세스 할 수 없습니다. 로컬에서 액세스하려면 코드를 수정해야합니다. demo.py 파일을 엽니다. 마지막 줄로 이동하고 기본은 방금 설명한대로 기본값입니다. 그리고 server_name 매개 변수를 0.0.0.0로 설정했습니다. 또한 공용 액세스 주소를 만들고 싶지 않으면이 공유 매개 변수를 False로 설정하십시오. 실행하고 확인하십시오. 원하는 경우 기본 포트 7860을 사용하는 대신 server_port 매개 변수로 실행하는 포트를 지정할 수도 있습니다. 이제 액세스해 보겠습니다. 속도가 훨씬 빨라졌습니다. 마지막으로, 가상 환경에 대한 문제에 대해 이야기하겠습니다. 로그 아웃하면 (base)가 다시 기본으로 바뀔 것입니다. 이 환경을 다시 활성화해야합니다. 다시 환경으로 돌아 바꾸기 전에 활성화하십시오. 활성화하지 않으면 실행중인지 여부에 상관없이 ImportError가 발생합니다. 따라서 실행하기 전에이 명령을 사용하여 활성화해야합니다. 또한 일부 사용자가 문제에 직면 할 수도 있습니다. 비디오를 살펴보면 중간에 긴 시간 동안 끊어짐을 알 수 있습니다. 진행하기 전에 CUDA 장치를 찾을 수 없다는 것을 발견했기 때문에이것은 시스템 커널을 업그레이드 한 후 발생했습니다. 그래서 재부팅 된 기기에서이 업그레이드가 효과를 발휘하고 이전 드라이버가 효과를 발휘하지 않는 것으로 확인되었습니다. 그래서 그래픽 카드 드라이버가 올바르게 설치되어있는지 확인해야합니다. 다음 명령을 실행하여 각 기기 상태를 확인할 수 있습니다. 이 기기는 8개의 그래픽 카드를 가지고 있으며 이것은 매우 강력합니다. 지금 실행되지 않았지만 실행하려면 약 10G 정도를 사용합니다. 예상한 것 처럼 12G의 그래픽 메모리는 사용하지 않았습니다. 실제 미래 방문 과정에서 메모리가 증가하는지 여부를 모릅니다. 좋았습니다. 이제 여기에서 설치 방법의 모든 내용을 다루었습니다. 시청해 주셔서 감사합니다. 저희 채널을 좋아하신다면 팔로우 해 주시기 바랍니다. 감사합니다.