只需8GB VRam,即可體驗穩定擴散視頻!
Table of Contents:
- 介紹 Stable Video Diffusion
- 系統需求
- 安裝 ComfyUI Portable
- 設定 ComfyUI
- 安裝 ComfyUI Manager
- 下載模型和工作流程
- 配置 ComfyUI
- 使用工作流程
- 建立影片
- 常見問題(FAQ)
介紹 Stable Video Diffusion 👀
Stable Video Diffusion(穩定視頻擴散)是一種令人驚嘆的方法,可以通過一張圖片創建具有連貫性的動畫。它由Stability AI推出的,使用8GB顯卡即可創建出令人驚嘆的動畫。即使最初的必要條件是需要40GB的顯卡,但僅幾小時後,社區就成功在24GB的顯卡上運行了它,並且現在甚至可以在8GB的顯卡上運行。目前,Stable Video Diffusion僅適用於ConfyUI,但我們期望它能很快擴展到automatic1111。在接下來的內容中,我們將介紹這種在ComfyUI的博客上提出的方法,博客連結在描述中有提供。
系統需求 💻
要使用Stable Video Diffusion,您需要符合以下系統需求:
- 8GB或以上的顯卡
- 安裝ComfyUI Portable
- 安裝Git以便安裝ComfyUI Manager
安裝 ComfyUI Portable 💿
如果您已經安裝了ComfyUI Portable,您可以跳過此步驟。否則,請按照以下步驟進行安裝:
- 從描述中提供的鏈接下載ComfyUI Portable壓縮文件。
- 使用您喜歡的解壓縮軟件解壓縮文件,例如Total Commander Ultima Prime。
- 將解壓縮後的文件夾移到您喜歡的位置。
- 打開文件夾並編輯extra_model_paths.yaml.example文件,將其中的路徑修改為您存儲模型的位置。
- 保存文件並將文件名從extra_model_paths.yaml.example更改為extra_model_paths.yaml。
- 安裝ComfyUI Manager。獲取bat文件的鏈接,在CMD中執行該文件完成安裝。
設定 ComfyUI ⚙️
在使用ComfyUI之前,您需要進行一些配置:
- 下載Stable Video Diffusion的官方模型SVD.SafeTensor和SVD-Image-Decoder.SafeTensor。
- 下載ComfyUI的工作流程文件。在描述中有提供下載鏈接。
- 在ComfyUI中讀取工作流程文件,確保沒有出現錯誤。
- 根據需要進行配置並保存設置。
- 使用ComfyUI的工作流程來生成動畫和影片。
安裝 ComfyUI Manager 💻
為了安裝ComfyUI Manager,您需要先安裝Git。如果您尚未安裝Git,請按照上方提供的鏈接進行安裝。完成後,按照以下步驟安裝ComfyUI Manager:
- 下載安裝ComfyUI Manager的bat文件。在描述中提供了下載鏈接。
- 將下載的bat文件保存在ComfyUI Portable文件夾中。
- 在CMD中導航到ComfyUI Portable的位置。
- 輸入"INS"並按Tab鍵,系統將自動填充文件名。
- 按Enter鍵執行bat文件,等待安裝完成。
下載模型和工作流程 🎥
在使用Stable Video Diffusion之前,您需要下載官方模型和ComfyUI的工作流程文件:
- 下載Stable Video Diffusion的模型:SVD.SafeTensor和SVD-Image-Decoder.SafeTensor。在描述中提供了下載鏈接。
- (可選)下載Stable Video Diffusion XT版本的模型。這些模型與標准版SVD相同,但是訓練用於生成25幀的動畫。在描述中提供了下載鏈接。
- 下載ComfyUI的工作流程文件。在描述中提供了下載鏈接。
配置 ComfyUI ⚙️
在開始使用ComfyUI之前,您需要進行一些配置:
- 將下載的模型文件移動到主要模型或檢查點文件夾中。
- 根據需要,配置ComfyUI的額外模型路徑。
- 導入ComfyUI的工作流程文件。將其拖放到ComfyUI窗口或使用LOAD按鈕。
- 確保配置沒有錯誤並保存設置。
使用工作流程 🚀
在ComfyUI中,使用工作流程非常簡單,以下是一個基本示例:
- 使用LOAD按鈕選擇一個圖像到視頻的工作流程文件。
- 在窗口中進行配置,可以調整輸出視頻的解析度。
- 點擊SAVE保存設置。
- 使用Queue Prompt按鈕開始生成動畫。第一次執行可能需要更長的時間,因為它需要讀取模型。
- 等待生成結果,可能需要多次嘗試才能獲得您滿意的動畫。
建立影片 🎬
在使用Stable Video Diffusion和ComfyUI生成動畫後,您可以通過以下步驟將其轉換為視頻:
- 使用ComfyUI的Save Image節點保存每個生成的幀圖像。
- 使用專業的視頻編輯軟件或在線工具,將這些圖像合成為一個視頻。
- 根據需要,對視頻進行進一步的編輯和處理。
常見問題(FAQ)❓
Q:Stable Video Diffusion是否支持其他類型的圖像文件?
A:是的,Stable Video Diffusion支持多種圖像格式,包括JPEG、PNG等。
Q:我可以在8GB以下的顯卡上運行Stable Video Diffusion嗎?
A:不建議在8GB以下的顯卡上運行Stable Video Diffusion,因為它需要較大的內存來處理動畫生成過程。
Q:我如何選擇適合的模型和工作流程文件?
A:根據您的需求和硬件配置,可以選擇標準版或XT版的模型,並根據所需的輸出幀數選擇相應的工作流程文件。
Q:為什麼動畫生成結果可能會有異常或不滿意的效果?
A:動畫生成是一個複雜的過程,結果可能因圖像、設置和模型的選擇而有所不同。如果不滿意結果,可以嘗試修改設置、更換模型或進一步調整工作流程。
Q:如何提升動畫生成的速度和質量?
A:要提升動畫生成的速度和質量,可以考慮升級到更高容量的顯卡、增加內存、調整輸出解析度等。
Q:我如何獲得技術支持或解決問題?
A:如果您遇到任何問題或需要技術支持,請訪問ComfyUI的官方網站或聯繫他們的客戶服務部門。
對於更多問題和答案,請訪問ComfyUI的官方網站或參考他們的技術文檔。
資源: