基于EasyAnimate模型的視頻生成最佳實(shí)踐

背景信息

本文為您介紹以下兩種視頻生成的方式：

· 方式一：使用DSW

DSW是為算法開發(fā)者量身打造的一站式AI開發(fā)平臺(tái)，集成了JupyterLab、WebIDE、Terminal多種云端開發(fā)環(huán)境，其中，Gallery提供了豐富的案例和解決方案，幫助您快速熟悉研發(fā)流程。您可以打開DSW Gallery中的案例教程，實(shí)現(xiàn)一鍵式運(yùn)行Notebook，完成基于EasyAnimate的視頻生成模型的推理和訓(xùn)練任務(wù)，也可以進(jìn)行模型推理和微調(diào)等二次開發(fā)操作。

• 方式二：使用快速開始

快速開始集成了眾多AI開源社區(qū)中優(yōu)質(zhì)的預(yù)訓(xùn)練模型，并且基于開源模型支持零代碼實(shí)現(xiàn)從訓(xùn)練到部署再到推理的全部過(guò)程，您可以通過(guò)快速開始一鍵部署EasyAnimate模型并生成視頻，享受更快、更高效、更便捷的AI應(yīng)用體驗(yàn)。

費(fèi)用說(shuō)明

如果您的賬號(hào)為DSW或EAS的新用戶，可以免費(fèi)試用相應(yīng)產(chǎn)品。關(guān)于免費(fèi)試用的額度、領(lǐng)取方式及注意事項(xiàng)等詳細(xì)信息，請(qǐng)參見新用戶免費(fèi)試用。

說(shuō)明：在本教程中，僅支持使用DSW免費(fèi)資源類型ecs.gn7i-c8g1.2xlarge。

如果您的賬號(hào)非新用戶，使用DSW和EAS會(huì)產(chǎn)生相應(yīng)費(fèi)用。更多計(jì)費(fèi)詳情，請(qǐng)參見交互式建模（DSW）計(jì)費(fèi)說(shuō)明、模型在線服務(wù)（EAS）計(jì)費(fèi)說(shuō)明、快速開始（QuickStart）計(jì)費(fèi)說(shuō)明。

前提條件

• 創(chuàng)建PAI工作空間。具體操作，請(qǐng)參見開通PAI并創(chuàng)建默認(rèn)工作空間。

• （可選）開通OSS或NAS。具體操作，請(qǐng)參見開始使用OSS、NAS入門概述。

方式一：使用DSW

步驟一：創(chuàng)建DSW實(shí)例

1. 進(jìn)入DSW頁(yè)面。

a. 登錄PAI控制臺(tái)。

b. 在概覽頁(yè)面選擇目標(biāo)地域。

c. 在左側(cè)導(dǎo)航欄單擊工作空間列表，在工作空間列表頁(yè)面中單擊目標(biāo)工作空間名稱，進(jìn)入對(duì)應(yīng)工作空間內(nèi)。

d. 在工作空間頁(yè)面的左側(cè)導(dǎo)航欄選擇模型開發(fā)與訓(xùn)練>交互式建模（DSW），進(jìn)入DSW頁(yè)面。

2. 單擊創(chuàng)建實(shí)例。

3. 在配置實(shí)例向?qū)ы?yè)面，配置以下關(guān)鍵參數(shù)，其他參數(shù)保持默認(rèn)即可。

4. 單擊確定。

步驟二：安裝EasyAnimate模型

1. 打開DSW實(shí)例。

a. 登錄PAI控制臺(tái)。

b. 在左側(cè)導(dǎo)航欄單擊工作空間列表，在工作空間列表頁(yè)面中單擊目標(biāo)工作空間，進(jìn)入對(duì)應(yīng)工作空間。

c. 在頁(yè)面左上方，選擇使用服務(wù)的地域。

d. 在左側(cè)導(dǎo)航欄，選擇模型開發(fā)與訓(xùn)練>交互式建模（DSW）。

e. 單擊目標(biāo)DSW實(shí)例操作列下的打開，進(jìn)入DSW實(shí)例的開發(fā)環(huán)境。

2. 在Notebook頁(yè)簽的Launcher頁(yè)面，單擊快速開始區(qū)域Tool下的DSW Gallery，打開DSW Gallery頁(yè)面。

3. 在DSW Gallery頁(yè)面中，搜索EasyPhoto: 基于EasyAnimate的AI視頻生成示例，單擊在DSW中打開，即可自動(dòng)將本教程所需的資源和教程文件下載至DSW實(shí)例中，并在下載完成后自動(dòng)打開教程文件。

4. 下載EasyAnimate相關(guān)代碼和模型并進(jìn)行安裝。

在教程文件easyanimate.ipynb中，單擊開始按鈕運(yùn)行環(huán)境安裝節(jié)點(diǎn)命令，包括定義函數(shù)、下載代碼和下載模型。當(dāng)成功運(yùn)行一個(gè)步驟命令后，再順次運(yùn)行下個(gè)步驟的命令。

步驟三：推理模型

方式一：使用代碼進(jìn)行推理

單擊開始按鈕運(yùn)行模型推理>使用代碼進(jìn)行推理節(jié)點(diǎn)的命令進(jìn)行模型推理。您可在/mnt/workspace/demos/easyanimate/EasyAnimate/samples/easyanimate-videos目錄中查看生成結(jié)果。

您可以修改不同的參數(shù)來(lái)達(dá)到不同的效果，參數(shù)說(shuō)明：

方式二：使用WebUI進(jìn)行推理

1. 單擊開始按運(yùn)行模型推理>UI啟動(dòng)節(jié)點(diǎn)的命令，進(jìn)行模型推理。

2. 單擊生成的鏈接，進(jìn)入WebUI界面。

3. 在WebUI界面選擇預(yù)訓(xùn)練的模型路徑、微調(diào)后的基模型和LoRA模型，設(shè)置LoRA權(quán)重，其它參數(shù)按需配置即可。

4. 單擊Generate（生成），等待一段時(shí)間后，即可在右側(cè)查看或下載生成的視頻。

步驟四：微調(diào)LoRA

EasyAnimate提供了豐富的模型訓(xùn)練方式，包括DiT模型的訓(xùn)練（LoRA微調(diào)和基模型的全量微調(diào)）和VAE的訓(xùn)練。關(guān)于Gallery中內(nèi)置的LoRA微調(diào)部分，更多信息，請(qǐng)參見EasyAnimate。

準(zhǔn)備數(shù)據(jù)

單擊開始按鈕執(zhí)行模型訓(xùn)練>數(shù)據(jù)準(zhǔn)備節(jié)點(diǎn)的命令，即可下載示例數(shù)據(jù)，用于模型訓(xùn)練。您也可以按照如下格式要求自行準(zhǔn)備數(shù)據(jù)文件。

文件數(shù)據(jù)格式如下。

其中，JSON文件數(shù)據(jù)格式和參數(shù)說(shuō)明如下。

訓(xùn)練模型

1. 將對(duì)應(yīng)的訓(xùn)練腳本中的DATASET_NAME及DATASET_meta_NAME設(shè)置為訓(xùn)練數(shù)據(jù)所在目錄及訓(xùn)練文件地址。

2. 單擊開始按鈕執(zhí)行啟動(dòng)訓(xùn)練>LoRA訓(xùn)練節(jié)點(diǎn)的命令。

3. 訓(xùn)練完成后，將生成的模型移動(dòng)至models/Personalized_model文件夾，即可在UI界面中選擇，或單擊開始按鈕執(zhí)行LoRA模型推理節(jié)點(diǎn)的命令，指定lora_path進(jìn)行視頻生成。

方式二：使用快速開始

步驟一：部署模型

1. 進(jìn)入快速開始頁(yè)面。

a. 登錄PAI控制臺(tái)。

b. 在左側(cè)導(dǎo)航欄單擊工作空間列表，在工作空間列表頁(yè)面單擊目標(biāo)工作空間名稱，進(jìn)入對(duì)應(yīng)工作空間內(nèi)。

c. 在左側(cè)導(dǎo)航欄單擊快速開始，進(jìn)入快速開始頁(yè)面。

2. 在快速開始頁(yè)面，搜索EasyAnimate 高清長(zhǎng)視頻生成，然后單擊部署，配置相關(guān)參數(shù)。

EasyAnimate目前僅支持使用bf16進(jìn)行推理，請(qǐng)選擇A10及其以上的顯卡。

3. 單擊部署，在彈出的計(jì)費(fèi)提醒對(duì)話框中，單擊確定，頁(yè)面將自動(dòng)跳轉(zhuǎn)到服務(wù)詳情頁(yè)面。

當(dāng)狀態(tài)變?yōu)?strong style="overflow-wrap: break-word;">運(yùn)行中時(shí)，即表示模型部署成功。

步驟二：使用模型

模型部署完成后，您可以使用WebUI及API兩種方式調(diào)用服務(wù)來(lái)生成視頻。

WebUI方式

1. 在服務(wù)詳情頁(yè)面，單擊查看WEB應(yīng)用。

2. 在WebUI界面選擇預(yù)訓(xùn)練的模型路徑，其它參數(shù)按需配置即可。

3. 單擊Generate（生成），等待一段時(shí)間后，即可在右側(cè)查看或下載生成的視頻。

API方式

1.在服務(wù)詳情頁(yè)面的資源詳情區(qū)域，單擊查看調(diào)用信息，獲取調(diào)用服務(wù)所需的信息。

2. 通過(guò)接口更新Transformer模型，可在DSW實(shí)例或本地Python環(huán)境中執(zhí)行。

如果已經(jīng)在WebUI中選擇模型，則無(wú)需發(fā)送請(qǐng)求重復(fù)調(diào)用。如遇請(qǐng)求超時(shí)，請(qǐng)?jiān)贓AS日志中確認(rèn)模型已加載完畢。加載完成，日志中將提示Update diffusion transformer done。

Python請(qǐng)求示例如下。

其中：

○ <eas-service-url>：替換為步驟1中查詢到的服務(wù)訪問(wèn)地址。

○ <eas-service-token>：替換為步驟1中查詢到的服務(wù)Token。

3. 調(diào)用服務(wù)，生成視頻或圖片。

• 服務(wù)輸入?yún)?shù)說(shuō)明

• Python請(qǐng)求示例

服務(wù)返回base64_encoding，為base64結(jié)果。

您可以在/mnt/workspace/demos/easyanimate/目錄中查看生成結(jié)果。

其中：

○ <eas-service-url>：替換為步驟1中查詢到的服務(wù)訪問(wèn)地址。

○ <eas-service-token>：替換為步驟1中查詢到的服務(wù)Token。