阿里云的人工智能平臺PAI，作為一站式的機(jī)器學(xué)習(xí)和深度學(xué)習(xí)平臺，對Qwen2模型系列提供了全面的技術(shù)支持。無論是開發(fā)者還是企業(yè)客戶，都可以通過PAI-QuickStart輕松實(shí)現(xiàn)Qwen2系列模型的微調(diào)、評測和快速部署。
PAI-QuickStart 介紹
快速開始（PAI-QuickStart）是阿里云人工智能平臺PAI的產(chǎn)品組件，它集成了國內(nèi)外 AI 開源社區(qū)中優(yōu)質(zhì)的預(yù)訓(xùn)練模型，涵蓋了包括大語言模型，文本生成圖片、語音識別等各個(gè)領(lǐng)域。通過 PAI 對于這些模型的適配，用戶可以通過零代碼和 SDK 的方式實(shí)現(xiàn)從訓(xùn)練到部署再到推理的全過程，大大簡化了模型的開發(fā)流程，為開發(fā)者和企業(yè)用戶帶來了更快、更高效、更便捷的 AI 開發(fā)和應(yīng)用體驗(yàn)。
運(yùn)行環(huán)境要求
• 本示例目前支持在阿里云北京、上海、深圳、杭州、烏蘭察布等多地域，使用PAI-QuickStart產(chǎn)品運(yùn)行。
• 資源配置要求：
○ Qwen2-0.5B/1.5B/7B量級模型：最低使用V100/P100/T4（16GB顯存）及以上卡型運(yùn)行訓(xùn)練任務(wù)；
○ Qwen1.5-72B量級模型：最低使用A100（80GB顯存）及以上卡型運(yùn)行訓(xùn)練任務(wù)。
通過PAI-QuickStart使用模型
開發(fā)者可以在 PAI 控制臺的“快速開始”入口，找到Qwen2系列模型，以Qwen2-7B-Instruct為例，模型卡片如下圖所示：
模型部署和調(diào)用
PAI 提供的Qwen2-7B-Instruct預(yù)置了模型的部署配置信息，用戶僅需提供推理服務(wù)的名稱以及部署配置使用的資源信息即可將模型部署到PAI-EAS推理服務(wù)平臺。當(dāng)前模型需要使用公共資源組進(jìn)行部署。
部署的推理服務(wù)支持使用ChatLLM WebUI進(jìn)行實(shí)時(shí)交互，示例如下：
推理服務(wù)支持以O(shè)penAI API兼容的方式調(diào)用，具體可見以下的Python SDK的示例。
模型微調(diào)訓(xùn)練
PAI 為Qwen2-7B-Instruct模型配置了微調(diào)算法，支持用戶以開箱即用得方式對Qwen2-7B-Instruct進(jìn)行微調(diào)。訓(xùn)練算法支持使用 Json 格式輸入，每條數(shù)據(jù)由問題、答案組成，分用“instruction”、“output”字段表示，例如：
當(dāng)完成數(shù)據(jù)的準(zhǔn)備，用戶可以將數(shù)據(jù)上傳到對象存儲 OSS Bucket 中。算法需要使用V100/P00/T4（16GB顯存）的GPU資源，請確保選擇使用的資源配額內(nèi)有充足的計(jì)算資源。
訓(xùn)練算法支持的超參信息如下，用戶可以根據(jù)使用的數(shù)據(jù)，計(jì)算資源等調(diào)整超參，或是使用算法默認(rèn)配置的超參。
點(diǎn)擊“訓(xùn)練”按鈕，PAI-QuickStart 開始進(jìn)行訓(xùn)練，用戶可以查看訓(xùn)練任務(wù)狀態(tài)和訓(xùn)練日志。
如果需要將模型部署至PAI-EAS，可以在同一頁面的模型部署卡面選擇資源組，并且點(diǎn)擊“部署”按鈕實(shí)現(xiàn)一鍵部署。模型調(diào)用方式和上文直接部署模型的調(diào)用方式相同。
如果需要評測微調(diào)后模型的性能，可以從任務(wù)頁面右上角評測按鈕進(jìn)入評測頁。詳情見下一節(jié)：模型評測。
模型評測
PAI 為Qwen2-7B-Instruct模型配置了評測算法，支持用戶以開箱即用得方式對Qwen2-7B-Instruc以及微調(diào)后模型進(jìn)行評測。通過評測能幫助用戶和其他模型做性能對比，更能指導(dǎo)用戶進(jìn)行精準(zhǔn)地模型選擇和優(yōu)化。
模型評測入口：
從“快速開始”頁面完成Qwen2-7B-Instruct開源模型的評測
從訓(xùn)練任務(wù)詳情頁完成微調(diào)后模型的評測
模型評測支持自定義數(shù)據(jù)集評測和公開數(shù)據(jù)集評測：
• 自定義數(shù)據(jù)集評測
對于自定義數(shù)據(jù)集評測，我們使用NLP領(lǐng)域標(biāo)準(zhǔn)的文本匹配方式，計(jì)算模型輸出結(jié)果和真實(shí)結(jié)果的匹配度，值越大，模型越好。使用該評測方式，基于自己場景的獨(dú)特?cái)?shù)據(jù)，可以評測所選模型是否適合自己的場景。
評測需要提供JSONL格式的評測集文件，每條數(shù)據(jù)使用question標(biāo)識問題列，answer標(biāo)識答案列，例如：
符合格式要求的評測集，可自行上傳至OSS，并創(chuàng)建自定義數(shù)據(jù)集，詳情參見上傳OSS文件和創(chuàng)建及管理數(shù)據(jù)集。之后選擇評測結(jié)果輸出路徑，并根據(jù)系統(tǒng)推薦選擇相應(yīng)計(jì)算資源，最后提交評測任務(wù)。等待任務(wù)完成，在任務(wù)頁面查看評測結(jié)果（模型在ROUGE和BLEU系列指標(biāo)上的得分）：
• 公開數(shù)據(jù)集評測
在公開數(shù)據(jù)集評測中，我們通過對開源的評測數(shù)據(jù)集按領(lǐng)域分類，對大模型進(jìn)行綜合能力評估，例如數(shù)學(xué)能力、知識能力、推理能力等，值越大，模型越好。目前PAI維護(hù)了MMLU、TriviaQA、HellaSwag、GSM8K、C-eval、TruthfulQA，其他公開數(shù)據(jù)集陸續(xù)接入中。無需準(zhǔn)備數(shù)據(jù)，直接選擇PAI提供的公開數(shù)據(jù)集、評測結(jié)果輸出路徑、計(jì)算資源即可提交評測任務(wù)。等待任務(wù)完成，在任務(wù)頁面查看評測結(jié)果（模型在各個(gè)公開數(shù)據(jù)集的得分情況，其中每個(gè)公開數(shù)據(jù)集的評測范圍詳見數(shù)據(jù)集官方介紹）：
通過Python SDK使用
PAI 提供了Python SDK，支持開發(fā)者方便得使用Python在PAI完成模型的開發(fā)到上線的。通過PAI Python SDK，開發(fā)者可以輕松調(diào)用PAI-快速開始提供的模型，完成相應(yīng)模型的微調(diào)訓(xùn)練和部署。
部署推理服務(wù)的示例代碼如下：
微調(diào)訓(xùn)練的示例代碼如下：
通過快速開始的模型卡片詳情頁，用戶可以通過“在DSW打開”入口，獲取一個(gè)完整的Notebooks示例，了解如何通過PAI Python SDK使用的細(xì)節(jié)。
結(jié)論
Qwen2（通義千問2）的推出標(biāo)志著阿里云在開源大語言模型領(lǐng)域的最新進(jìn)展。這個(gè)系列推出了不同規(guī)模的開源模型，可廣泛用于多樣化的下游應(yīng)用場景。開發(fā)者可以借助PAI-QuickStart輕松地對Qwen2模型進(jìn)行定制和部署。此外，PAI QuickStart還匯集了一系列先進(jìn)的模型，覆蓋多個(gè)專業(yè)領(lǐng)域，歡迎廣大開發(fā)者們體驗(yàn)和應(yīng)用這些豐富的資源。
相關(guān)資源鏈接：
• Qwen2介紹：
https://qwenlm.github.io/zh/blog/qwen2/
• PAI 快速開始：
https://help.aliyun.com/zh/pai/user-guide/quick-start-overview
• PAI Python SDK Github：
https://github.com/aliyun/pai-python-sdk
粵公網(wǎng)安備 44030702001206號