markdown-body entry-content container-lg" itemprop="text">

悟道·天鷹（Aquila） Read this in English.

悟道·天鷹（Aquila）語言大模型是首個具備中英雙語知識、支持商用許可協議、國內數據合規需求的開源語言大模型。

?? 支持開源商用許可。Aquila系列模型的源代碼基于 Apache 2.0 協議，模型權重基于《智源Aquila系列模型許可協議》，使用者在滿足許可限制的情況下，可用于商業目的。
?? 具備中英文知識。Aquila系列模型在中英文高質量語料基礎上從 0 開始訓練，中文語料約占 40%，保證模型在預訓練階段就開始積累原生的中文世界知識，而非翻譯而來的知識。
???♀?符合國內數據合規需求。Aquila系列模型的中文語料來自智源多年積累的中文數據集，包括來自1萬多個站源的中文互聯網數據（其中99%以上為國內站源），以及獲得國內權威機構支持的高質量中文文獻數據、中文書籍數據等。我們仍在持續積累高質量、多樣化的數據集，并源源不斷加入Aquila基礎模型后續訓練中。
??持續迭代，持續開源開放。我們將不斷完善訓練數據、優化訓練方法、提升模型性能，在更優秀的基礎模型基座上，培育枝繁葉茂的“模型樹”，持續開源開放更新的版本。

悟道 · 天鷹 Aquila 模型的更多細節將在官方技術報告中呈現。請關注官方渠道更新。包括 FlagAI GitHub倉庫，FlagAI 知乎賬號、FlagAI 官方技術交流群、智源研究院微信公眾號、智源社區微信公眾號。

模型	模型類型	簡介	文件路徑	單獨下載模型權重	狀態	訓練所用顯卡
Aquila-7B	基礎模型，70億參數	Aquila 基礎模型在技術上繼承了 GPT-3、LLaMA 等的架構設計優點，替換了一批更高效的底層算子實現、重新設計實現了中英雙語的 tokenizer，升級了 BMTrain 并行訓練方法，實現了比 Magtron+DeepSpeed ZeRO-2 將近８倍的訓練效率。	./examples/Aquila/Aquila-pretrain	下載Aquila-7B HF倉庫地址	已發布	Nvidia-A100
Aquila-33B	基礎模型，330億參數	同上	——	——	敬請期待	Nvidia-A100
AquilaChat-7B	SFT 模型，基于 Aquila-7B 進行微調和強化學習	AquilaChat 對話模型支持流暢的文本對話及多種語言類生成任務，通過定義可擴展的特殊指令規范，實現 AquilaChat對其它模型和工具的調用，且易于擴展。例如，調用智源開源的 AltDiffusion 多語言文圖生成模型，實現了流暢的文圖生成能力。配合智源 InstructFace 多步可控文生圖模型，輕松實現對人臉圖像的多步可控編輯。	./examples/Aquila/Aquila-chat	下載AquilaChat-7B HF倉庫地址	已發布	Nvidia-A100
AquilaChat-33B	SFT 模型，基于 Aquila-33B 進行微調和強化學習	同上	——	——	敬請期待	Nvidia-A100
AquilaCode-multi	基礎模型，“文本-代碼”生成模型，基于 Aquila-7B繼續預訓練	AquilaCode 使用經過高質量過濾且有合規開源許可的代碼數據進行訓練，數據量約為其他開源代碼生成模型的 10～40%。通過參考官方提供的操作指南，開發者可以利用 AquilaCode 模型來定制自己的代碼助手。	./examples/Aquila/Aquila-code	下載AquilaCode-7B-multi HF倉庫地址	已發布	Nvidia-A100
AquilaCode-py	基礎模型，“文本-代碼”生成模型，基于 Aquila-7B繼續預訓練。	AquilaCode 使用經過高質量過濾且有合規開源許可的代碼數據進行訓練，數據量約為其他開源代碼生成模型的 10～40%。通過參考官方提供的操作指南，開發者可以利用 AquilaCode 模型定制自己的代碼助手。	./examples/Aquila/Aquila-code	下載AquilaCode-py HF倉庫地址	已發布	Nvidia-A100

悟道·天鷹Aquila系列模型將持續開源更優版本，大家可以先刪除原來目錄下的checkpoints_in/aquila-7b，再下載新權重，其他使用方式不變。

2023-08-15 ：發布權重文件 v1.0，開源了 AquilaCode-multi、AquilaCode-py。 AquilaChat-7B和Aquila-7B權重無更新, AquilaCode-7B-NV和AquilaCode-7B-TS權重暫時不會有更新計劃。
- Aquila-7B md5: 5b56d31c8154c9184a38ff7bc6b4d887
- AquilaChat-7B md5: 883e83286ee309dbb624016256e30d4c
- AquilaCode-multi md5：07cfce9440a0fa1ac2768b39d2cf4286
- AquilaCode-py md5：3faa85fc03d8fda70a73064f48d02d85

Aquila-7B 新版本模型在 FlagEval 大模型評測中（ “客觀”）相比上一版在TruthfulQA中提升9.09%。詳細評測結果請通過 http://flageval.baai.ac.cn 網站查看。歷史版本變更詳情見：變更日志。

如有使用問題請先查看 FAQ，若不能解決，請直接提交 issue ~

快速開始使用 Aquila-7B 基礎模型

基礎模型的環境準備

在本地克隆FlagAI github倉庫

git clone https://github.com/FlagAI-Open/FlagAI.git

進入倉庫，從源碼安裝FlagAI
```
cd FlagAI
python setup.py install
```
注：我們目前支持在Ubuntu, Mac和Mac上運行，詳細環境依賴信息可參考FlagAI環境安裝
進入Aquila-7B基礎模型目錄
```
cd examples/Aquila/Aquila-pretrain
```

對于Aquila-7B模型，我們提供模型推理，預訓練，微調三種使用方式：

基礎模型推理

正常模型推理(顯存資源消耗約為14.6GB)：

python generate.py

使用BMInf進行低資源推理(可調整所用內存)

python generate_bminf.py

默認參數下顯存資源消耗為4.3GB，可通過memory_limit參數手動設置最大資源消耗，如下圖所示(2 << 30 代表2GB)：

推理程序運行完畢之后，Aquila-7B模型會自動下載到./checkpoints_in里

示例輸出如下：

模型對于示例prompt"汽車EDR是什么"給出隨機回復

注意：Aquila-7B基礎模型用來做對話推理效果不如可監督微調后的AquilaChat-7B對話模型。

基礎模型微調-SFT

準備微調的初始模型(放在checkpoints_in里)
進入對話模型微調目錄Aquila-chat, 并在checkpoints_in目錄下準備好需要微調的預訓練模型

假設剛剛在Aquila-pretrain下運行了推理腳本，則可以運行
```
cd ./Aquila-chat
mv ./Aquila-pretrain/checkpoints_in ./
```
配置hostfile文件
詳情如下：

以單機八卡為例
1. 查看本機ip地址
```
ifconfig eth0 | grep "inet " | awk '{print $2}'
```
2. 在hostfile里填入
```
 ```
   [上一步得到的ip地址] slots=8
 ```
```
  注：slots=8代表使用八張GPU, 如果單卡的情況下slots=1
3. 確認本機可以免密登錄,可用如下指令測試
```
 ```
   ssh localhost
 ```
```
  如果不能免密登錄，可以嘗試以下方法配置免密或者使用local_trigger_docker.sh來運行(如下一步所示)
```
 ```
   ssh-keygen -t rsa  
   cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 
   service sshd restart
 ```
```

啟動訓練腳本

bash dist_trigger_docker.sh hostfile Aquila-chat.yaml aquila-7b aquila_experiment

其中各個參數含義如下：

dist_trigger_docker.sh # 多機多卡運行的腳本文件，單機可選用local_trigger_docker.sh
hostfile                 host配置文件
Aquila-chat.yaml         模型參數配置文件
aquila-7b                模型名稱，注意需要小寫
aquila_experiment        實驗名稱，可自定義

如果啟動LoRA微調(在單張V100上運行微調為例)，上一步改為運行

bash local_trigger_docker.sh hostfile Aquila-chat-lora.yaml aquila-7b aquila_experiment

注：lora會訓練出來一個adapter_config.json和adapter_model.bin文件，位置在輸出目錄下(與log文件同級)；推理請運行Aquila-chat/generate_chat_lora.py文件，與普通推理的區別是autoloader加載模型推理時需要將adapter文件的目錄放到adapter_dir參數里

正確運行輸出信息如下所示：

首先會輸出下列信息，注意NODES_NUM應該與節點數相等，LOGFILE是模型運行的日志文件。

成功訓練之前能在日志里看到如下信息(具體參數可能不同)。

基礎模型預訓練

目前7B基礎模型預訓練最低可在單張Nvidia-A100-80G上運行(需要調整batch_size)

進入預訓練目錄Aquila-pretrain，配置hostfile文件

啟動訓練腳本

bash dist_trigger_docker.sh hostfile Aquila-pretrain.yaml aquila-7b aquila_experiment

調整參數

對于以上示例，您可以通過修改下列參數來達到不同的訓練和推理效果：

??執行預訓練和微調任務前，可在訓練腳本中的yaml文件里修改參數

參數名	類型	描述
batch_size	int	每次迭代訓練時，從數據集中抽取的樣本數。一般來說，它越大，處理速度越快，但會占用更多的內存;
gradient_accumulation_steps	int	在更新模型權重之前，要對多個小批次進行梯度計算的次數。主要應用于GPU顯存較小的情況下，可以使用小的batch_size，通過梯度累積達到與大batch_size相同的效果;
lr	float	指控制模型更新參數時的步長或速率。學習率過高可能導致模型不收斂，而學習率過低則可能導致訓練時間過長或者陷入局部最優解;
warm_up	float	初始學習率與原始學習率的比例;
save_interval	int	模型保存的間隔，即每訓練多少個iteration保存一次模型。當訓練時間較長時，保存間隔可以避免因突然中斷或出現錯誤導致訓練成果全部丟失;
log_interval	int	日志輸出的間隔，即每訓練多少個iteration輸出一次日志信息
lora	bool	是否啟用lora微調
enable_sft_dataset_dir	str	SFT訓練數據集的目錄息
enable_sft_dataset_file	str	SFT訓練數據集的文件名

完整參數信息可參考https://github.com/FlagAI-Open/FlagAI/blob/master/flagai/env_args.py

??對于推理任務，可在推理文件里執行aquila_generate函數時重設下列參數:

參數名	類型	默認值	描述
temperature	float	0.8	溫度控制著模型生成新詞時的隨機性程度。在基于概率的語言模型中，每個詞都有一個與之對應的概率分布，溫度通過增加或減少這些概率分布來影響模型生成單詞的隨機性。較高的溫度會使得模型更傾向于選擇概率較小的單詞，從而生成更多的“冒險”文本。相反，較低的溫度會強制模型更加傾向于選擇概率最大的單詞，從而生成更加可預測的文本。常見的溫度值范圍為0.5-1.5。
topk	int	30	Top-k控制著模型生成新詞時的選擇數量。在生成每個新詞時，模型會預測出若干個可能的單詞，Top-k參數會限制模型只選擇概率最大的前k個單詞中的一個來作為生成的單詞。Top-k可以幫助穩定生成過程，防止模型隨意選擇概率很小的單詞。
topp	float	0.95	跟Top-k類似，Top-p也是控制著模型生成新詞時的選擇數量。在生成每個新詞時，模型會預測出若干個可能的單詞，Top-p參數會限制模型只選擇概率最高的一些候選單詞，直到這些候選單詞的總概率達到一個閾值（如0.9或0.8）。Top-p可以幫助避免產生不符合語境的單詞。
max_length	int	200	為了避免生成無限長的文本，我們需要限制生成的文本長度。Max_length參數控制生成文本的最大長度，一旦達到該長度，模型就會停止生成。Aquila系列模型的最大長度為2048個token。

證書

Aquila-7B和Aquila-33B開源模型使用智源Aquila系列模型許可協議, 原始代碼基于Apache Licence 2.0。