【原】LLMs/MLMs之Qwen-3：Qwen3的簡(jiǎn)介、安裝和使用方法、案例應(yīng)用之詳細(xì)攻略

處女座的程序猿 2025-04-29 發(fā)布于上海

展開(kāi)全文

LLMs/MLMs之Qwen-3：Qwen3的簡(jiǎn)介、安裝和使用方法、案例應(yīng)用之詳細(xì)攻略

Qwen3的簡(jiǎn)介

2025年4月29日發(fā)布，Qwen3是阿里Qwen團(tuán)隊(duì)開(kāi)發(fā)的一系列大型語(yǔ)言模型，是繼QwQ和Qwen2.5之后最新的成果。該項(xiàng)目已在GitHub上開(kāi)源，提供多種尺寸的密集型和混合專家型(MoE)模型，包括0.6B、1.7B、4B、8B、14B、32B和30B-A3B、235B-A22B等。

Qwen是阿里巴巴集團(tuán)Qwen團(tuán)隊(duì)研發(fā)的大語(yǔ)言模型和大型多模態(tài)模型系列。無(wú)論是語(yǔ)言模型還是多模態(tài)模型，均在大規(guī)模多語(yǔ)言和多模態(tài)數(shù)據(jù)上進(jìn)行預(yù)訓(xùn)練，并通過(guò)高質(zhì)量數(shù)據(jù)進(jìn)行后期微調(diào)以貼近人類偏好。Qwen具備自然語(yǔ)言理解、文本生成、視覺(jué)理解、音頻理解、工具使用、角色扮演、作為AI Agent進(jìn)行互動(dòng)等多種能力。

Qwen3 提供了豐富的功能和易于使用的接口，為開(kāi)發(fā)者提供了強(qiáng)大的大型語(yǔ)言模型工具。開(kāi)發(fā)者可以根據(jù)自身需求選擇合適的推理框架和部署方式，并充分發(fā)揮Qwen3的潛力。

官方文章：Qwen3: Think Deeper, Act Faster | Qwen

GitHub地址：https://github.com/QwenLM/Qwen3

0、Qwen系列迭代歷史

2025.04.29：我們發(fā)布了 Qwen3 系列。更多詳情，請(qǐng)查看我們的博客！
2024.09.19：我們發(fā)布了 Qwen2.5 系列。此次新增了 3B、14B 和 32B 三個(gè)型號(hào)，提供更多選擇。更多詳情，敬請(qǐng)關(guān)注我們的博客！
2024.06.06：我們發(fā)布了 Qwen2 系列。請(qǐng)查看我們的博客！
2024.03.28：我們發(fā)布了 Qwen 的第一個(gè) MoE 模型：Qwen1.5-MoE-A2.7B！目前，只有 HF Transformer 和 vLLM 支持該模型。我們將很快添加對(duì) llama.cpp、mlx-lm 等的支持。更多信息，請(qǐng)查看我們的博客！
2024.02.05：我們發(fā)布了Qwen1.5系列。

1、Qwen3 特點(diǎn)

>> 多種模型尺寸：提供多種尺寸的密集型和混合專家型(MoE)模型，以滿足不同需求和資源限制。

>> 思維模式切換：能夠在“思考模式”（用于復(fù)雜的邏輯推理、數(shù)學(xué)和編碼）和“非思考模式”（用于高效的通用聊天）之間無(wú)縫切換，以適應(yīng)各種場(chǎng)景。

>> 強(qiáng)大的推理能力：在數(shù)學(xué)、代碼生成和常識(shí)邏輯推理方面顯著增強(qiáng)，超越了之前的QwQ（在思考模式下）和Qwen2.5指令模型（在非思考模式下）。

>> 優(yōu)越的人類偏好對(duì)齊：在創(chuàng)意寫(xiě)作、角色扮演、多輪對(duì)話和指令遵循方面表現(xiàn)出色，提供更自然、引人入勝和沉浸式的對(duì)話體驗(yàn)。

>> 強(qiáng)大的Agent能力：能夠在思考模式和非思考模式下精確集成外部工具，并在復(fù)雜的基于Agent的任務(wù)中取得領(lǐng)先的開(kāi)源模型性能。

>> 多語(yǔ)言支持：支持100多種語(yǔ)言和方言，具有強(qiáng)大的多語(yǔ)言指令遵循和翻譯能力。

>> 新的命名方案：與之前的版本不同，Qwen3的后訓(xùn)練模型不再使用“-Instruct”后綴?；A(chǔ)模型的名稱以“-Base”結(jié)尾。

2、評(píng)估結(jié)果

更新中……

Qwen3的安裝和使用方法

1、安裝

1.1、模型下載

Hugging Face下載地址：https:///collections/Qwen/qwen3-67dd247413f0e2e4f653967f

ModelScope下載地址：https:///collections/Qwen3-9743180bdc6b48

1.2、環(huán)境依賴

更新中……

2、使用方法

2.1、模型推理

Qwen3 支持多種推理框架和運(yùn)行環(huán)境，包括Transformers、ModelScope、llama.cpp、Ollama、LMStudio、MLX-LM、SGLang、vLLM等。以下是一些使用方法示例：

T1、使用Transformers

需要安裝 transformers>=4.51.0。代碼示例如下：

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "Qwen/Qwen3-8B"

tokenizer = AutoTokenizer.from_pretrained(model_name)

model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype="auto", device_map="auto")

prompt = "Give me a short introduction to large language models."

messages = [{"role": "user", "content": prompt}]

text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True, enable_thinking=True) # enable_thinking 控制思考模式

model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

generated_ids = model.generate(**model_inputs, max_new_tokens=32768)

output_ids = generated_ids[0][len(model_inputs.input_ids[0]):].tolist()

print(tokenizer.decode(output_ids, skip_special_tokens=True))

enable_thinking 參數(shù)控制是否啟用思考模式，也可以在系統(tǒng)消息或用戶消息中使用/think 和 /nothink 指令來(lái)控制。

T2、使用ModelScope

建議中國(guó)大陸用戶使用ModelScope，其Python API與Transformers類似。可以使用 modelscope download 命令下載模型檢查點(diǎn)。

T3、使用llama.cpp

需要安裝 llama.cpp>=b5092。可以使用命令行工具或API服務(wù)器運(yùn)行模型。命令行示例：

./llama-cli -hf Qwen/Qwen3-8B-GGUF:Q8_0 --jinja --color -ngl 99 -fa -sm row --temp 0.6 --top-k 20 --top-p 0.95 --min-p 0 -c 40960 -n 32768 --no-context-shift