LangChain教程:调用阿里千问大模型,流式输出

例子

下面例子是将结果 一段一段的返回,也就是流式输出

from langchain_community.llms.tongyi import Tongyi

# 不用qwen3-max,因为qwen3-max是聊天模型,qwen-max是大语言模型
model = Tongyi(model="qwen-max", api_key="填你的阿里前文api key")

# 调用stream向模型提问,返回 generator类型
res = model.stream(input="你是谁呀能做什么?")

print(type(res))
for chunk in res:
    print(chunk, end="", flush=True)

执行结果:

您好,我是Qwen,是阿里云开发的一款超大规模语言模型。我被设计用来帮助用户生成各种类型的文本,如文章、故事、诗歌、故事等,并能够根据不同的场景和需求提供相应的信息和支持。我可以回答您的问题、参与创造性的思考、提供学习资源推荐、辅助写作、进行对话交流等。如果您有任何问题或需要帮助,请随时告诉我!

关键代码说明1

model.stream()

返回的是 generator 类型,通过 for 循环,实现 流式输出,回答结果是一段一段,不是一次性返回结果

关键代码说明2

print(chunk, end="", flush=True)
  • end="":打印后不换行
  • flush=True:立即打印

原文出处:/show_1GW2pehW6RrJ.html