交流视觉模型怎么稳定输出特定结构

各位佬求求了，我这里有一个问题。

我用 python 调用了

import json  
from openai import OpenAI

client = OpenAI(
    api_key="APIKEY",
    base_url="https://api.siliconflow.cn/v1"
)

response = client.chat.completions.create(
        model="deepseek-ai/deepseek-vl2",
        messages=[
		{
			"role": "user",
			"content":[
				{
					"type": "image_url",
					"image_url": {
						"url": f"data:image/jpeg;base64,{base64_image}",
						"detail":"low"
					}
				},
				{
					"type": "text",
					"text": "提示词内容"
				}
			]
		}],
        stream=True
)

for chunk in response:
    chunk_message = chunk.choices[0].delta.content
    print(chunk_message, end='', flush=True)

提示词内容大致如下：

首先查看一下是发货单还是送货单，发货单图片里面会写发货单，没有写的一律按照送货单处理。

发货单返回 JSON 格式模板：
{{
"type": "发货单",
"header":[{{
  "发货单编號": "",
  "发货单单號": "",
  "发货单客戶訂單": "",
  "发货单客户编號": "",
}}],
"line":[
	{{
	  "type": "",
	  "name": "",
	  "xxxx": "",
	  "xxx": ""
  }},
  ....
	]
}},

送货单返回 JSON 格式模板：
{{
	"type": "送货单",
	"xxx":"",
	"xxx":"",
	"xxx":"",
	"xxx":"",
	"xxx":"",
	"xxx":""
}},

你只能按照模板返回 json 特定格式，数据来源必须从图片里面获取，不要返回多余内容。

我想让它确定的返回 json，现在它老是返回莫名其妙的数据，有佬解决过这个问题的吗？

注：该模型不能用 response_format = {‘type’: ‘json_object’}