热门
有些模型目前还不支持多卡推理。这里有多卡推理的例子,您参考一下。 https://github.com/modelscope/swift/blob/main/examples/pytorch/llm/scripts/llama2_70b_chat/qlora/infer.sh 此回答来自“魔搭ModelScope开发者联盟群 ①”