(相关资料图)

鞭牛士 7月28日消息，旷视科技发布全新轻量级LLM模型推理框架InferLLM，提供一个比llama.cpp更简单更容易上手的本地部署框架，助力大模型实现落地。