news 2026/4/12 1:02:24

Debug:mlx-omni-server服务器用qwen3模型出错

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
Debug:mlx-omni-server服务器用qwen3模型出错

背景:AI回答出错,开始以为是代码问题使得之前的对话出现在上下文,没想到是mlx-omni-server的问题

debug过程:
最开始比较好运地在github论坛找到同样的问题,大概率确认服务器出错。

之后用copilot写了一个简单的go代码重现情况,并通过服务器log监视thinking process有没有包含旧提问信息。
调查发现哪怕用独立client也可能会吃到之前的错误内存。另外换成deepseek等模型也会有同样问题。

于是考虑更换server tool,从chatgpt推荐里选择了ollama。ollama同样支持openai的api,所以后端代码不用修改。
LLM server安装都很简单,不用过多设置,一条指令就能启动服务。测试后发现之前的bug被解决。

之后需要补上api-key的认证,但这时发现ollama不支持api-key。好在openai的api token认证和http的bearer token认证格式一致,所以加一层nginx检查token即可。

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/4/10 17:53:44

QM系列闪测仪效率革新 实现鼠标产品高品质人机交互

​在消费电子领域,鼠标作为高频率、高精度的直接人机交互界面,其产品品质直接决定了用户体验与品牌声誉。对于鼠标制造而言,从精密注塑、橡胶硫化到最终组装,每一个环节的尺寸与形位公差控制都至关重要。一、为何必须对鼠标核心部…

作者头像 李华
网站建设 2026/4/11 15:17:32

混沌实验设计:真实场景模拟——软件测试从业者的实战指南

混沌工程与真实场景模拟的融合 在当今高度分布式的软件系统中,系统故障已成为常态而非例外。作为软件测试从业者,您肩负着确保应用韧性的重任。混沌工程(Chaos Engineering)通过主动注入故障来暴露系统弱点,已成为提升…

作者头像 李华
网站建设 2026/3/26 17:26:00

真实用车场景的考验:谁来承接智能座舱的未来?

逛完CES 2026展,本以为炫酷车身设计会是最大亮点,结果智能座舱的交互系统直接“杀疯”!一坐进展车,我瞬间对车载语音助手改观。无需生硬喊唤醒词,随口下达连续指令,像“开主驾空调、调副驾温至24度”&#…

作者头像 李华
网站建设 2026/4/1 14:20:12

CAXA 3D规范BOM源头数据,告别信息缺失扯皮

干采购这行,最头疼的不是找供应商比价,是跟设计部的BOM表死磕。尤其是那些信息不全的BOM,随便一个空白格,都能让我后续工作卡壳半天。以前就吃过这亏,有次拿到的BOM表里,“表面处理”那一栏是空的。我拿着表…

作者头像 李华
网站建设 2026/4/8 18:31:15

【开题答辩全过程】以 基于web的拍卖系统设计与实现为例,包含答辩的问题和答案

个人简介一名14年经验的资深毕设内行人,语言擅长Java、php、微信小程序、Python、Golang、安卓Android等开发项目包括大数据、深度学习、网站、小程序、安卓、算法。平常会做一些项目定制化开发、代码讲解、答辩教学、文档编写、也懂一些降重方面的技巧。感谢大家的…

作者头像 李华