内存优化师(ollama v01111 发布CUDA 13 支持内存优化与应用体验全面提升)

内存优化师(ollama v01111 发布CUDA 13 支持内存优化与应用体验全面提升)

admin 2025-10-25 信息披露 55 次浏览 0个评论
ollama v0.11.11 发布:CUDA 13 支持、内存优化与应用体验全面提升

Ollama 近日发布了 v0.11.11 版本,该版本于 2025 年 9 月 12 日进入预发布阶段,并于 9 月 16 日正式推出。本次更新涵盖了多项重要改进,包括对 CUDA 13 的全面支持、内存使用效率的优化、应用交互体验的提升以及多项错误修复,进一步增强了 Ollama 在本地大模型推理和部署方面的能力。

更新内容

• 支持 CUDA 13

• 在 Ollama 应用中使用 gpt-oss 时改进了内存使用

• 在 Ollama 应用中提交长提示词时改进了滚动体验

• 在 Ollama 应用中,使用 Cmd + / Cmd - 现在可以放大和缩小文本

• 现在可以在 Ollama 应用中复制助手的消息

• 修复了在尝试导入 satefensor 文件时出现的错误

• 改进了 混合模型 和 循环模型 的内存估算

• 修复了当批量大小大于上下文长度时发生的错误

• 修复了 Flash Attention 和 KV 缓存量化 的验证问题

• 为 嵌入请求 添加了 dimensions 字段

• 默认启用 Ollama 新引擎中的新内存估算功能

• Ollama 将不再在 Ollama 引擎中加载分离的视觉模型

一、CUDA 13 支持

v0.11.11 版本新增了对 CUDA 13 的支持,使得用户可以在更高版本的 NVIDIA 驱动和计算平台上运行 Ollama,享受更佳的兼容性和性能表现。这一改进尤其适合使用最新 GPU 硬件的用户,为其提供更稳定的运行环境。

二、内存使用优化

本次更新在内存管理方面进行了多项改进:

1. GPT-OSS 模型内存使用优化:在使用 Ollama 应用运行 GPT-OSS 模型时,内存占用显著降低,提升了长时间运行的稳定性。

2. 混合模型与循环模型内存估算改进:新版本提供了更准确的内存预估机制,帮助用户更好地规划资源分配。

3. 默认启用新内存估算机制:Ollama 新引擎现已默认采用更高效的内存管理策略,进一步提升资源利用率。

三、Ollama 应用体验提升

v0.11.11 在用户交互方面也带来了多项优化:

• 长提示词输入滚动体验改善:在提交较长提示词时,应用的滚动行为更加流畅。

• 文本缩放支持:用户现在可以使用 Cmd + +/- 快捷键快速调整文本大小,提升阅读和编辑体验。

• 助手消息复制功能:用户可以直接复制助手生成的消息内容,方便后续使用或分享。

四、错误修复与稳定性增强

本次更新修复了多个已知问题,包括:

• 修复了在尝试导入 safetensors 文件时可能出现的错误。

• 修复了当批处理大小超过上下文长度时导致的错误。

• 修复了 Flash Attention 和 KV 缓存量化验证中的问题。

• 修复了 Gemma2 模型在使用 Flash Attention 时的不必要警告。

• 修复了在 Ollama 引擎中加载分割视觉模型时的问题。

五、其他改进

• 嵌入请求维度字段支持:新增了 dimensions 字段,使得嵌入请求更加灵活。

• Windows CUDA 构建修复:修复了 Windows 平台下的 CUDA 构建问题,提升了跨平台兼容性。

• 部分测试用例优化:减少了 CPU 压力测试的模型数量,提升了测试效率。

六、总结

Ollama v0.11.11 是一个功能丰富、优化显著的版本,不仅在性能、内存管理和兼容性方面有所提升,还大幅改善了用户体验。无论是研究者、开发者还是普通用户,都能从中受益。建议所有用户升级至该版本,以获取更稳定、高效的使用体验。

我们相信人工智能为普通人提供了一种“增强工具”,并致力于分享全方位的AI知识。在这里,您可以找到最新的AI科普文章、工具评测、提升效率的秘籍以及行业洞察。

欢迎关注“福大大架构师每日一题”,发消息可获得面试资料,让AI助力您的未来发展。

转载请注明来自海坡下载,本文标题:《内存优化师(ollama v01111 发布CUDA 13 支持内存优化与应用体验全面提升)》

每一天,每一秒,你所做的决定都会改变你的人生!

发表评论

快捷回复:

评论列表 (暂无评论,55人围观)参与讨论

还没有评论,来说两句吧...