
Ollama 近日发布了 v0.11.11 版本,该版本于 2025 年 9 月 12 日进入预发布阶段,并于 9 月 16 日正式推出。本次更新涵盖了多项重要改进,包括对 CUDA 13 的全面支持、内存使用效率的优化、应用交互体验的提升以及多项错误修复,进一步增强了 Ollama 在本地大模型推理和部署方面的能力。
更新内容• 支持 CUDA 13
• 在 Ollama 应用中使用 gpt-oss 时改进了内存使用
• 在 Ollama 应用中提交长提示词时改进了滚动体验
• 在 Ollama 应用中,使用 Cmd + / Cmd - 现在可以放大和缩小文本
• 现在可以在 Ollama 应用中复制助手的消息
• 修复了在尝试导入 satefensor 文件时出现的错误
• 改进了 混合模型 和 循环模型 的内存估算
• 修复了当批量大小大于上下文长度时发生的错误
• 修复了 Flash Attention 和 KV 缓存量化 的验证问题
• 为 嵌入请求 添加了 dimensions 字段
• 默认启用 Ollama 新引擎中的新内存估算功能
• Ollama 将不再在 Ollama 引擎中加载分离的视觉模型
一、CUDA 13 支持v0.11.11 版本新增了对 CUDA 13 的支持,使得用户可以在更高版本的 NVIDIA 驱动和计算平台上运行 Ollama,享受更佳的兼容性和性能表现。这一改进尤其适合使用最新 GPU 硬件的用户,为其提供更稳定的运行环境。
二、内存使用优化本次更新在内存管理方面进行了多项改进:
1. GPT-OSS 模型内存使用优化:在使用 Ollama 应用运行 GPT-OSS 模型时,内存占用显著降低,提升了长时间运行的稳定性。
2. 混合模型与循环模型内存估算改进:新版本提供了更准确的内存预估机制,帮助用户更好地规划资源分配。
3. 默认启用新内存估算机制:Ollama 新引擎现已默认采用更高效的内存管理策略,进一步提升资源利用率。
三、Ollama 应用体验提升v0.11.11 在用户交互方面也带来了多项优化:
• 长提示词输入滚动体验改善:在提交较长提示词时,应用的滚动行为更加流畅。
• 文本缩放支持:用户现在可以使用 Cmd + +/- 快捷键快速调整文本大小,提升阅读和编辑体验。
• 助手消息复制功能:用户可以直接复制助手生成的消息内容,方便后续使用或分享。
四、错误修复与稳定性增强本次更新修复了多个已知问题,包括:
• 修复了在尝试导入 safetensors 文件时可能出现的错误。
• 修复了当批处理大小超过上下文长度时导致的错误。
• 修复了 Flash Attention 和 KV 缓存量化验证中的问题。
• 修复了 Gemma2 模型在使用 Flash Attention 时的不必要警告。
• 修复了在 Ollama 引擎中加载分割视觉模型时的问题。
五、其他改进• 嵌入请求维度字段支持:新增了 dimensions 字段,使得嵌入请求更加灵活。
• Windows CUDA 构建修复:修复了 Windows 平台下的 CUDA 构建问题,提升了跨平台兼容性。
• 部分测试用例优化:减少了 CPU 压力测试的模型数量,提升了测试效率。
六、总结Ollama v0.11.11 是一个功能丰富、优化显著的版本,不仅在性能、内存管理和兼容性方面有所提升,还大幅改善了用户体验。无论是研究者、开发者还是普通用户,都能从中受益。建议所有用户升级至该版本,以获取更稳定、高效的使用体验。
我们相信人工智能为普通人提供了一种“增强工具”,并致力于分享全方位的AI知识。在这里,您可以找到最新的AI科普文章、工具评测、提升效率的秘籍以及行业洞察。
欢迎关注“福大大架构师每日一题”,发消息可获得面试资料,让AI助力您的未来发展。
转载请注明来自海坡下载,本文标题:《内存优化师(ollama v01111 发布CUDA 13 支持内存优化与应用体验全面提升)》
京公网安备11000000000001号
京ICP备11000001号
还没有评论,来说两句吧...