PocketPal AI本地大模型v1.20.0 开源版

编辑点评：最近后台好多朋友问手机能不能跑本地大模型，今天这款PocketPal AI就是来解馋的。装上它，你的手机就成了随身AI终端，不用联网、不用排队，跟DeepSeek这类热门模型直接本地对话，地铁上、电梯里都能随时聊，彻底告别转圈卡顿。虽然部署要按提示摸索一下，但跟着“精

PocketPal AI本地大模型是一个手机上直接运行的本地AI对话工具，这个软件可以让你无需连接网络久等与其他的AI大模型进行聊天和交流，本地部署方法需要根据流程进行摸索，可以在本地增加一个最近十分热门的deepseek，这样就不会卡顿的进行使用了。

PocketPal AI本地大模型最新动态

PocketPal AI本地大模型迎来重要更新，进一步提升了端侧智能体验。本次优化聚焦于推理速度与内存占用，通过内核级调优，使模型在主流移动设备上的响应延迟显著降低，同时支持更长的上下文窗口，对话连续性大幅增强。此外，新增了量化模型一键切换功能，用户可根据设备性能自由平衡精度与流畅度。在交互层面，界面布局重新设计，历史记录管理与多会话并行操作更为直观，并加入了离线语音输入提示，降低误触率。社区反馈中，用户对低功耗模式下的稳定表现给予高度评价，尤其称赞其在无网络环境下的可用性；部分用户建议增加更多垂直领域的小参数模型，团队已着手扩充模型仓库。同时，针对反馈集中的导出格式兼容性问题，现已支持Markdown与JSON双格式导出，便于知识管理。PocketPal AI坚持本地优先原则，数据不出设备，持续打磨隐私安全细节，致力于成为最轻量、最可靠的个人移动AI助手。

部署方法

1.百度找到精品下载

2.在精品网中搜索PocketPal，点击下载

3.打开软件点击Models，点+，点Hugging Face搜索大模型

4.尽量下载名字带Q4_NL（4bit量化 normal 压缩）的模型，回答比较精准。

5.解释一下部分量化标识命名规则：NL 平衡精度与速度（Normal）、M 中等优化（middle）、 XS 极致压缩（Extra Small）、K 极限压缩（K-special）、Qx 量化位数（手机上运行 Q4 最佳）。

6.在加载好模型后在Settings中把N PREDICT设置为4096。

如果遇到问题请发到评论区，我会试着解决。

PocketPal AI是什么软件

PocketPal AI 是一款袖珍型 AI 助手，由直接在手机上运行的小型语言模型 （SLM） 提供支持。PocketPal AI 专为 iOS 和 Android 设计，让您无需互联网连接即可与各种 SLM 进行交互。

软件特色

离线 AI 协助：直接在您的设备上运行语言模型，无需互联网连接。

模型灵活性：下载并在多个 SLM 之间进行交换，包括 Danube 2 和 3、Phi、Gemma 2 和 Qwen。

Auto Offload/Load：当应用程序在后台运行时，通过卸载模型来自动管理内存。

推理设置：自定义模型参数，如系统提示符、温度、BOS 令牌和聊天模板。

实时性能指标：在 AI 响应生成期间查看每秒令牌数和每个令牌的毫秒数。

使用流程

下载模型

点击汉堡菜单

导航到 “Models” 页面

选择您想要的型号并点击下载

加载模型

下载后，点击 Load 将模型导入内存。现在您可以聊天了！

技巧

在 iOS 设备上，Apple 的 GPU API （Metal） 默认处于激活状态。如果您遇到任何问题，请尝试停用它。

iOS 金属

自动卸载/加载

为了保持设备平稳运行，PocketPal AI 可以自动管理内存使用情况：

在模型页面上启用 “Auto Offload/Load” （默认情况下是）

该应用程序将在后台卸载模型

当您返回时，它会重新加载（对于较大的模型，请等待几秒钟）

高级设置

单击 V 形图标可访问高级 LLM 设置，例如：

温度

BOS 代币

聊天模板选项

等。

最后，让我们聊聊吧！

加载模型后，前往 “聊天” 页面并开始与加载的模型交谈！

此时还会显示 generation performance （生成性能） 指标。如果有兴趣，请观察聊天气泡以获取实时性能指标：每秒令牌数和每个令牌的毫秒数。

重要提示：截至目前，我还没有找到一种简单的方法来从生成的响应中选择和复制文本，同时保留文本格式，尤其是 Markdown 支持。

同时，以下是当前用于复制文本的选项：

段落级复制：长按特定段落可复制其内容。

完整响应复制：使用文本气泡底部的复制图标复制 AI 生成的整个响应。

我知道这些选项可能并不理想，这是我使用其他应用程序的挫败感之一。复制部分文本的困难曾经是 ChatGPT 等聊天应用程序特别烦人的方面。

开发商： PocketPal AI 是使用 React Native 构建的。找到一种平衡文本选择和保留格式（尤其是 Markdown 支持）的简单解决方案对我来说一直很棘手。如果您有这方面的经验，我很乐意听取您的意见！

更新日志

版本 v1.17.3

变化

声明 ITMS-90683 在 #881 中请求的位置目的字符串

来自 Hosted Weblate 的翻译更新，来源于 #884

在#902中由@pocketpal-dev-team[bot]从有效载荷门上移除六边形符号计数绊线

通过 #901 将 llama.rn 升级到 0.13.0-rc.3（llama.cpp b10588 -> b10829）

修复：在#907中@pocketpal-dev-team[bot]为六边形推断选择一个发现的HTP会话

移除#909中@pocketpal-dev-team[bot]关于页面的赞助链接

v1.17.0

变化

[Bug]：在 #820 中为本地网络提示添加 NSLocalNetworkUsageDescription

通过#808添加网络搜索聊天（web_search + read_url talents，BYOK）

[专长]：发现#818中用于远程视觉+上下文横幅的llama.cpp /props

来自 Hosted Weblate 的翻译更新，来自 #804

来自 Hosted Weblate 的翻译更新，来自 #825

[成就]：#826 添加波兰语和欧洲葡萄牙语

Chore（Deps）：由 #827 将 llama.rn 0.12.4 升级至 0.12.7

[专长]：#829 中设置中可搜索的语言选择器

修复：#834 中将 Markdown 链接颜色识别为主题 （#753）

来自 Hosted Weblate 的翻译更新，来自 #832

[Bug]：在#830中将llama.cpp/props能力探针范围映射到模型

来自 Hosted Weblate 的翻译更新，由 #846 提供

专长：将聊天会话导出为 #836 的 Markdown

专长：添加#621置顶/星级聊天会话

来自 #851 的 Hosted Weblate 翻译更新

[成就]：推测解码/MTP草案模型支持，#805

修复：防止本地模型在应用容器路径变更时消失，#835

家务（DEPS）：将 llama.rn 升级到 0.13.0-rc.0 在 #857 中

来自 Hosted Weblate 的翻译更新，来源于 #852

版本 v1.16.0

变化

[漏洞]：E2E修复了v1.15.2版本验证（#764）后的#765

来自 Hosted Weblate 的翻译更新，来源于 #726

[漏洞]：停止下载时不再在#771中显示“下载失败”对话框

[成就]：在#778中为远程模型配置可配置的网络请求超时

[Bug]：当Android键盘在#780打开时，保持最新的AI输出可见

文档：更新 README 于 #781

文档：在 #782 添加设备内栈图

[成就]：#772中基于设备规则驱动的默认模型列表

天赋（入场）：添加溅射、六步叠加和Pip Pal种子，#747

feat（tts）：超主音31语言合成 + 语言选择器，由#784

[成就]：推理模型检测 + 用户覆盖（本地 + 远程），由 #783 完成

来自 Hosted Weblate 的翻译更新，来源于 #769

来自 Hosted Weblate 的翻译更新，来源于 #800

修复过时/不稳定的e2e功能规格（#772/#783之后），请在#798中修复

[成就]：在#801中添加巴西葡萄牙语（pt-BR）支持。

版本 v1.15.2

变化

[漏洞]：PalsHub 邮件注册/登录不再在 #757 失败时宣称成功

[成就]：通过 hub/run 深度链接在 #761 中下载 Open Hugging Face 模型

[专长]：当聊天接近或处于上下文限制时发出警告，恢复时间为#763

[成就]：认证的应用内PalsHub结账（美国iOS），作者#752

v1.15.1

专长：支持Gemini 3.5闪光。

专长：提升美人鱼图的渲染稳定性。

修复：修复 Markdown 内联数学渲染问题。

修复：修复 Claude 和 OpenAI 工具调用继续过程中缺失的功能/工具调用块。

修复：修正统计热力图中的日期漂移。

v1.13.0

变化

专长（店铺）：在#629中为美国高级好友添加深度链接购买按钮

feat（Android）：添加权重重装切换，并在#637中优化MMAP/重新打包

feat（perf）：在 #644 中添加内存分析流水线

feat：在#597中添加兼容OpenAI的远程服务器支持

来自 #633 的 Hosted Weblate 翻译更新

翻译更新来自托管Weblate，来源于#646

修正（Android）：在#645中正确调整外部显示器的显示密度

修复（存储）：在 #630 中保留应用重启期间的用户线程计数

修正#596中型号下拉菜单无法在短手机上滚动到底部的问题