PocketPal AI本地大模型v1.17.2 开源版

编辑点评：最近后台好多朋友问手机能不能跑本地大模型，今天这款PocketPal AI就是来解馋的。装上它，你的手机就成了随身AI终端，不用联网、不用排队，跟DeepSeek这类热门模型直接本地对话，地铁上、电梯里都能随时聊，彻底告别转圈卡顿。虽然部署要按提示摸索一下，但跟着“精

PocketPal AI本地大模型是一个手机上直接运行的本地AI对话工具，这个软件可以让你无需连接网络久等与其他的AI大模型进行聊天和交流，本地部署方法需要根据流程进行摸索，可以在本地增加一个最近十分热门的deepseek，这样就不会卡顿的进行使用了。

PocketPal AI本地大模型最新动态

PocketPal AI本地大模型迎来重要更新，进一步提升了端侧智能体验。本次优化聚焦于推理速度与内存占用，通过内核级调优，使模型在主流移动设备上的响应延迟显著降低，同时支持更长的上下文窗口，对话连续性大幅增强。此外，新增了量化模型一键切换功能，用户可根据设备性能自由平衡精度与流畅度。在交互层面，界面布局重新设计，历史记录管理与多会话并行操作更为直观，并加入了离线语音输入提示，降低误触率。社区反馈中，用户对低功耗模式下的稳定表现给予高度评价，尤其称赞其在无网络环境下的可用性；部分用户建议增加更多垂直领域的小参数模型，团队已着手扩充模型仓库。同时，针对反馈集中的导出格式兼容性问题，现已支持Markdown与JSON双格式导出，便于知识管理。PocketPal AI坚持本地优先原则，数据不出设备，持续打磨隐私安全细节，致力于成为最轻量、最可靠的个人移动AI助手。

部署方法

1.百度找到精品下载

2.在精品网中搜索PocketPal，点击下载

3.打开软件点击Models，点+，点Hugging Face搜索大模型

4.尽量下载名字带Q4_NL（4bit量化 normal 压缩）的模型，回答比较精准。

5.解释一下部分量化标识命名规则：NL 平衡精度与速度（Normal）、M 中等优化（middle）、 XS 极致压缩（Extra Small）、K 极限压缩（K-special）、Qx 量化位数（手机上运行 Q4 最佳）。

6.在加载好模型后在Settings中把N PREDICT设置为4096。

如果遇到问题请发到评论区，我会试着解决。

PocketPal AI是什么软件

PocketPal AI 是一款袖珍型 AI 助手，由直接在手机上运行的小型语言模型 （SLM） 提供支持。PocketPal AI 专为 iOS 和 Android 设计，让您无需互联网连接即可与各种 SLM 进行交互。

软件特色

离线 AI 协助：直接在您的设备上运行语言模型，无需互联网连接。

模型灵活性：下载并在多个 SLM 之间进行交换，包括 Danube 2 和 3、Phi、Gemma 2 和 Qwen。

Auto Offload/Load：当应用程序在后台运行时，通过卸载模型来自动管理内存。

推理设置：自定义模型参数，如系统提示符、温度、BOS 令牌和聊天模板。

实时性能指标：在 AI 响应生成期间查看每秒令牌数和每个令牌的毫秒数。

使用流程

下载模型

点击汉堡菜单

导航到 “Models” 页面

选择您想要的型号并点击下载

加载模型

下载后，点击 Load 将模型导入内存。现在您可以聊天了！

技巧

在 iOS 设备上，Apple 的 GPU API （Metal） 默认处于激活状态。如果您遇到任何问题，请尝试停用它。

iOS 金属

自动卸载/加载

为了保持设备平稳运行，PocketPal AI 可以自动管理内存使用情况：

在模型页面上启用 “Auto Offload/Load” （默认情况下是）

该应用程序将在后台卸载模型

当您返回时，它会重新加载（对于较大的模型，请等待几秒钟）

高级设置

单击 V 形图标可访问高级 LLM 设置，例如：

温度

BOS 代币

聊天模板选项

等。

最后，让我们聊聊吧！

加载模型后，前往 “聊天” 页面并开始与加载的模型交谈！

此时还会显示 generation performance （生成性能） 指标。如果有兴趣，请观察聊天气泡以获取实时性能指标：每秒令牌数和每个令牌的毫秒数。

重要提示：截至目前，我还没有找到一种简单的方法来从生成的响应中选择和复制文本，同时保留文本格式，尤其是 Markdown 支持。

同时，以下是当前用于复制文本的选项：

段落级复制：长按特定段落可复制其内容。

完整响应复制：使用文本气泡底部的复制图标复制 AI 生成的整个响应。

我知道这些选项可能并不理想，这是我使用其他应用程序的挫败感之一。复制部分文本的困难曾经是 ChatGPT 等聊天应用程序特别烦人的方面。

开发商： PocketPal AI 是使用 React Native 构建的。找到一种平衡文本选择和保留格式（尤其是 Markdown 支持）的简单解决方案对我来说一直很棘手。如果您有这方面的经验，我很乐意听取您的意见！

更新日志

v1.17.0

变化

[Bug]：在 #820 中为本地网络提示添加 NSLocalNetworkUsageDescription

通过#808添加网络搜索聊天（web_search + read_url talents，BYOK）

[专长]：发现#818中用于远程视觉+上下文横幅的llama.cpp /props

来自 Hosted Weblate 的翻译更新，来自 #804

来自 Hosted Weblate 的翻译更新，来自 #825

[成就]：#826 添加波兰语和欧洲葡萄牙语

Chore（Deps）：由 #827 将 llama.rn 0.12.4 升级至 0.12.7

[专长]：#829 中设置中可搜索的语言选择器

修复：#834 中将 Markdown 链接颜色识别为主题 （#753）

来自 Hosted Weblate 的翻译更新，来自 #832

[Bug]：在#830中将llama.cpp/props能力探针范围映射到模型

来自 Hosted Weblate 的翻译更新，由 #846 提供

专长：将聊天会话导出为 #836 的 Markdown

专长：添加#621置顶/星级聊天会话

来自 #851 的 Hosted Weblate 翻译更新

[成就]：推测解码/MTP草案模型支持，#805

修复：防止本地模型在应用容器路径变更时消失，#835

家务（DEPS）：将 llama.rn 升级到 0.13.0-rc.0 在 #857 中

来自 Hosted Weblate 的翻译更新，来源于 #852

版本 v1.16.0

变化

[漏洞]：E2E修复了v1.15.2版本验证（#764）后的#765

来自 Hosted Weblate 的翻译更新，来源于 #726

[漏洞]：停止下载时不再在#771中显示“下载失败”对话框

[成就]：在#778中为远程模型配置可配置的网络请求超时

[Bug]：当Android键盘在#780打开时，保持最新的AI输出可见

文档：更新 README 于 #781

文档：在 #782 添加设备内栈图

[成就]：#772中基于设备规则驱动的默认模型列表

天赋（入场）：添加溅射、六步叠加和Pip Pal种子，#747

feat（tts）：超主音31语言合成 + 语言选择器，由#784

[成就]：推理模型检测 + 用户覆盖（本地 + 远程），由 #783 完成

来自 Hosted Weblate 的翻译更新，来源于 #769

来自 Hosted Weblate 的翻译更新，来源于 #800

修复过时/不稳定的e2e功能规格（#772/#783之后），请在#798中修复

[成就]：在#801中添加巴西葡萄牙语（pt-BR）支持。

版本 v1.15.2

变化

[漏洞]：PalsHub 邮件注册/登录不再在 #757 失败时宣称成功

[成就]：通过 hub/run 深度链接在 #761 中下载 Open Hugging Face 模型

[专长]：当聊天接近或处于上下文限制时发出警告，恢复时间为#763

[成就]：认证的应用内PalsHub结账（美国iOS），作者#752

v1.15.1

专长：支持Gemini 3.5闪光。

专长：提升美人鱼图的渲染稳定性。

修复：修复 Markdown 内联数学渲染问题。

修复：修复 Claude 和 OpenAI 工具调用继续过程中缺失的功能/工具调用块。

修复：修正统计热力图中的日期漂移。

v1.13.0

变化

专长（店铺）：在#629中为美国高级好友添加深度链接购买按钮

feat（Android）：添加权重重装切换，并在#637中优化MMAP/重新打包

feat（perf）：在 #644 中添加内存分析流水线

feat：在#597中添加兼容OpenAI的远程服务器支持

来自 #633 的 Hosted Weblate 翻译更新

翻译更新来自托管Weblate，来源于#646

修正（Android）：在#645中正确调整外部显示器的显示密度

修复（存储）：在 #630 中保留应用重启期间的用户线程计数

修正#596中型号下拉菜单无法在短手机上滚动到底部的问题

版本 v1.11.16

变化

任务/更新 e2e 测试 2 by #541

修复方法：#543 中通过基于互助的串行化防止模型切换时的内存泄漏

版本 v1.11.13 

任务：升级RN 0.82，llama.rn，并在#523修复

版本 v1.11.12

专长：在#515中将llama.rn升级至0.10.0-rc.3

版本 v1.11.11

变化

修复：通过 #504 将 llama.rn 更新到 0.9.2 版本

1.11.2

feat：重构设备检查 （GPU ...） 并在 #446 中为 OpenCL 要求添加详细消息

版本 v1.10.24

壮举：通过 #413 升级 llama.rn

v1.10.22

杂务：将应用程序信息占位符图标替换为 #400

专长：在 #410 中升级 llama.rn

1.10.21

壮举：添加UI控制

版本 v1.10.19

壮举：通过 #393 升级 llama.rn

v1.10.17

壮举：在 #381 中为 PAL 添加导入/导出

[壮举]：改进中文本地化翻译 （0715） by in #373

杂务：通过 #387 升级 llama.rn

v1.10.16

壮举：在 #380 中同步 llama.rn -> llama.cpp以支持 LFM2

版本 v1.10.15

Feat： 新增思考控制

v1.10.13

修复：useChatSession 中聊天消息重复的问题

V1.10.9

Feat： 升级 llama.rn （因此llama.cpp） 以支持 GEMMA 3N by

1.10.7

壮举：通过为视觉模型添加选择退出

v1.10.0

更新 dependencys 

Feat： 改进中文本地化翻译 

杂务：去掉多余的 JA： '日本 （JA）'

Feat： 通过 IN 为 Android 添加备份和恢复支持 

feat： 添加 Lookie Pal

1.9.4

修复（Android）：阻止 app resume 时恢复

feat： 如果 content 为空，则不渲染

修复：文本生成过程中 token 缺失/重复 

1.9.0

特点： 在中为门控模型访问添加 HF 令牌身份验证

1.8.15

Feat： 添加预设补全设置

1.8.12

feat： 添加 iPad 支持 by in #249

重构：使用 IN #250 使用基于基准测试的模型改进内存需求检查

feat： 添加 Thought 标签并同步 llama.rn by in #251

修复（iPad）：新增对 Upside Down Orientation 的支持 by IN #253

1.8.5

修复：改进 Android 版本跨 Edge 到 Edge Display 的实现

v1.6.9

修复：在 ChatGenerationSettingsSheet 中使用 processedSettings

1.6.7

修复（Android）：删除 llama.rn 的 FP16 编译器标志以解决 Deepseek

PocketPal AI本地大模型特别说明

【安装技巧】v1.16.1开源版需通过GitHub Releases下载对应架构安装包（ARM/x86）。首次启动建议预留≥4GB存储空间，并在“设置-高级”中开启“GPU加速”，可显著提升推理速度。若遇闪退，请先安装Microsoft Visual C++ 2015-2022运行库。

【使用注意】模型文件默认存放于“/models”目录，请勿手动修改文件名或路径。离线模式下仅支持预设的Qwen2.5-7B和Llama3-8B中文优化版，切换模型前务必先导出对话记录，以免丢失上下文。长对话（超200轮）建议手动点击“清空会话”释放显存。

【常见问题】1. 回答速度慢：请关闭后台其他占用高内存的程序，或降低“最大生成长度”至512。2. 中文输出乱码：检查“字符编码”是否为UTF-8。3. 模型加载失败：删除“/models/cache”缓存文件夹后重启应用。4. 无法联网下载模型：需手动将GGUF格式文件放入models目录，并在设置中“扫描本地模型”。

【特别提示】本版本为社区维护版，未内置自动更新，请定期关注官方仓库获取安全补丁。若需多轮角色扮演，建议搭配“系统提示词”模板使用，效果更佳。