PocketPal AI本地大模型v1.14.0 开源版

编辑点评：将语言模型直接引入手机的应用程序。

PocketPal AI本地大模型是一个手机上直接运行的本地AI对话工具，这个软件可以让你无需连接网络久等与其他的AI大模型进行聊天和交流，本地部署方法需要根据流程进行摸索，可以在本地增加一个最近十分热门的deepseek，这样就不会卡顿的进行使用了。

部署方法

1.百度找到精品下载

2.在精品网中搜索PocketPal，点击下载

3.打开软件点击Models，点+，点Hugging Face搜索大模型

4.尽量下载名字带Q4_NL（4bit量化 normal 压缩）的模型，回答比较精准。

5.解释一下部分量化标识命名规则：NL 平衡精度与速度（Normal）、M 中等优化（middle）、 XS 极致压缩（Extra Small）、K 极限压缩（K-special）、Qx 量化位数（手机上运行 Q4 最佳）。

6.在加载好模型后在Settings中把N PREDICT设置为4096。

如果遇到问题请发到评论区，我会试着解决。

PocketPal AI是什么软件

PocketPal AI 是一款袖珍型 AI 助手，由直接在手机上运行的小型语言模型 （SLM） 提供支持。PocketPal AI 专为 iOS 和 Android 设计，让您无需互联网连接即可与各种 SLM 进行交互。

软件特色

离线 AI 协助：直接在您的设备上运行语言模型，无需互联网连接。

模型灵活性：下载并在多个 SLM 之间进行交换，包括 Danube 2 和 3、Phi、Gemma 2 和 Qwen。

Auto Offload/Load：当应用程序在后台运行时，通过卸载模型来自动管理内存。

推理设置：自定义模型参数，如系统提示符、温度、BOS 令牌和聊天模板。

实时性能指标：在 AI 响应生成期间查看每秒令牌数和每个令牌的毫秒数。

使用流程

下载模型

点击汉堡菜单

导航到 “Models” 页面

选择您想要的型号并点击下载

加载模型

下载后，点击 Load 将模型导入内存。现在您可以聊天了！

技巧

在 iOS 设备上，Apple 的 GPU API （Metal） 默认处于激活状态。如果您遇到任何问题，请尝试停用它。

iOS 金属

自动卸载/加载

为了保持设备平稳运行，PocketPal AI 可以自动管理内存使用情况：

在模型页面上启用 “Auto Offload/Load” （默认情况下是）

该应用程序将在后台卸载模型

当您返回时，它会重新加载（对于较大的模型，请等待几秒钟）

高级设置

单击 V 形图标可访问高级 LLM 设置，例如：

温度

BOS 代币

聊天模板选项

等。

最后，让我们聊聊吧！

加载模型后，前往 “聊天” 页面并开始与加载的模型交谈！

此时还会显示 generation performance （生成性能） 指标。如果有兴趣，请观察聊天气泡以获取实时性能指标：每秒令牌数和每个令牌的毫秒数。

重要提示：截至目前，我还没有找到一种简单的方法来从生成的响应中选择和复制文本，同时保留文本格式，尤其是 Markdown 支持。

同时，以下是当前用于复制文本的选项：

段落级复制：长按特定段落可复制其内容。

完整响应复制：使用文本气泡底部的复制图标复制 AI 生成的整个响应。

我知道这些选项可能并不理想，这是我使用其他应用程序的挫败感之一。复制部分文本的困难曾经是 ChatGPT 等聊天应用程序特别烦人的方面。

开发商： PocketPal AI 是使用 React Native 构建的。找到一种平衡文本选择和保留格式（尤其是 Markdown 支持）的简单解决方案对我来说一直很棘手。如果您有这方面的经验，我很乐意听取您的意见！

更新日志

v1.13.0

变化

专长（店铺）：在#629中为美国高级好友添加深度链接购买按钮

feat（Android）：添加权重重装切换，并在#637中优化MMAP/重新打包

feat（perf）：在 #644 中添加内存分析流水线

feat：在#597中添加兼容OpenAI的远程服务器支持

来自 #633 的 Hosted Weblate 翻译更新

翻译更新来自托管Weblate，来源于#646

修正（Android）：在#645中正确调整外部显示器的显示密度

修复（存储）：在 #630 中保留应用重启期间的用户线程计数

修正#596中型号下拉菜单无法在短手机上滚动到底部的问题

版本 v1.11.16

变化

任务/更新 e2e 测试 2 by #541

修复方法：#543 中通过基于互助的串行化防止模型切换时的内存泄漏

版本 v1.11.13 

任务：升级RN 0.82，llama.rn，并在#523修复

版本 v1.11.12

专长：在#515中将llama.rn升级至0.10.0-rc.3

版本 v1.11.11

变化

修复：通过 #504 将 llama.rn 更新到 0.9.2 版本

1.11.2

feat：重构设备检查 （GPU ...） 并在 #446 中为 OpenCL 要求添加详细消息

版本 v1.10.24

壮举：通过 #413 升级 llama.rn

v1.10.22

杂务：将应用程序信息占位符图标替换为 #400

专长：在 #410 中升级 llama.rn

1.10.21

壮举：添加UI控制

版本 v1.10.19

壮举：通过 #393 升级 llama.rn

v1.10.17

壮举：在 #381 中为 PAL 添加导入/导出

[壮举]：改进中文本地化翻译 （0715） by in #373

杂务：通过 #387 升级 llama.rn

v1.10.16

壮举：在 #380 中同步 llama.rn -> llama.cpp以支持 LFM2

版本 v1.10.15

Feat： 新增思考控制

v1.10.13

修复：useChatSession 中聊天消息重复的问题

V1.10.9

Feat： 升级 llama.rn （因此llama.cpp） 以支持 GEMMA 3N by

1.10.7

壮举：通过为视觉模型添加选择退出

v1.10.0

更新 dependencys 

Feat： 改进中文本地化翻译 

杂务：去掉多余的 JA： '日本語 （JA）'

Feat： 通过 IN 为 Android 添加备份和恢复支持 

feat： 添加 Lookie Pal

1.9.4

修复（Android）：阻止 app resume 时恢复

feat： 如果 content 为空，则不渲染

修复：文本生成过程中 token 缺失/重复 

1.9.0

特点： 在中为门控模型访问添加 HF 令牌身份验证

1.8.15

Feat： 添加预设补全设置

1.8.12

feat： 添加 iPad 支持 by in #249

重构：使用 IN #250 使用基于基准测试的模型改进内存需求检查

feat： 添加 Thought 标签并同步 llama.rn by in #251

修复（iPad）：新增对 Upside Down Orientation 的支持 by IN #253

1.8.5

修复：改进 Android 版本跨 Edge 到 Edge Display 的实现

v1.6.9

修复：在 ChatGenerationSettingsSheet 中使用 processedSettings

1.6.7

修复（Android）：删除 llama.rn 的 FP16 编译器标志以解决 Deepseek