PocketPal AI本地大模型v1.8.5 开源版

编辑点评：将语言模型直接引入手机的应用程序。

PocketPal AI本地大模型是一个手机上直接运行的本地AI对话工具，这个软件可以让你无需连接网络久等与其他的AI大模型进行聊天和交流，本地部署方法需要根据流程进行摸索，可以在本地增加一个最近十分热门的deepseek，这样就不会卡顿的进行使用了。

部署方法

1.百度找到精品下载

2.在精品网中搜索PocketPal，点击下载

3.打开软件点击Models，点+，点Hugging Face搜索大模型

4.尽量下载名字带Q4_NL（4bit量化 normal 压缩）的模型，回答比较精准。

5.解释一下部分量化标识命名规则：NL 平衡精度与速度（Normal）、M 中等优化（middle）、 XS 极致压缩（Extra Small）、K 极限压缩（K-special）、Qx 量化位数（手机上运行 Q4 最佳）。

6.在加载好模型后在Settings中把N PREDICT设置为4096。

如果遇到问题请发到评论区，我会试着解决。

PocketPal AI是什么软件

PocketPal AI 是一款袖珍型 AI 助手，由直接在手机上运行的小型语言模型 （SLM） 提供支持。PocketPal AI 专为 iOS 和 Android 设计，让您无需互联网连接即可与各种 SLM 进行交互。

软件特色

离线 AI 协助：直接在您的设备上运行语言模型，无需互联网连接。

模型灵活性：下载并在多个 SLM 之间进行交换，包括 Danube 2 和 3、Phi、Gemma 2 和 Qwen。

Auto Offload/Load：当应用程序在后台运行时，通过卸载模型来自动管理内存。

推理设置：自定义模型参数，如系统提示符、温度、BOS 令牌和聊天模板。

实时性能指标：在 AI 响应生成期间查看每秒令牌数和每个令牌的毫秒数。

使用流程

下载模型

点击汉堡菜单

导航到 “Models” 页面

选择您想要的型号并点击下载

加载模型

下载后，点击 Load 将模型导入内存。现在您可以聊天了！

技巧

在 iOS 设备上，Apple 的 GPU API （Metal） 默认处于激活状态。如果您遇到任何问题，请尝试停用它。

iOS 金属

自动卸载/加载

为了保持设备平稳运行，PocketPal AI 可以自动管理内存使用情况：

在模型页面上启用 “Auto Offload/Load” （默认情况下是）

该应用程序将在后台卸载模型

当您返回时，它会重新加载（对于较大的模型，请等待几秒钟）

高级设置

单击 V 形图标可访问高级 LLM 设置，例如：

温度

BOS 代币

聊天模板选项

等。

最后，让我们聊聊吧！

加载模型后，前往 “聊天” 页面并开始与加载的模型交谈！

此时还会显示 generation performance （生成性能） 指标。如果有兴趣，请观察聊天气泡以获取实时性能指标：每秒令牌数和每个令牌的毫秒数。

重要提示：截至目前，我还没有找到一种简单的方法来从生成的响应中选择和复制文本，同时保留文本格式，尤其是 Markdown 支持。

同时，以下是当前用于复制文本的选项：

段落级复制：长按特定段落可复制其内容。

完整响应复制：使用文本气泡底部的复制图标复制 AI 生成的整个响应。

我知道这些选项可能并不理想，这是我使用其他应用程序的挫败感之一。复制部分文本的困难曾经是 ChatGPT 等聊天应用程序特别烦人的方面。

开发商： PocketPal AI 是使用 React Native 构建的。找到一种平衡文本选择和保留格式（尤其是 Markdown 支持）的简单解决方案对我来说一直很棘手。如果您有这方面的经验，我很乐意听取您的意见！

更新日志

1.8.5

修复：改进 Android 版本跨 Edge 到 Edge Display 的实现

v1.6.9

修复：在 ChatGenerationSettingsSheet 中使用 processedSettings

1.6.7

修复（Android）：删除 llama.rn 的 FP16 编译器标志以解决 Deepseek