11 月 19 日,Microsoft Edge 团队在官方博客发布了三项更新:
- Aion Instruct 正式可用:一个 2.3B 参数的小模型,以开放权重形式发布在 Hugging Face(
microsoft/Aion-1.0-Instruct-2.3B),同时取代 Phi-4-mini 成为 Edge 内置的小语言模型; - Prompt API 开放 Origin Trial:此前只能在 Canary / Dev 通道里本地试,现在注册源试用后,可以在线上站点里直接调用浏览器内置模型;
- Decisions API 开发者预览:对文本做是/否、多选、打分类判断,一次前向直接返回概率和置信度,不生成文本。
博客的标题是"Hybrid intelligence on the Web"——网页侧的混合智能:设备能跑、任务合适时用端侧模型,覆盖不到或需要更强推理时切到开发者配置的云端模型。
这件事对前端和做 AI 功能的团队意味着:同一个功能,背后会有两个能力、延迟、隐私边界都不一样的模型。端侧不收费、不出设备、可离线,但不是每台机器都有,模型还可能随浏览器升级被替换(这次 Aion 就换掉了 Phi-4-mini);云端能力强、覆盖全,但数据要出设备,有延迟和费用。两条路径如果没有规则地混用,最常见的结果是:同一个按钮在两台电脑上给出两种格式的答案,或者用户以为"只在本地处理"的内容被悄悄发到了云端。
本文不讨论 Aion 的跑分,而是梳理网页 AI 功能接入端云混合推理前应该补齐的六道闸门。文中的配置项、阈值、字段名和日志均为示例,API 以 Microsoft Learn 文档和 W3C 草案的当前版本为准——Prompt API 仍是实验性接口,后续可能变化。

一、先看清 Prompt API 给了什么、没给什么
从 Microsoft Learn 的 Prompt API 文档看,开发者能用到的主要接口是:
| 能力 | 接口 | 工程上的含义 |
|---|---|---|
| 是否存在 | typeof LanguageModel |
非 Edge / 未开启时直接走云端 |
| 能否使用 | LanguageModel.availability(options) |
返回 available / downloadable / downloading / unavailable |
| 下载进度 | create({ monitor }) + downloadprogress 事件 |
首次使用需要下载模型,要有等待 UI 或先走云端 |
| 系统提示与少样本 | create({ initialPrompts }) |
system 必须放在第 0 位,否则抛 TypeError |
| 结构化输出 | prompt(input, { responseConstraint }) |
传 JSON Schema 或正则 |
| 取消与释放 | AbortController、session.destroy() |
超时控制、释放内存 |
文档同时写明了几个不能假设的前提:
- 硬件门槛:Windows 10/11、macOS 13.3+ 或带 Vulkan 驱动的 x64 Linux;显存 3 GB 以上;Edge 配置文件所在磁盘至少 20 GB 可用,低于 5 GB 时模型会被删除;
- 计费网络下不下载模型;
- 用户可以在设置里关闭端侧 AI,企业策略也可以禁止模型下载;
- 从 Edge 158 起,Prompt API 生成的文本带不可见水印,但使用
responseConstraint的结构化输出不加水印。
换句话说:端侧模型随时可能"不在",而且它"在"的时候,输出也有自己的特殊性。下面的闸门都围绕这两点展开。
二、闸门 1:能力探测——按"这个任务需要的配置"探测,而不是只看 API 在不在
LanguageModel 对象存在,不代表能用;能用,也不代表能处理中文。availability() 支持传入 expectedInputs / expectedOutputs 的类型与语言,应该按任务需要的配置去问:
// capability.js(示例)
export async function probeLocal(task) {
if (typeof LanguageModel === "undefined") return { ok: false, reason: "NO_API" };
const opts = {
expectedInputs: [{ type: "text", languages: task.langs }], // 例:["zh", "en"]
expectedOutputs: [{ type: "text", languages: task.langs }],
};
let state;
try {
state = await LanguageModel.availability(opts);
} catch (e) {
return { ok: false, reason: "PROBE_ERROR" };
}
// available 才算立即可用;downloadable / downloading 视为"稍后可用"
return { ok: state === "available", state, reason: state.toUpperCase() };
}
两个细节:
- 探测结果要缓存,但要有有效期。磁盘空间变少、用户关掉端侧 AI、浏览器升级换模型,都会让之前的结论失效。建议按会话缓存,页面重新加载时重探;
downloadable不要自动触发下载。模型体积不小,首次下载最好由用户的明确操作触发(比如点击"启用本地处理"),而不是用户刚打开页面就开始下载。
三、闸门 2:隐私路由——先决定"这份数据能不能出设备",再决定用哪个模型
端云混合最容易出事的地方,是回退逻辑写成了"本地不行就上云"。如果某类数据承诺过"只在本地处理",这一行代码就是一次违规外发。
路由表应该先按数据级别分,再按能力分:
# routing-policy.yaml(示例)
tasks:
draft_reply: # 帮用户润色一段回复
data_class: user_text
local_ok: true
cloud_ok: true # 用户已在设置中同意云端处理
prefer: local
summarize_contract: # 合同摘要
data_class: confidential
local_ok: true
cloud_ok: false # 承诺不出设备:本地不可用时直接提示,不回退云端
prefer: local
long_report_analysis: # 长文档多步分析
data_class: user_text
local_ok: false # 超出小模型能力,直接走云端
cloud_ok: true
prefer: cloud
对应的路由函数:
// router.js(示例)
export async function route(taskId, policy) {
const p = policy.tasks[taskId];
if (p.prefer === "local" && p.local_ok) {
const cap = await probeLocal(p);
if (cap.ok) return { target: "local", reason: "LOCAL_AVAILABLE" };
if (!p.cloud_ok) return { target: "none", reason: "LOCAL_ONLY_" + cap.reason };
return { target: "cloud", reason: "FALLBACK_" + cap.reason };
}
return p.cloud_ok ? { target: "cloud", reason: "POLICY_CLOUD" }
: { target: "none", reason: "NO_ROUTE" };
}
target: "none" 不是错误,而是一个必须设计好的界面状态:告诉用户"当前设备不支持本地处理,此功能不会把内容发送到服务器",并给出可选操作。
四、闸门 3:输出契约——两条路径返回同一个 Schema,并且都要校验
端侧 2.3B 模型和云端大模型的输出风格差异很大。如果业务代码直接消费自由文本,就要为两种风格各写一套解析。更稳的做法是:凡是要被程序消费的输出,一律用 Schema 约束,并在两条路径上用同一个校验器。
// contract.js(示例)
export const ticketSchema = {
type: "object",
required: ["category", "urgent", "summary"],
additionalProperties: false,
properties: {
category: { type: "string", enum: ["账号", "支付", "物流", "其他"] },
urgent: { type: "boolean" },
summary: { type: "string", maxLength: 80 },
},
};
export async function classifyLocal(session, text, signal) {
const raw = await session.prompt(text, { responseConstraint: ticketSchema, signal });
return validate(ticketSchema, JSON.parse(raw)); // 约束生成之后仍要校验
}
为什么约束生成之后还要校验?因为 responseConstraint 约束的是格式,不是语义:category 一定在枚举里,但不一定选对;summary 一定是字符串,但可能是空的或复读了原文。语义层面的检查(非空、不复制原文、长度合理)要自己写。
五、闸门 4:输入净化与水印处理——别让控制符和不可见字符污染你的数据
这一道闸门有两个方向。
输入方向:不可信内容先净化。 文档的免责声明明确提示,向模型传入不可信内容存在风险。网页里的用户输入、抓取来的网页正文、邮件内容,在进入 prompt 前至少做三件事:
- 截断到预算长度(小模型上下文有限,超长输入会挤掉指令);
- 去掉可能是聊天模板控制符的片段——从 Hugging Face 上 Aion Instruct 的聊天模板看,它对
<|system|>、<|user|>、<|tool_call|>等保留控制符会直接报错拒绝; - 用明确的分隔把"指令"和"待处理内容"分开,并在系统提示里说明内容区不可执行。
// sanitize.js(示例)
const CONTROL = /<\|\/?(system|user|assistant|end|endofprompt|tool|tool_call|tool_response)\|>/g;
export function sanitizeInput(s, maxChars = 4000) {
return s.replace(CONTROL, "").slice(0, maxChars);
}
输出方向:自由文本带不可见水印。 从 Edge 158 起,Prompt API 的自由文本输出含不可见水印,用于标识 AI 生成内容。工程上要注意:
- 把生成文本写入数据库或做字符串比较前,确认水印字符不会影响去重、哈希、长度校验;
- 结构化输出(
responseConstraint)不加水印,所以"要被程序消费的结果走 Schema"这条规则同时解决了解析和水印两个问题; - 要不要去掉水印不是技术问题——文档提醒,去掉之前要确认网站仍满足适用的 AI 生成内容标识要求。比较稳妥的做法是保留水印,并在界面上明确标注"AI 生成"。
六、闸门 5:一致性评测——端侧和云端用同一套用例,分别过线
混合推理最大的隐性风险是体验分叉:同一个功能,高配电脑上走端侧、低配电脑上走云端,两边质量不一样,用户和测试都很难复现。
上线前要做的是一份双路径评测:同一批用例,分别在端侧和云端跑,按同一组指标打分,并分别设置及格线:
# eval-gate.yaml(示例,阈值为示例值)
suite: ticket_classify_v3
cases: 400 # 覆盖中英文、超长输入、含注入语句的样本
metrics:
schema_valid_rate: { local: ">= 0.99", cloud: ">= 0.99" }
category_accuracy: { local: ">= 0.85", cloud: ">= 0.92" }
p95_latency_ms: { local: "<= 1500", cloud: "<= 2500" }
injection_follow: { local: "== 0", cloud: "== 0" }
gap_limit:
category_accuracy: 0.08 # 两路径差距超过 8 个百分点则该任务不允许走端侧
端侧及格线可以比云端低,但要事先写下来,并且决定一个"差距上限":超过这个差距的任务,宁可只走云端。
另外要盯住一件事:端侧模型会随浏览器升级而变化。Aion 替换 Phi-4-mini 就是一次"用户什么都没做,模型换了"。建议在评测记录和线上日志中带上浏览器版本,浏览器大版本升级后重跑这套评测。下面是一份示例评测输出:

七、闸门 6:降级回退与可观测——超时、取消、释放,都要有明确的去向
端侧推理跑在用户设备上,慢机器、后台标签页、显存被游戏占满都可能导致超时。每次调用都应该有超时和取消:
// invoke.js(示例)
export async function runTask(taskId, input, policy, deps) {
const r = await route(taskId, policy);
const t0 = performance.now();
if (r.target === "local") {
const ac = new AbortController();
const timer = setTimeout(() => ac.abort(), policy.local_timeout_ms ?? 3000);
try {
const out = await classifyLocal(deps.session, sanitizeInput(input), ac.signal);
deps.log({ taskId, route: "local", reason: r.reason, ms: performance.now() - t0, ok: true });
return out;
} catch (e) {
deps.log({ taskId, route: "local", reason: "LOCAL_" + e.name, ms: performance.now() - t0, ok: false });
if (!policy.tasks[taskId].cloud_ok) throw new Error("LOCAL_ONLY_FAILED");
// 仅在策略允许时回退云端
} finally {
clearTimeout(timer);
}
}
if (r.target === "none") throw new Error(r.reason);
return deps.cloud(taskId, input); // 云端同样走 ticketSchema 校验
}
页面卸载或功能关闭时调用 session.destroy() 释放内存;长时间不用的会话不要一直挂着。
可观测性方面,日志里记路由决策和结果,而不是内容本身:
| 字段 | 示例 | 用途 |
|---|---|---|
task_id |
ticket_classify |
按功能统计 |
route |
local / cloud / none |
端云占比 |
reason |
FALLBACK_DOWNLOADABLE |
为什么没走端侧 |
browser_ver |
Edge 159 |
模型版本的近似标识 |
latency_ms |
842 |
延迟分布 |
schema_ok |
true |
契约通过率 |
有了这几个字段,就可以回答"多少用户实际用上了端侧""回退主要因为什么""浏览器升级后通过率有没有掉"这类问题:

八、几个常见的落地坑
坑 1:把 downloadable 当成 available。 首次调用会触发下载,用户点了按钮半天没反应。要么展示下载进度,要么这一次先走云端(策略允许时),下载完成后再切回端侧。
坑 2:本地失败时静默上云。 这是隐私路由最容易被破坏的地方。回退逻辑必须读取任务的 cloud_ok,不能写成通用的 catch → cloud()。
坑 3:系统提示放错位置。 initialPrompts 里 system 角色只能放在第 0 位,放到后面会直接抛 TypeError。把会话创建封装成一个函数,统一拼装 system 与少样本示例。
坑 4:拿自由文本做业务判断。 端侧小模型更容易"答非所问",而且自由文本带水印。凡是程序要消费的结果,都走 responseConstraint + 校验。
坑 5:只在开发机上测。 开发机往往是高配,永远走端侧。测试矩阵里至少要有:不支持的设备、计费网络、磁盘空间不足、用户关闭端侧 AI、企业策略禁用这几种情况。
九、落地检查清单
- 按任务需要的输入输出类型与语言调用
availability(),结果按会话缓存 -
downloadable不自动下载,首次下载由用户操作触发并展示进度 - 路由表先按数据级别决定能否出设备,
local_only任务不回退云端 - 程序消费的输出一律用 Schema 约束,端云两路径共用一个校验器
- 输入截断、去控制符、指令与内容分隔
- 自由文本的水印在存储、去重、比较时已考虑,界面标注 AI 生成
- 同一套用例分别评测端侧与云端,及格线与差距上限事先写明
- 每次调用有超时与取消,页面卸载时释放会话
- 日志记录路由、原因、浏览器版本、延迟与契约结果,不记录原文
- 浏览器大版本升级后重跑评测
结语
浏览器内置模型把"在用户设备上跑 AI"的门槛降得很低,但它也把一个新问题交给了每个网页开发者:同一个功能,背后是两个会变化的模型。把能力探测、隐私路由、输出契约、输入输出净化、双路径评测和降级回退做成显式的闸门,端侧模型才是一项可控的能力,而不是一个"有时候能用"的彩蛋。
参考资料:Microsoft Edge Blog《Hybrid intelligence on the Web: Introducing Aion Instruct and Prompt API in Microsoft Edge》(2026-11-19);Microsoft Learn《Prompt a built-in language model with the Prompt API》;Hugging Face
microsoft/Aion-1.0-Instruct-2.3B模型卡;W3C Web Machine Learning 社区组 Prompt API 草案。
本文同步发布于 CSDN:https://blog.csdn.net/qq_29737119/article/details/171082637