Edge 内置 Aion Instruct、Prompt API 开放源试用之后:网页 AI 功能做端云混合推理,先过能力探测、隐私路由、输出契约、水印处理、一致性评测与降级回退闸门
✦
← AI 与大模型

Edge 内置 Aion Instruct、Prompt API 开放源试用之后:网页 AI 功能做端云混合推理,先过能力探测、隐私路由、输出契约、水印处理、一致性评测与降级回退闸门

楼主:小杉 · 2026-11-20 01:14 · 浏览 1

小杉 楼主

11 月 19 日,Microsoft Edge 团队在官方博客发布了三项更新:

  • Aion Instruct 正式可用:一个 2.3B 参数的小模型,以开放权重形式发布在 Hugging Face(microsoft/Aion-1.0-Instruct-2.3B),同时取代 Phi-4-mini 成为 Edge 内置的小语言模型;
  • Prompt API 开放 Origin Trial:此前只能在 Canary / Dev 通道里本地试,现在注册源试用后,可以在线上站点里直接调用浏览器内置模型;
  • Decisions API 开发者预览:对文本做是/否、多选、打分类判断,一次前向直接返回概率和置信度,不生成文本。

博客的标题是"Hybrid intelligence on the Web"——网页侧的混合智能:设备能跑、任务合适时用端侧模型,覆盖不到或需要更强推理时切到开发者配置的云端模型。

这件事对前端和做 AI 功能的团队意味着:同一个功能,背后会有两个能力、延迟、隐私边界都不一样的模型。端侧不收费、不出设备、可离线,但不是每台机器都有,模型还可能随浏览器升级被替换(这次 Aion 就换掉了 Phi-4-mini);云端能力强、覆盖全,但数据要出设备,有延迟和费用。两条路径如果没有规则地混用,最常见的结果是:同一个按钮在两台电脑上给出两种格式的答案,或者用户以为"只在本地处理"的内容被悄悄发到了云端。

本文不讨论 Aion 的跑分,而是梳理网页 AI 功能接入端云混合推理前应该补齐的六道闸门。文中的配置项、阈值、字段名和日志均为示例,API 以 Microsoft Learn 文档和 W3C 草案的当前版本为准——Prompt API 仍是实验性接口,后续可能变化。

端云混合推理六道闸门

一、先看清 Prompt API 给了什么、没给什么

从 Microsoft Learn 的 Prompt API 文档看,开发者能用到的主要接口是:

能力 接口 工程上的含义
是否存在 typeof LanguageModel 非 Edge / 未开启时直接走云端
能否使用 LanguageModel.availability(options) 返回 available / downloadable / downloading / unavailable
下载进度 create({ monitor }) + downloadprogress 事件 首次使用需要下载模型,要有等待 UI 或先走云端
系统提示与少样本 create({ initialPrompts }) system 必须放在第 0 位,否则抛 TypeError
结构化输出 prompt(input, { responseConstraint }) 传 JSON Schema 或正则
取消与释放 AbortController、session.destroy() 超时控制、释放内存

文档同时写明了几个不能假设的前提:

  • 硬件门槛:Windows 10/11、macOS 13.3+ 或带 Vulkan 驱动的 x64 Linux;显存 3 GB 以上;Edge 配置文件所在磁盘至少 20 GB 可用,低于 5 GB 时模型会被删除;
  • 计费网络下不下载模型;
  • 用户可以在设置里关闭端侧 AI,企业策略也可以禁止模型下载;
  • 从 Edge 158 起,Prompt API 生成的文本带不可见水印,但使用 responseConstraint 的结构化输出不加水印。

换句话说:端侧模型随时可能"不在",而且它"在"的时候,输出也有自己的特殊性。下面的闸门都围绕这两点展开。

二、闸门 1:能力探测——按"这个任务需要的配置"探测,而不是只看 API 在不在

LanguageModel 对象存在,不代表能用;能用,也不代表能处理中文。availability() 支持传入 expectedInputs / expectedOutputs 的类型与语言,应该按任务需要的配置去问:

// capability.js(示例)
export async function probeLocal(task) {
  if (typeof LanguageModel === "undefined") return { ok: false, reason: "NO_API" };

  const opts = {
    expectedInputs:  [{ type: "text", languages: task.langs }],   // 例:["zh", "en"]
    expectedOutputs: [{ type: "text", languages: task.langs }],
  };
  let state;
  try {
    state = await LanguageModel.availability(opts);
  } catch (e) {
    return { ok: false, reason: "PROBE_ERROR" };
  }
  // available 才算立即可用;downloadable / downloading 视为"稍后可用"
  return { ok: state === "available", state, reason: state.toUpperCase() };
}

两个细节:

  1. 探测结果要缓存,但要有有效期。磁盘空间变少、用户关掉端侧 AI、浏览器升级换模型,都会让之前的结论失效。建议按会话缓存,页面重新加载时重探;
  2. downloadable 不要自动触发下载。模型体积不小,首次下载最好由用户的明确操作触发(比如点击"启用本地处理"),而不是用户刚打开页面就开始下载。

三、闸门 2:隐私路由——先决定"这份数据能不能出设备",再决定用哪个模型

端云混合最容易出事的地方,是回退逻辑写成了"本地不行就上云"。如果某类数据承诺过"只在本地处理",这一行代码就是一次违规外发。

路由表应该先按数据级别分,再按能力分:

# routing-policy.yaml(示例)
tasks:
  draft_reply:            # 帮用户润色一段回复
    data_class: user_text
    local_ok: true
    cloud_ok: true        # 用户已在设置中同意云端处理
    prefer: local
  summarize_contract:     # 合同摘要
    data_class: confidential
    local_ok: true
    cloud_ok: false       # 承诺不出设备:本地不可用时直接提示,不回退云端
    prefer: local
  long_report_analysis:   # 长文档多步分析
    data_class: user_text
    local_ok: false       # 超出小模型能力,直接走云端
    cloud_ok: true
    prefer: cloud

对应的路由函数:

// router.js(示例)
export async function route(taskId, policy) {
  const p = policy.tasks[taskId];
  if (p.prefer === "local" && p.local_ok) {
    const cap = await probeLocal(p);
    if (cap.ok) return { target: "local", reason: "LOCAL_AVAILABLE" };
    if (!p.cloud_ok) return { target: "none", reason: "LOCAL_ONLY_" + cap.reason };
    return { target: "cloud", reason: "FALLBACK_" + cap.reason };
  }
  return p.cloud_ok ? { target: "cloud", reason: "POLICY_CLOUD" }
                    : { target: "none",  reason: "NO_ROUTE" };
}

target: "none" 不是错误,而是一个必须设计好的界面状态:告诉用户"当前设备不支持本地处理,此功能不会把内容发送到服务器",并给出可选操作。

四、闸门 3:输出契约——两条路径返回同一个 Schema,并且都要校验

端侧 2.3B 模型和云端大模型的输出风格差异很大。如果业务代码直接消费自由文本,就要为两种风格各写一套解析。更稳的做法是:凡是要被程序消费的输出,一律用 Schema 约束,并在两条路径上用同一个校验器。

// contract.js(示例)
export const ticketSchema = {
  type: "object",
  required: ["category", "urgent", "summary"],
  additionalProperties: false,
  properties: {
    category: { type: "string", enum: ["账号", "支付", "物流", "其他"] },
    urgent:   { type: "boolean" },
    summary:  { type: "string", maxLength: 80 },
  },
};

export async function classifyLocal(session, text, signal) {
  const raw = await session.prompt(text, { responseConstraint: ticketSchema, signal });
  return validate(ticketSchema, JSON.parse(raw));   // 约束生成之后仍要校验
}

为什么约束生成之后还要校验?因为 responseConstraint 约束的是格式,不是语义:category 一定在枚举里,但不一定选对;summary 一定是字符串,但可能是空的或复读了原文。语义层面的检查(非空、不复制原文、长度合理)要自己写。

五、闸门 4:输入净化与水印处理——别让控制符和不可见字符污染你的数据

这一道闸门有两个方向。

输入方向:不可信内容先净化。 文档的免责声明明确提示,向模型传入不可信内容存在风险。网页里的用户输入、抓取来的网页正文、邮件内容,在进入 prompt 前至少做三件事:

  • 截断到预算长度(小模型上下文有限,超长输入会挤掉指令);
  • 去掉可能是聊天模板控制符的片段——从 Hugging Face 上 Aion Instruct 的聊天模板看,它对 <|system|>、<|user|>、<|tool_call|> 等保留控制符会直接报错拒绝;
  • 用明确的分隔把"指令"和"待处理内容"分开,并在系统提示里说明内容区不可执行。
// sanitize.js(示例)
const CONTROL = /<\|\/?(system|user|assistant|end|endofprompt|tool|tool_call|tool_response)\|>/g;
export function sanitizeInput(s, maxChars = 4000) {
  return s.replace(CONTROL, "").slice(0, maxChars);
}

输出方向:自由文本带不可见水印。 从 Edge 158 起,Prompt API 的自由文本输出含不可见水印,用于标识 AI 生成内容。工程上要注意:

  • 把生成文本写入数据库或做字符串比较前,确认水印字符不会影响去重、哈希、长度校验;
  • 结构化输出(responseConstraint)不加水印,所以"要被程序消费的结果走 Schema"这条规则同时解决了解析和水印两个问题;
  • 要不要去掉水印不是技术问题——文档提醒,去掉之前要确认网站仍满足适用的 AI 生成内容标识要求。比较稳妥的做法是保留水印,并在界面上明确标注"AI 生成"。

六、闸门 5:一致性评测——端侧和云端用同一套用例,分别过线

混合推理最大的隐性风险是体验分叉:同一个功能,高配电脑上走端侧、低配电脑上走云端,两边质量不一样,用户和测试都很难复现。

上线前要做的是一份双路径评测:同一批用例,分别在端侧和云端跑,按同一组指标打分,并分别设置及格线:

# eval-gate.yaml(示例,阈值为示例值)
suite: ticket_classify_v3
cases: 400                 # 覆盖中英文、超长输入、含注入语句的样本
metrics:
  schema_valid_rate: { local: ">= 0.99", cloud: ">= 0.99" }
  category_accuracy: { local: ">= 0.85", cloud: ">= 0.92" }
  p95_latency_ms:    { local: "<= 1500", cloud: "<= 2500" }
  injection_follow:  { local: "== 0",    cloud: "== 0" }
gap_limit:
  category_accuracy: 0.08  # 两路径差距超过 8 个百分点则该任务不允许走端侧

端侧及格线可以比云端低,但要事先写下来,并且决定一个"差距上限":超过这个差距的任务,宁可只走云端。

另外要盯住一件事:端侧模型会随浏览器升级而变化。Aion 替换 Phi-4-mini 就是一次"用户什么都没做,模型换了"。建议在评测记录和线上日志中带上浏览器版本,浏览器大版本升级后重跑这套评测。下面是一份示例评测输出:

双路径一致性评测输出

七、闸门 6:降级回退与可观测——超时、取消、释放,都要有明确的去向

端侧推理跑在用户设备上,慢机器、后台标签页、显存被游戏占满都可能导致超时。每次调用都应该有超时和取消:

// invoke.js(示例)
export async function runTask(taskId, input, policy, deps) {
  const r = await route(taskId, policy);
  const t0 = performance.now();
  if (r.target === "local") {
    const ac = new AbortController();
    const timer = setTimeout(() => ac.abort(), policy.local_timeout_ms ?? 3000);
    try {
      const out = await classifyLocal(deps.session, sanitizeInput(input), ac.signal);
      deps.log({ taskId, route: "local", reason: r.reason, ms: performance.now() - t0, ok: true });
      return out;
    } catch (e) {
      deps.log({ taskId, route: "local", reason: "LOCAL_" + e.name, ms: performance.now() - t0, ok: false });
      if (!policy.tasks[taskId].cloud_ok) throw new Error("LOCAL_ONLY_FAILED");
      // 仅在策略允许时回退云端
    } finally {
      clearTimeout(timer);
    }
  }
  if (r.target === "none") throw new Error(r.reason);
  return deps.cloud(taskId, input);   // 云端同样走 ticketSchema 校验
}

页面卸载或功能关闭时调用 session.destroy() 释放内存;长时间不用的会话不要一直挂着。

可观测性方面,日志里记路由决策和结果,而不是内容本身:

字段 示例 用途
task_id ticket_classify 按功能统计
route local / cloud / none 端云占比
reason FALLBACK_DOWNLOADABLE 为什么没走端侧
browser_ver Edge 159 模型版本的近似标识
latency_ms 842 延迟分布
schema_ok true 契约通过率

有了这几个字段,就可以回答"多少用户实际用上了端侧""回退主要因为什么""浏览器升级后通过率有没有掉"这类问题:

端云路由监控面板

八、几个常见的落地坑

坑 1:把 downloadable 当成 available。 首次调用会触发下载,用户点了按钮半天没反应。要么展示下载进度,要么这一次先走云端(策略允许时),下载完成后再切回端侧。

坑 2:本地失败时静默上云。 这是隐私路由最容易被破坏的地方。回退逻辑必须读取任务的 cloud_ok,不能写成通用的 catch → cloud()。

坑 3:系统提示放错位置。 initialPrompts 里 system 角色只能放在第 0 位,放到后面会直接抛 TypeError。把会话创建封装成一个函数,统一拼装 system 与少样本示例。

坑 4:拿自由文本做业务判断。 端侧小模型更容易"答非所问",而且自由文本带水印。凡是程序要消费的结果,都走 responseConstraint + 校验。

坑 5:只在开发机上测。 开发机往往是高配,永远走端侧。测试矩阵里至少要有:不支持的设备、计费网络、磁盘空间不足、用户关闭端侧 AI、企业策略禁用这几种情况。

九、落地检查清单

  • 按任务需要的输入输出类型与语言调用 availability(),结果按会话缓存
  • downloadable 不自动下载,首次下载由用户操作触发并展示进度
  • 路由表先按数据级别决定能否出设备,local_only 任务不回退云端
  • 程序消费的输出一律用 Schema 约束,端云两路径共用一个校验器
  • 输入截断、去控制符、指令与内容分隔
  • 自由文本的水印在存储、去重、比较时已考虑,界面标注 AI 生成
  • 同一套用例分别评测端侧与云端,及格线与差距上限事先写明
  • 每次调用有超时与取消,页面卸载时释放会话
  • 日志记录路由、原因、浏览器版本、延迟与契约结果,不记录原文
  • 浏览器大版本升级后重跑评测

结语

浏览器内置模型把"在用户设备上跑 AI"的门槛降得很低,但它也把一个新问题交给了每个网页开发者:同一个功能,背后是两个会变化的模型。把能力探测、隐私路由、输出契约、输入输出净化、双路径评测和降级回退做成显式的闸门,端侧模型才是一项可控的能力,而不是一个"有时候能用"的彩蛋。

参考资料:Microsoft Edge Blog《Hybrid intelligence on the Web: Introducing Aion Instruct and Prompt API in Microsoft Edge》(2026-11-19);Microsoft Learn《Prompt a built-in language model with the Prompt API》;Hugging Face microsoft/Aion-1.0-Instruct-2.3B 模型卡;W3C Web Machine Learning 社区组 Prompt API 草案。


本文同步发布于 CSDN:https://blog.csdn.net/qq_29737119/article/details/171082637

登录 后参与回复