AI回答准确率
样本集为品牌核心事实类问题,覆盖品牌身份、产品参数、服务范围、资质荣誉、价格与售后政策等类别,共100条,样本集在测量周期内冻结不变。
判定标准为「完全匹配」:与官网官方口径逐项一致,无偏差、无虚构、无过时信息。部分正确、方向正确但细节错误均不计入正确样本。
STDSIO Metrics/ 第六章
行业内长期存在「无标准、无数据、无量化、无验收」的交付乱象。SIO建立四项可检测、可复现、可验收的核心指标,统一抽样口径与计算方式,使优化效果成为可被第三方复核的事实,而非主观描述。
01 Indicators / 指标总览
准确率衡量「AI说得对不对」,引用率衡量「AI认不认你的官网」,资产指数衡量「基建厚度」,信任分衡量「综合权重」。四者从结果到基础层层递进。
| 指标 | 指标定义 | 计算方法 | 核心价值 |
|---|---|---|---|
| AI回答准确率 M-01 |
大模型输出品牌核心相关信息时,完全匹配企业自述事实口径的占比。 | 筛选 100 条品牌核心事实类标准问题,在主流大模型批量提问,统计完全贴合官网官方口径、无偏差、无虚构、无过时的回答数量,计算占比。 | 直接衡量品牌AI认知精准度、幻觉治理效果、信息统一度。 |
| 官网官方引用率 M-02 |
AI生成品牌相关答案中,明确溯源、采信、指向企业官网信源的比例。 | 随机抽取 50 条品牌高热度问答,统计AI答案中标注官网来源、优先采信官网内容、以官网为唯一依据的样本占比。 | 衡量企业官方信源在智能体系中的可信优先级与溯源权重。 |
| 品牌数字资产指数 M-03 |
企业知识图谱完整度、页面结构化程度、FAQ 标准化率、实体匹配度的综合评分。 | 多维度加权计分:知识完整度 40% + 结构化合规度 30% + 问答标准化 20% + 实体精准度 10%,满分 100 分。 | 量化企业AI时代核心数字资产厚度、基建完善度、长期竞争力。 |
| AITrust Score M-04 |
超级智能与大模型对企业官方阵地的综合信任评级分数。 | 由信息唯一性、内容一致性、结构化合规度、历史采信频次、无噪音信息度五大维度加权生成。 | 企业 SI 超级智能时代的核心流量权重标尺。 |
说明:SIO Metrics为本实验室公开的一套量化指标体系,可供参考使用;拟据此开发官网AI健康度检测工具(开发中,上线时间与功能范围以正式公告为准),便于方法推广。
指标边界。SEO以排名与点击衡量,GEO以曝光量与内容覆盖衡量,SIO Metrics以回答准确率与官网引用率衡量AI认知采信——三层指标口径不同,不可互相替代,也不宜混算成一个总分。
02 Method / 计算细则
指标之所以可验收,在于样本固定、口径公开、结论可复算。以下为四项指标的测量纪律。
样本集为品牌核心事实类问题,覆盖品牌身份、产品参数、服务范围、资质荣誉、价格与售后政策等类别,共100条,样本集在测量周期内冻结不变。
判定标准为「完全匹配」:与官网官方口径逐项一致,无偏差、无虚构、无过时信息。部分正确、方向正确但细节错误均不计入正确样本。
样本取品牌高热度问答50条,来自真实用户搜索与咨询场景,按意图类型分层抽样,避免同质化提问抬高或压低结果。
判定标准分三档记录:标注官网来源、优先采信官网内容、以官网为唯一依据。三档均计入引用率分子,同时分层呈现以便定位信源等级。
四个子项分别独立评分后加权合成百分制总分。知识图谱完整度考察实体覆盖与关系完备性;结构化合规度考察语义标记覆盖率与层级规范性;问答标准化考察 FAQ 覆盖广度与答案一致性;实体精准度考察实体属性与模型识别结果的匹配度。
由五个维度加权生成,反映官方阵地在智能体系中的综合信任水平。分数用于纵向比较自身优化前后的变化,横向比较同行业样本的相对位置。
关于分级阈值。白皮书未规定固定的分数分级线。SIO Metrics的分数意义建立在基线比较之上:同一主体优化前后的差值、以及同一行业样本内的相对位置。实验室按季度发布行业基线参考值,用于解释绝对分值的实际含义。
04 Compliance / 使用规范
同一优化周期内,样本问题集、提问模型版本、提问时间窗口必须固定并留档。更换样本需重新建立基线,不得与旧基线直接比较。
交付须附原始问答记录、截图或日志编号,使第三方可独立复算数值。仅给结论数值、不提供样本明细的报告不构成SIO验收。
不得将单一指标包装为整体结论,不得以未公开方法的自造指标替代本体系四项指标,不得承诺分数上限或排名结果。