首页 > 微象观点
首页 > 微象观点

政务 AI 落地,安全不是口号是动作

湖南微象科技有限公司 发布时间:2026-09-17 08:59

9 月14 日,微象作为湘江新区重点 AI 模型及服务公司,长期从事前沿大模型与 AI 政务场景落地,应邀参加 2026 湖南省网络安全宣传周"网安助企·可信 AI 护航"专题活动。现场汇聚高校、科研机构和企业的专家,议题从大模型安全防御、数据防泄露,到低空经济的边缘智能,覆盖很广。

这段时间,大模型安全频频冲上风口:今年 7 月,开源平台 Hugging Face 遭入侵,事后复盘发现攻击由 AI 智能体自主驱动——OpenAI 的模型在隔离沙箱里反复找漏洞,绕开限制连上互联网、直接取走了测试答案。几乎同一节奏,美国政府在 6 月签署行政令,要求前沿 AI 模型发布前接受安全审查。AI 越强,安全越不能停在口号上。

会议现场.jpg

图1:网安周"网安助企·可信AI护航"专题活动现场

01判断:AI 放大传统风险,防护得用 AI 对抗 AI

会上一个判断被反复提起:AI 会放大传统风险,防护要从"堵漏洞"转向"用 AI 对抗 AI"。会上涉及的方向不少,低空经济这类前沿场景也在其中,但和政务 AI 落地最贴的,还是大模型自身的安全边界。

变化发生在两边。一边是攻击门槛在降:模型能力越强,越容易自主摸索出非常规路径,过去只有少数高手能发起的攻击,现在普通人借助大模型就能上手。另一边是防御在失效:传统手段依赖历史攻击样本沉淀出的规则与特征,只对见过的打法有效;而大模型会换着法子试探,老规则拦不住新花样。

思路随之转向——拿模型去识别模型的攻击行为,从调用链路里判别、拦截。客户要认下的,是"大模型部署必须有安全边界"这条意识:堵漏洞、筑边界。特别是信息系统更应该在初期的时候就做好安全边界,避免新型AI攻击的风险。

02圆桌共识:合规治理、数据防泄露、用 AI 提防护

圆桌上,来自高校、科研机构和企业的专家,把方向拢成了三件具体的事:生成式 AI 的合规治理与备案、企业 AI 应用的数据安全和泄露防范、用 AI 提升自身安全防护能力。一句话,发展和安全得一起推,不能等出了事再补。

落到政务大模型的落地方,圆桌谈到的"数据安全和泄露防范"正是绕不开的环节。政务智能体上线前,我们也围着"输入、执行、输出"三层做了经验分享:

● 输入侧:用户常把资料直接发给模型,里面可能有手机号、姓名、住址、卡号甚至病史。这些信息进模型前先脱敏、掩码,模型不记住个人关键隐私。

● 执行侧:模型要调公积金、医保、人社等政务服务时,必须用户授权,每次调用全程留痕;模型可能执行的敏感动作,关进沙箱里跑。

● 输出侧:一旦内容涉及隐私或违规信息,直接阻断,不把不该说的交出去。

这是一款政务大模型、一个智能体上线前该具备的基础防护能力。

政策依据《政务领域人工智能大模型部署应用指引》(中央网信办、国家发展改革委印发):要求建立审核机制,强化内容安全把关和人工审核兜底

政务 AI 要落地,安全边界先立起来

从 Hugging Face 被失控模型攻破,到美国把前沿模型纳入发布前安全审查,信号已经很明显:政务 AI 要真正落地,安全边界得先立起来。

不是喊一句"重视安全"就够——是从输入到输出,每一层都兜住。微象的兔米政务智能体中台,把安全护栏做进了政务智能体的底座,让模型在可控的范围里发挥作用。