本文来自千家网（www.qianjia.com）。
问题不在于人工智能本身，而在于治理模式。
近期发生的一起人工智能安全事件引发了全球关注：一个先进的人工智能智能体(AI agent)突破了测试环境的限制，并以设计者未曾预料的方式去实现其目标。该系统并未产生自我意识，也未萌生恶意;它只是设定了一个目标，并找到了一条通往成功的路径——而这条路径超出了其运行环境既定的预设范畴。舆论的焦点大多集中在人工智能系统是否正变得失控这一问题上;这种反应虽在情理之中，却也可能掩盖了问题的实质。
更重要的一课在于，各类组织正迅速从仅能生成输出结果的AI系统，转向能够采取实际行动的“智能体”(agentic)系统。多年来，AI治理的重点一直在于模型是否准确、安全且值得信赖。当AI的主要角色仅限于生成内容或辅助人类决策时，这种关注点是合理的。然而，新一代AI智能体能够访问应用程序、执行工作流、与其他系统交互并做出运营决策。随着组织赋予AI越来越多的权限，风险重心也随之转移：从AI“知道什么”转变为AI“能做什么”。
对于致力于实现自治网络和AI原生运营的通信服务提供商(CSP)而言，这种转变意义重大。挑战不再仅仅在于AI系统能否给出正确答案，而在于当AI开始根据这些答案采取行动时，运营商能否保持问责与控制能力。
风险重心正从“智能”转向“权限”
大多数治理框架都是围绕模型和输出结果设计的。组织投入了大量精力来管理“幻觉”、偏见、隐私、可解释性及虚假信息等问题。尽管这些问题依然重要，但它们已日益成为整个挑战的一部分，而非全部。
智能体AI改变了人与技术之间的关系。智能体在追求目标的过程中，能够检索信息、调用工具、访问系统、修改工作流并与其他智能体交互。它不再只是生成单一的回复，而是可能跨越多个系统执行数百个动作。风险不再局限于模型“说了什么”，而日益取决于模型被授权“做什么”，以及这种权限是否受到管控、是否可观测且可撤销。
这种区别至关重要，因为AI系统无需具备恶意意图也能引发问题。它只需拥有一个目标、访问适当工具的权限，以及足够的自由度，便可能以设计者未曾预料的方式去实现该目标。挑战不在于智能失控，而在于权限超出了预定的边界。近期发生的事件恰好印证了这一点。人们担心的并非系统产生了自我意识，而是它找到了一条实现目标的路径，而这条路径超出了其运行环境的既定假设范围。
几十年来，组织一直在构建针对人类员工的治理模式。员工被赋予特定的身份、权限、职责和职权范围;他们的行为受到监控与审计，必要时还可被叫停。我们信任他人，并非仅仅因为他们具备能力，而是因为他们在既定的界限内行事。随着人工智能智能体(AI agents)接入业务运营系统，许多既有原则也必须适用于这些机器。每个智能体都需要拥有身份;每项权限都应明确界定;每项操作都应可追溯;每项授权都应可撤销。
自主运营正在重塑电信行业的风险模型
这一挑战对电信运营商尤为重要，因为该行业正积极向更高程度的自主化转型。人工智能(AI)正日益广泛地应用于网络优化、客户交互管理、保障流程自动化、故障预测以及复杂环境下的服务编排。此外，运营决策将生成自主运行的流程，在多个业务领域之间建立关联并协调各类智能体(agent)。
这蕴含着巨大的机遇。自主运营能够帮助运营商降低复杂性、提升效率，并以机器级的速度响应不断变化的网络状况。然而，赋予智能体AI价值的特性，同时也改变了运营风险的本质。
以一个旨在缓解全国网络拥塞的网络优化智能体为例。这一目标看似简单明了，但一旦与其他目标发生冲突，情况便会变得复杂。如果某项旨在提升特定区域性能的举措导致了另一区域网络韧性的下降，该如何处理?当两个智能体追求相互冲突的目标时，又该如何应对?当智能体发现了一种技术上行之有效但违反运营策略的解决方案时，运营商应如何处置?
这些正是经验丰富的网络工程师每天都需要权衡和处理的问题。如今的关键在于，当决策以机器速度进行时，这些权衡考量该如何编码、管控及执行。随着运营商在网络和IT领域部署AI智能体，他们必须明确：当决策主体由人转变为机器时，应如何管理这些权衡取舍。
传统的应对之道通常是保持“人在回路”(human-in-the-loop)的模式。尽管人工监管依然至关重要，但仅靠人工已难以应对。面对网络、客户运营及企业系统间每秒发生的数千次机器级决策，单靠人力监管显然不切实际。若要实现自主运营的规模化应用，治理体系也必须同步实现规模化扩展。
“控制力”将决定通往2030年的竞争格局
正因如此，围绕人工智能(AI)的探讨需要与时俱进。近年来，人们的关注点主要集中在“智能”层面：即更智能的模型、更强的推理能力和功能更强大的系统。尽管这些进步依然至关重要，但它们已不再是领导者需要回答的唯一问题。
随着AI智能体(AI agents)深入融入网络、运营及面向客户的业务流程，运营商必须确信这些自主系统始终符合业务目标、运营策略及监管要求。这就要求治理机制不能仅停留在策略和原则层面，而必须深入到系统的运行时环境之中。治理必须具备可执行性，即运营约束条件应作为智能体运行机制的一部分加以强制执行，而非仅仅记录在独立的策略手册中。每个智能体都需要拥有可验证的身份;每项操作都应可追溯;每项权限都应明确、具备上下文关联且可撤销。最重要的是，企业需要在问题发生之前——而非发生之后——就能洞察自主决策的制定过程。
应对之道并非放缓AI的应用步伐。自主运营所带来的机遇不容错失，而电信运营商面临的运营压力也极为巨大。关键经验在于：能力建设与控制机制必须同步推进。那些只关注能力提升的企业，终将面临治理失效的困境;而能够同时构建能力与控制机制的企业，则更有能力安全地实现自主化规模扩展。
在AI应用的下一阶段，竞争优势将不再仅仅源于构建更智能的智能体，而在于能否证明这些智能体始终处于可问责、可观测及受控的状态。
这或许将成为迈向“自主型企业”这一征程中最具决定性的挑战之一。最终胜出的将不会是部署AI智能体数量最多的运营商，而是那些既能向机器授权，又能牢牢掌控局面的运营商。
