释放生产力：UI自动化与LLM自动化强强联合

近期多家领先AI公司推出新能力，利用强大基础大语言模型（LLM）快速自动化人们在屏幕上执行的许多操作。Anthropic Computer Use、Amazon Q Business、即将推出的OpenAI "Operator"能快速理解屏幕、操作所用软件、模拟用户期望动作——无需编码或模型训练。

基于LLM的自动化是自动化新方式。与依赖训练模型和基于规则方法提取信息、与屏幕、系统、软件交互的UI自动化显著不同。因基于LLM自动化使用简单得多，有业内观察者认为它可能取代UI自动化。

我们对这些新技术进行广泛评估，对其延伸自动化影响至企业和用户的潜力感到振奋。事实上，我们正将它们最佳部分集成进平台。因它们让AI像人类一样与软件交互，我们相信能真正革新人屏交互。它们有潜力将个人生产力推向新高度，让几乎所有使用屏幕软件的人成为公民开发者，自动化繁琐重复任务。

然而，基于LLM自动化永远不会在每个流程完全取代UI自动化。例如，涉及访问多系统、处理敏感或专有数据的高容量、任务关键型自动化流程，UI自动化是远优选择。此类流程遍布企业——总体上更适合UI自动化处理。

为理解为何，让我们快速深入了解两种方法如何工作。

UI自动化与基于LLM自动化工作原理不同——这至关重要

基于LLM方法典型采用多模态LLM（理解图片、文字、音频等）“读取”屏幕并行动。方法依赖LLM理解屏幕信息（数据、字段等）托管于云端。模型预测人类会采取的动作并发送指令执行动作（复制粘贴数据等）。

相反，UI自动化中机器人遵循预开发指令集完成既定任务。可在客户/用户环境内运行。数据仅能本地解读，机器人遵循清晰确定性指令集。近期AI驱动进步显著提升稳定性和可靠性，解决UI自动化初期脆弱易断问题。

UI自动化的显著优势

两种方法差异在自动化需要高安全性和准确性的复杂、高容量、多系统流程时起决定性作用。对这类工作流，UI自动化是更好选择。原因如下：

准确性与完整性：订单到现金等任务关键流程依赖数据从一处到另处的准确提取、移动、过账，以及围绕这些活动的文档和沟通。此领域，基于LLM方法无法匹敌UI自动化表现。

例如，UiPath数据分析显示96.5%客户自动化用UI自动化方法成功运行。公开AI自动化数据表明其可靠性显著更低。例如，Anthropic在评估开发者让模型使用计算机的测试中报告14.9%准确率——远低于人类70-75%技能水平。准确性虽随时间提升，但距与UI自动化持平仍有漫漫长途。

其他问题也存在。所有LLM易产生幻觉、采取不可预测行动。例如，Anthropic研究者记录实例：其LLM突然离题——点击错误屏幕或莫名下载国家公园照片。UI自动化确定性机器人根本无此类失控能力。

还有完整性问题。截取可见屏幕图片方法可能遗漏超出边距的下拉列表数据。可能忽略截图时未发生的短时动作。UI自动化无这些问题。

安全与治理：确保隐私、阻断恶意入侵、保持专有数据在防火墙内，UI自动化是显著更低风险选择。例如，UI自动化仅收集所需数据。对比基于LLM自动化，UI自动化无整屏截图批量提取，避免无意包含敏感数据。且执行UI自动化的UiPath软件机器人可授权凭证、控制敏感数据访问。基于LLM自动化目前无此级别安全性。

对我们而言，非二选一——而是双管齐下

展望未来，基于LLM自动化兴起对特定流程和活动代表巨大飞跃。世界接近实现将即时、无代码、提示驱动自动化置于几乎所有使用屏幕软件者手中梦想——开启前所未见的个人生产力和绩效新时代。

我们已采取步骤将此类能力引入UiPath Platform™。特别地，很快将其纳入Autopilot™ for Everyone等终端用户体验——并为公民开发者和自动化专家提供基于LLM自动化作为额外选项。

我们知道企业想利用这些新能力——但要安全、全控制地利用。因此我们持续扩展平台能力，提供企业所需编排、管理、治理，无论采用哪个模型或模型组合。

但即使扩展基于LLM自动化功能和支持，我们继续推进UI自动化能力——因为UI自动化将继续是广泛关键企业流程的最佳解决方案。我们将继续利用新兴AI进步让UI自动化更智能、在无大量编码训练下更善理解行动、更具韧性。典型案例：新UiPath Healing Agent（现公开预览），能自我修复失败自动化。

简而言之，UiPath相信LLM驱动自动化各种形式的未来，包含UI和基于LLM两种路径。各有独特优势；各是特定自动化机会集合的更优选择。我们目标是通过企业平台提供两者——以及未来可能出现的任何新AI方法——并能编排、治理、管理当前和未来所有可用自动化选项。