认知分析详解:通俗易懂的完整指南
每天,世界产生超过4.02亿TB数据。全球数据产生、采集、消费总量快速增长,预计2030年将超6120亿TB。
数据源无处不在:采购交易记录、智能手机GPS信号、气候采集传感器、社交媒体内容、卫星拍摄图像视频等。
为理解这些数据并发掘隐藏模式与洞察,高效分析至关重要。如今几乎所有公司都使用数据分析来降本、循证决策、开发营销新产品服务、发掘新机遇。
多年来,数据分析从描述性(过去发生什么)演进到诊断性(为什么发生)、预测性(未来最可能发生什么)、规范性(可采取何种行动影响未来结果)。
下一重大范式转移极大概率指向认知分析,它将利用高性能处理器与AI算法,从海量数据中发掘复杂隐藏模式。
下文将讲解认知分析为何重要、如何工作、未来应用与市场规模、哪些公司重注认知分析工具。先从基础问题入手。
什么是认知分析?
认知分析是一种智能技术,涵盖多种分析方法以检视结构化与非结构化数据。它能搜索复杂数据集,找到针对所提问题合理的答案。
可将认知分析视为具备人类类智能的系统。它不只是扫描数据,而是理解语境、解读语句语气、识别图像视频中特定物体。
认知分析常利用人工智能、机器学习、神经网络、语义学,发掘常规分析无法捕捉的复杂模式与洞察。它通过持续从数据与人机交互中学习实现自我进化。意味着喂入数据越多,分析越智能。
多数企业用认知分析追踪客户行为模式、识别潜在机遇,从而预估未来结果、做数据驱动决策提升绩效。
认知分析部分领域与预测性分析重叠,主要涉及用商业智能数据预测未来事件与趋势。
注:Cognitive Analytics也是一家私营公司名称,亦为商业服务注册商标。但市场分析师提及大数据与商业智能时,通常指代该技术术语。
如何工作?
认知分析是数据前置方法,始于数据、终于数据。它用先进技术处理全量数据(所有类型、任意规模),揭示前所未有的意外洞察。认知分析系统虽可能用各类算法提取可执行洞察,但基本架构一致,均遵循基础流程序列:
1. 搜索与收集数据
搜索整个“知识库”定位实时数据。数据可直接来自传感器、IoT设备、机器人、设备,再整合融合既有或历史数据(如过往季度)。
部分认知分析系统通过直观仪表盘、设备UI等形式展示数据。易懂的数据可视化工具能显著缩短发现共性模式与实施修复的时间。
2. 分析数据
下一步细致分析文本、音频、视频以理解自然语言与人类交互。认知分析融合AI、机器学习、神经网络、语义学技术。
核心依赖深度学习神经网络(机器学习子集)。神经网络模仿人脑运作:含输入层、输出层、中间隐藏层,通过节点连接形成“网络”。
这些互联节点功能类似人脑神经元。读取所有输入数据,用算法识别复杂模式。网络可聚类分类原始数据、发现关联、随时间持续学习改进。
3. 生成并评估基于证据的假设
识别出的模式与洞察被评估为是否基于证据的假设。若有确凿证据支持,系统评估其潜在价值,帮助识别未来潜在威胁与改进机遇。
4. 从用户选择与响应中适应与学习
因使用AI,认知分析可根据用户交互调整行为。例如某人持续寻求特定类型信息,系统逐渐学会主动提供同类信息,避免浪费算力资源。
收益
认知分析用于企业与组织,填补海量数据与更好决策需求间的鸿沟。详尽业务洞察助力公司改进产品、提供更个性化客户服务、洞察竞争对手表现。
对大型企业,认知分析在三大领域被证明极为有效:
1. 客户互动
难以企及的客户行为360度全景,让公司创造无缝、无摩擦客户体验。也能深度理解用户购买偏好、预判需求、实现更精准用户分群。
2. 生产力与效率
更快优先处理与解决问题、从用户对话提取关键信息、自动化常见请求处理、削减低优先级资源支出、赋能团队快速动态响应。因认知分析融合历史与当前数据持续改进结果,能快速适应外部变化与市场趋势。
3. 业务增长
认知分析助力企业拓展新市场、发掘特定区域新机遇、挖掘未开发数据源、创新产品服务。也让分析师与市场研究者更易释放大数据价值、解决业务场域问题。
早期采纳
过去十年,多家科技巨头与初创公司在新兴认知技术领域投入数亿资金。Google、Microsoft、IBM、Amazon、Cisco、HPE、SparkCognition、DataRobot位列顶级贡献者。
IBM研究显示,早期采纳者已从认知举措中获正向成果——从更好客户互动到产品创新与业务增长。
早期采纳者利用各类认知能力,从机器学习、自然语言处理到释放结构化与非结构化不同数据源价值。有公司自建平台,也有利用API部署认知技术入系统。
IBM调研超600家早期采纳者。报告显示认知能力在公司增长中扮演重要角色。约65%早期采纳者认为认知技术对业务战略与成功至关重要,58%称其为公司数字化转型不可或缺部分。
分析新纪元
迈向万物互联世界,企业将越来越依赖认知分析及相关工具以增长、适应不断变化的客户需求。
更具体地,认知工具帮助公司真正理解客户行为模式、识别客户不满根因、寻找创新方式提升客户体验。认知分析也适配优化运营成本、提升客户留存、大幅缩短解决时长。
认知分析真实案例
认知分析现应用于几乎所有行业,识别模式、潜在威胁与改进机遇。例如:
银行与金融
认知计算可根本变革银行金融业。区别于传统系统基于历史行为建模、一视同仁对待客户,认知系统基于年龄、收入、交易对个体做更精准及时分析。
认知分析助力银行为每位客户定制产品服务、智能锁定高净值人群、提供更优投资方案、应用专业知识快速解决问题。
总体可应用三大领域:
- 客户服务:认知系统理解问题本质,能直接给出准确方案而非转接部门,节省各方时间。
- 决策与咨询:增强贷款承销流程,需深度理解业务以做数据驱动决策。
- 投资咨询:认知系统让银行与非银金融机构快速筛选投资来源,探索最新市场趋势、评估风险、提供最新建议。
网络安全
AI与深度神经网络让认知系统更易持续从多源提取数据、通过高级分析获取知识。神经网络每次迭代自我改进,使系统学会预测威胁、创建主动防御方案。
面对日增网络攻击与网安专才短缺,认知分析大显身手。能处理分析海量结构化与非结构化数据(识别各类威胁与风险),这是传统分析系统近乎不可能完成的任务。
医疗健康
医疗相关信息(放射影像、化验结果、病理报告、电子病历、临床研究等)因碎片化难以分析共享。认知系统派上用场:智能快速解析多类信息,辅助医疗专业人员。
认知分析提供的洞察,让医疗提供者更易理解个体患者健康状况、做知情决策、提供更个性化照护。
当前,认知计算已用于全球多家肿瘤中心。例如MD Anderson癌症中心、Memorial Sloan Kettering癌症中心,认知分析助力医生分析PB级医疗数据(含临床研究、试验结果、最佳实践指南),支持诊断与治疗决策。
电力与能源
油气行业持续面临原油及副产品勘探、炼制、分销挑战。认知分析助力工程师与技术专家做关键决策:勘探位置、资源分配、产品优先级、现有设施效率提升。
认知平台已被美国多家公用事业公司采用,含Mega Energy、Arizona Public Service Electric、Gexa Energy、Portland General Electric、Avangrid。系统提供从负荷预测到费率结构与个体成本模型映射等多重效益。
物流与零售
认知分析在物流供应链每阶段均有用武之地,从仓储管理自动化到包装托盘化。分析内部(库存、POS)与外部(市场趋势、天气)生态数据,旨在提升供应链效率、降本、提供有价值洞察助企业快速响应动态变化场景。
认知分析在零售业也扮演关键角色。可集成电商平台提取客户与购买行为数据。线下门店层面,认知系统助力零售商优化库存、以吸引价格提供更个性化产品。
教育与学习
认知计算可为学生与教育者带来更好成果。能识别表现不佳学校与教师、预测学生特定学科表现、提供个性化学习材料。
2003年,佛罗里达州Miami-Dade县公立学校引入Cognitive Tutor软件,在学生解题过程中提供反馈。证实该软件远比单一传统课程有效。
知名认知分析工具
了解实际应用后,探索各领域使用的认知工具类型。
1. OpenSMILE
OpenSMILE(开源大空间提取语音音乐解读)自动从音频信号提取特征并分类语音与音乐信号。广泛用于语音识别、情绪识别、说话人识别、和弦检测、节拍追踪。也可检测说话人状态如醉酒、抑郁、声带病理障碍。
主体用C++编写,跨平台流畅运行,含macOS、iOS、Windows、Android、Linux、树莓派等嵌入式平台。
2. IBM Watson
IBM Watson运用100+种技术分析自然语言、寻找相关来源、生成假设、评估证据、排序最佳答案。本质上将高级NLP、高级推理、知识表示、机器学习算法应用于开放域问答领域。
Watson让企业获得完整AI能力组合,无论是检测新兴趋势工具还是为客户开发应用。节省时间、自动化更多流程,让员工聚焦增长与新机遇。
3. NuPIC
NuPIC(Numenta智能计算平台)是实现HTM(层级时间记忆)学习算法的开源AI平台。适配广泛问题,尤其擅长异常检测与流式数据源预测。
4. Apixio Iris
美国每年产生超13亿临床护理文档;约80%为非结构化、难访问数据。Iris应运而生。这是个认知计算平台,从海量临床数据与健康系统其他信息中提取高价值洞察。
Iris分析引擎利用机器学习与NLP技术生成患者画像、评估风险。可聚类相似患者与病例,提供循证患者数据。随数据随时间变化,平台持续监测患者信息,告知医疗专业人员什么有效、什么无效。
5. Enterra Solutions Aila
Aila融合高等数学与AI,以类人方式推理解决问题。能分析公司内外部数据、推导推论、按需产出高价值洞察。区别于传统商业分析,Aila能驾驭高容量、多变量的大数据世界。
能回答棘手问题——
- 明年是否有机会在市场细分间转移支出以提升ROI?
- 客户服务水平目标是否面临风险?若是,如何缓解?
6. TCS Ignio Cheetah
Ignio Cheetah是面向IT运维与工作负载管理的认知自动化产品套件。能即时检测预测需关注的异常IT状况、减少误报、聚合相似或关联事件、按业务影响优先级排序告警。因系统从自身经验学习,随时间变得更强。
Ignio已被多家大型企业采用,含财富500强与全球2000强创新领军企业。平台为50+客户自主管理超150万技术资源。
7. Cortex Certifai
Cortex Certifai确保机器学习模型无算法偏见,减少歪曲决策与推理。生成综合信任评分“AI信任指数”,按数据质量、性能、鲁棒性、公平性、可解释性、合规性度量自动化模型。
该信任指数帮助企业评估性能与风险的权衡与常见张力。利益相关者可深入每个评估参数找到潜在改进。可应用于任何黑箱模型,含统计模型、预测模型、机器学习模型。
8. SparkCognition EPP
SparkCognition EPP用专有AI与机器学习算法防范前所未见的网络攻击干扰业务运营,识别PDF、文档、直达内存PowerShell攻击的钓鱼威胁。轻量认知代理学习公司所有端点典型行为模式,向安全团队预警潜在攻击。
系统良好融入现有安全架构,在macOS、Linux、Windows上为多达10万受管端点提供无缝后台运行。已证明优于传统与下一代端点防护厂商。
最新研究
认知计算过去十年吸引大量数据科学家与研究者。近期研究包括:
检测认知情感冲突的心理生理参数
俄罗斯研究者开发平台,通过视频通讯工具(如Skype)远程诊断参数,客观展示对话中认知情感冲突的存在。平台用神经网络自动标注视频数据中人群情绪反应。
基于ACT-R的计算认知模型
心理旋转能力是人类认知关键空间推理技能,但极少知其在玩电子游戏时如何运作。意大利研究者用基于ACT-R的认知模型建模心理旋转,分析俄罗斯方块游戏动态中该能力是否被激活及条件。结果显示游戏动态中心理旋转激活的显著洞察。
用于异常检测的认知分析
希腊最大研究中心之一Hellas研究技术中心科学家开发认知分析平台,能处理、分析、利用资源丰富的机器数据,支撑制造业增长需求。能监控复杂异常、处理不可预见条件。其UI采用高级可视化技术有效呈现信息。
认知分析的未来?
据Research and Markets报告,认知分析市场规模将达408亿美元(2030年),复合年增长率(CAGR)38%。
中国预计2030年市场规模达60亿美元。其他重要市场包括日本、加拿大、德国,预测期内增速分别为33%、32%、25%。
主要增长驱动力包括大数据与云计算技术采纳、复杂分析技术引入,推动对高效认知分析解决方案的需求。
阅读:人工智能vs机器学习vs深度学习 | 差异解析
常见问题
分析类型有几种?
现代数据分析可分五类:
- 描述性分析:最简单形式,描述发生了什么、正在发生什么。
- 诊断性分析:更进一步回答为什么发生。比较共存趋势、在可能时确定变量间关系。
- 预测性分析:预测未来趋势,回答近期可能发生什么。分析过去与当前数据预测未来趋势。
- 规范性分析:综合多因素给出可执行建议。帮助用户做数据驱动决策。
- 认知分析:融合统计学、AI、机器学习力量处理海量数据并理解语境。呈现挖掘未开发数据源、发现复杂模式、提供个性化服务的新机遇。
为什么市场分析师使用认知分析?
随着每秒生成数据的设备越来越多,跨服务器乃至更远收集、处理、分析所有存储信息变得愈发挑战。
认知分析应对这些挑战:利用高级统计与AI模型在海量多元数据中识别隐藏模式。区别于常规分析从特定领域结构化数据提取信息,认知分析采取更宽泛灵活的数据发现路径。其运作方式类人,能解读数据、理解语境、发掘模式与趋势。
认知计算与AI有何不同?
人工智能由算法训练产生准确结果。这些算法从持续变化的数据与自我修正方法学习,做智能决策。
认知计算模仿人类思维、适应人类推理。旨在以类人方式解决复杂问题。反之,AI模型聚焦寻找更新、可能更高效的解题路径,有时甚至超越人类方法。
延伸阅读:
- 全球13大顶尖数据科学公司
- 13佳预测分析软件
- 12佳机器学习工具
工业技术