非结构化数据：行业的隐性成本 – 如何将其转化为价值

在每个行业中，数据工程师和数据科学家都希望更好地利用隐藏在文件共享中并锁定在不同系统中的数据。他们需要这些数据来创建人工智能和分析工具的工作流程，以便他们能够更多地了解他们的市场，创造新产品和服务，或者改善业务运营和客户关系。

这个等式的另一面是，企业数据带来了巨大的风险，而企业甚至 IT 内部也没有充分理解这些风险。例如：

• 当资金需要用于创新、网络安全和卓越的客户体验时，数据存储和备份至少占大多数 IT 预算的 30%；
• 大多数非结构化数据无法用于实现商业价值；
• 很大一部分非结构化数据（高达 80%）很少使用，并且占用昂贵的存储空间；
• 许多组织没有明确的保留和删除政策，也没有定期清理数据，因为担心各部门会予以反击。仅重复数据就很容易占据平均企业数据足迹的 30% 到 40%；
• 跨混合 IT 孤岛的非托管和未知非结构化数据资产会带来额外的安全和合规风险。

以下是我们多年来与客户在非结构化数据管理策略方面的合作总结的一些行业及其数据管理要求和挑战。

医疗保健：在不切断重要数据访问权限的情况下削减成本  

医疗保健是一个数据野兽。据估计，医疗保健组织是世界上最大的数据生产者，这主要是由各种临床图像和机器数据量驱动的。成本控制一直是医疗保健领域的一项艰巨任务，随着医疗保险报销的变化，现在更是如此。由于法律和研究要求，医疗保健组织还面临严格的数据保留法规以及删除数据的困难。 

一个领先的医疗系统管理超过 16PB 的 NAS 存储，转向非结构化数据管理来分析冷数据并将其归档到 Azure Blob，从而减轻其主存储系统的压力。在不中断用户的情况下，IT 组织移动了超过 2PB 的数据，有助于推迟昂贵的硬件更新。 

对于具有监管链要求的组织（在医疗保健等受监管行业中很常见），文件位置和元数据的可见性至关重要。最后，鉴于患者数据的高度敏感性，合规性是一项始终存在的需求，因此完整的非结构化数据可视性、搜索和审计使医疗 IT 主管能够更好地控制以降低风险。

生命科学：将数据混乱转化为研究加速

生命科学组织也是最大的数据产生部门之一。他们经常处理数百万个小但高价值的文件、不可预测的数据突发以及需要长期保留而没有明确的删除策略。这些因素使 IT 基础设施规划变得复杂。

在生物制药和生物技术实验室中，科学仪器中 TIF 图像文件的激增带来了额外的挑战。在一个示例中，一家公司从本地存储的研究数据过渡到集中式 NAS 阵列。为了跟上快速增长的步伐，IT 团队将云分层部署到 Azure 并使用数据分析来查明和移动陈旧数据。这可以防止过度配置，并帮助 IT 支持无瓶颈的研究流程。 

AWS 存储解决方案专家 Anthony Fiore 表示，企业 IT 团队通常无法查看存储在某个位置的数据信息。数据管理软件提供的详细可见性令生命科学和其他领域的 IT 人员感到兴奋：“我们的客户拥有 NAS 共享，其中在单个共享中包含许多数据孤岛，很难知道他们如何按业务线对其进行分解，甚至很难知道他们是否关心这些数据。但是，一旦他们看到所有元数据，他们就会更好地了解一切的工作原理，然后他们可以在以后对其进行标记和搜索。”

金融服务：利用干净、受监管的数据消除风险并推动人工智能

金融机构在严格的监管限制（例如 SEC、FINRA、GDPR）下运营，并且往往承受数十年文件共享增长的负担。数据蔓延、分散的 IT 控制和合规性使得管理基于文件的数据变得极其复杂。此外，金融机构必须确保用于信用风险、欺诈检测或交易的人工智能模型得到适当的管理，并且没有偏见和过时的数据。人们越来越需要一种系统化的方法来理解、清理、分类数据并创建安全且受监控的人工智能数据工作流程。 

对于一家跨国保险公司来说，迁移到 Azure 不仅是为了节省成本，也是为了实现现代化、分析和 AI 准备。他们使用非结构化数据管理来减少数据中心昂贵的主存储的容量需求，将超过 600TB 的数据分层到成本较低的对象云存储。他们还使用基于云的工具来开发人工智能增强型保险产品，其中非结构化数据构成了这些预测模型的关键部分。在人工智能摄取之前对非结构化数据进行分类和分段的能力对于管理成本和提供准确的结果至关重要。

另请参阅： 摆脱实时视觉智能中的数据存储陷阱

州和地方政府：延长基础设施寿命并加强数据监管

公共部门 IT 组织往往比私营部门拥有老化的基础设施和更高比例的遗留应用程序。他们希望实现现代化，但预算通常很紧张，而且由于安全策略以及要求保留数据而没有明确删除路径的法律规定，云采用率极低。 IT 领导者需要在服务交付与严格的合规性要求之间取得平衡。 

对于国家机构来说，将文件存档到云端有助于减少对老化硬件的依赖。通过查看上次修改/访问日期，IT 人员可以仅将很少访问的数据移出高性能存储。同时，将存储和数据管理系统与安全性和合规性工具集成对于确保安全且可审核的访问至关重要。尽管数据分层的采用仍然谨慎，但许多机构正在使用报告来构建非结构化数据生命周期策略的案例，特别是围绕停滞的部门数据。

工程与建筑：通过释放隐藏的数据价值赢得更多项目

工程和设计公司生成大规模非结构化数据，尤其是来自 CAD、GIS 和 3D 建模文件的数据。这些文件很大且难以管理，尤其是跨分布式团队和从并购活动继承的遗留系统。这些公司需要保存历史项目数据以供参考、责任和重用。一家管理着超过 6PB 数据的跨国公司使用非结构化数据管理来识别三年以上的项目文件并将其移动到 Cloudian 存档中，并在 Azure 中进行备份。这可以保留活动 HPE 阵列的性能，同时保持可访问性。在一个案例中，跨文件数据存储的查询帮助他们快速找到地震多发地区项目的土壤测试数据，从而节省时间并支持关键基础设施设计。

随着他们继续整合收购，该公司使用分析来评估新继承的文件服务器。这种可见性使他们能够优先考虑要保留、迁移或归档的内容。他们的目标是最终索引所有非结构化数据，实现基于人工智能的建模并减少跨业务部门的知识孤岛。

能源：通过集中数据提高现场效率和合规性

这些公司面临着远程站点限制、可变带宽、遵守国际安全和运营法规以及支持数据驱动的远程诊断和数字孪生的日益增长的需求。

在一家公司中，由于需要淘汰数百个远程位置的边缘存储，因此决定采用非结构化数据管理。随着视频日志、图纸和海上维护记录的堆积，他们开始将冷数据归档到 Azure，以集中和控制非结构化数据。

随着退款模型的到位，文件数据洞察对于部门问责制变得至关重要。长期目标是支持调查和检查数据工作流程（例如水下 ROV 图像）进入人工智能就绪环境，以实现预测性维护和合规性。 

半导体/制造：保护知识产权，同时减少昂贵的存储空间

半导体公司必须保护高价值知识产权，管理全球分布的数据，并遵守严格的出口管制和安全要求，同时确保工程师能够高性能地访问活动数据集。

一家全球半导体制造商使用高度专业化的扫描设备来生成大量专有图像数据。由于 97% 的数据仍存储在本地，他们需要一种有效的方法来归档旧扫描数据，同时又不影响 IP 保护或检索性能。通过将非结构化数据管理与 Cloudian S3 存储相结合，他们实施了冷数据策略，将 12 个月内未访问的任何文件移出主服务器。通过符号链接保留和元数据跟踪，该公司确保遵守内部 IP 处理协议并减少对昂贵的主 NAS 的依赖。

结论：将非结构化数据转变为战略业务资产

在各个行业中，非结构化数据管理不再只是一种节省成本的策略，而是一种战略推动因素。无论是支持保险业的人工智能工作流程、维护医疗保健业的监管合规性，还是简化制造业的基础设施，组织都认识到需要将数据治理与灵活的数据访问和移动相结合。