在信息量爆炸的时代,大数据技术的迭代速度加快,推动了大数据的快速发展。这种发展不仅改变了我们的生活方式和商业模式,还对各行各业产生了深远的影响。随着技术的不断进步,我们将看到更多的数据被收集、分析和利用,从而为决策提供更准确的依据,未来,大数据将继续发展,并引领新的趋势。
随着“数据资产是企业的核心资产”的理念深入人心,企业对数据管理有了更清晰的定义。数据管理也越来越被视为企业核心竞争力、可持续发展、战略规划和有效利用数据资产的关键。数据资产管理的效率与主营业务收入、销售收入增长率之间存在显著正相关关系。
大数据不再是一个巨大的依附在计算机网络上的数据,而是一个由许多活跃组件和多个参与者元素构成的生态系统。这个生态系统包括门户服务提供商、数据业务使能者、数据业务提供商、联络点服务和数据业务零售商等一系列参与者。它们共同构建了终端设备提供商、基础设施提供商、网络服务提供商和网络接口。现在,这个数据生态系统的基本雏形已经形成,未来的发展将趋向于细分体系以外的角色,也就是市场细分。这意味着商业模式的创新需要进行体制机制的调整。此外,系统结构的调整也会改变竞争环境,进一步增加数据生态系统的复杂性。
未来企业数据如果不从源头上进行保护,那么数据泄露几乎成为必然。可以说,未来每一家世界500强企业,无论是否采取了安全防范措施,都将面临数据攻击,所有企业也需重新审视自身对数据安全的定义,重视保护自身和客户数据,需要在创建时保护所有数据,而不是在数据存储的最终阶段。
云计算为大数据提供了弹性的、可扩展的基础设施,是生成大数据的平台之一。近年来,大数据技术开始与云计算技术紧密结合,预计未来二者的关系将更加紧密。此外,物联网、移动互联网等新兴计算形态也将推动大数据革命,让大数据营销发挥更大影响力。
从单域单模态分析到多域多模态融合,实现广谱关联计算
在传统的大数据分析技术中,通常只关注单一来源和单一模态的数据。然而,在实际应用中,我们常常需要对来自不同来源和不同模态(如文本、图像、音视频等)的数据进行联合分析,以实现不同来源和不同模态数据之间的信息互补。此外,许多领域的大数据具有重要的时空属性,但目前对这类信息的利用还不够充分。因此,研究能够跨模态关联和跨时空关联的广谱关联技术成为大数据分析处理的一个重要趋势。
依附于具体应用的数据在数据库技术的出现后实现了第一次分离,数据存储在数据库中,不再依赖具体的应用而存在。这种趋势要求将数据与应用进一步分离,使数据以独立的形式存在于数据库中,并通过数据服务向各种业务场景提供服务。这种数据的要素化需求推动了数据与应用的解耦,使数据成为独立的资源,能够更灵活地为不同的业务场景提供支持。
处理系统体系结构正处于一个创新的黄金时期,各种新型加速器(如GPU、TPU、APU等)针对不同的数据处理特征不断涌现,存储器件也在快速发展,高速SSD、新型非易失内存以及新型计算网络等成为大数据处理系统中重要的硬件配置。计算与存储的融合趋势也变得明显。为了充分发挥数据管理能力,大数据管理系统需要在存储、网络、计算等硬件上最大化挖掘新型硬件的处理能力。因此,根据不同的数据处理需求,配置不同的计算与存储硬件已成为大数据处理系统的主流架构。此外,数据驱动的计算架构也在快速发展,从控制流到数据流再到系统设计,这种转变成为大数据处理系统从微观到宏观的重要体系结构设计理念。
存算一体类体系结构技术的快速发展,使得新型存储设备如SSD等功能更加丰富。同时,分布式计算系统的边缘能力也在迅速发展。这三种体系结构技术的发展为大数据近数处理提供了良好的发展机会。近数处理体现在以下几个方面:首先是“存储上移”,即将存储设备如GPU、FPGA等集成HBM,提高数据处理效率。其次是“算力下沉”,即将处理能力集成到DRAM内存或SSD存储设备中,提高计算性能。最后是“分布扩展”,即在云、边、端等分布式环境中处理数据,减轻数据处理中心的压力。