ZD至顶网软件频道消息:Wikibon最近完成了2017年大数据全球预测,该报告的作者是Wikibon分析师George Gilbert,以及Wikibon的Ralph Finos和Peter Burris,涉及到大数据的市场规模、增长和趋势等。
今年,我们把重点放在构建实现大数据成果所必需的战略业务能力来说最重要的大数据软件技术上。下面是该报告主要的一些研究发现:
- 2016年,全球大数据硬件、软件和服务整体市场增长22%达到281亿美元,让大数据成为技术领域更具吸引力的领域之一。
- 我们的模型显示,到2027年期间,在大数据硬件、软件和服务上的整体开支的复合年增长率为12%,将达到大约970亿美元,而这主要是受到了大数据软件的推动。
- 不过,即使大数据仍然是企业关注热点,但是严重的问题也使得大数据市场出现了一些黯淡之处。特别是,大数据项目的故障率很高,甚至是信息技术标准。
- 大数据市场正在快速变革,以应对项目故障率较高的问题。正如我们所预测的,对基础设施的关注正在转移到对使用实例、应用、利用大数据能力创建可持续业务价值上来。
- 为了避免出现基础设施问题,企业对于把云用于大数据应用特别感兴趣。
大数据软件细分市场快速增长
与很多技术领域一样,大数据领域的很多项目首先是把焦点集中在了硬件和基础设施软件上。在大数据领域,获取、保存和处理大量大数据有很多需要的技术。因此,用户提到了大规模处理较高数据到达率而构建“数据湖”能力。这种能力仍然很重要,但是构建集群、数据库和数据迁移工具是不够的。如今,企业领导者重新将注意力集中在了构建大数据软件和系统的工具和业务能力上。下面就让我们来快速浏览一下每个大数据软件细分的趋势:
- 应用数据库增加了分析数据库的功能。越来越多的数据分析会实时地给人类和机器发送通知信息。2016年这个细分领域的总规模为26亿美元,到2020年增幅放缓到30%达到77亿美元。
- 分析数据库不止是数据湖。作为数据湖的主干,MPP SQL数据库将继续变革,最终成为大规模、高级、离线分析的平台。2016年这个细分领域的总体规模为25亿美元,增幅要慢于总体水平,到2020年达到38亿美元。
- 在线选择的增长是以大笔基础设施开支为代价的。这个部分包括像Spark、Splunk和AWS EMR这样的产品,2016年的总体规模为17亿美元。到2020年期间增幅抢眼,到2020年规模将达到61亿美元。
- 物联网应用将提升持续处理基础设施。这个细分领域将是新兴的、基于微服务的大数据应用的基础,包括大多数智能交互系统,在2016年的总体规模为2亿美元,但是到2020年将增长到18亿美元。
- 数据科学工具链正在演变为带有API的模型。今天,数据科学工具链要求有专门的专家来架构、管理和操作。但是,复杂的数据科学工具链——包括针对机器学习的——都将转变为实时的、预培训的模型,可通过开发者应用编程接口进行访问。这个细分领域的总体规模是2亿美元,到2020将达到18亿美元。
- 机器学习应用现在大多都是定制的。除了出现很多新的专业公司之外,这些应用还将在现有的企业应用中更为普及。2016年这个市场总体规模为9亿美元,到2020年它将赶超其他所有大数据细分市场,规模达到63亿美元。
行动项目:企业正在迅速积累大数据经验,但是还不够快,无法满足商业领袖的想象力和需求。2017年及之后,CIO们需要专注于战略业务能力,以更快速地创建、具有成本效益地管理、成功地集成高级分析系统。
好文章,需要你的鼓励
前FBI网络安全部门副助理局长、现Halcyon勒索软件研究中心高级副总裁辛西娅·凯泽指出,勒索软件已成为当今最大网络威胁。研究发现,与伊朗政府相关的Pay2Key组织仅用3小时即完成加密攻击,而Akira组织从入侵到加密全程不超过4小时。更值得警惕的是,借助AI工具的"业余黑客"正大幅提升攻击频率,尽管技术粗糙,但海量低质攻击可能掩盖更隐蔽的高级威胁,给企业安全防御带来严峻挑战。
Alaya Studio联合多所顶级大学开发的"生成式世界渲染器"实现了虚拟游戏画面与真实视频间的双向转换。该系统通过从《赛博朋克2077》和《黑神话:悟空》收集400万帧高质量数据,训练AI理解材质、光照等视觉要素。创新的ReShade数据采集技术和VLM评估方法解决了传统合成数据的局限性,在材质识别和场景编辑方面取得突破性进展,为游戏开发、影视制作和创意设计提供了强大工具。
Nvidia收购Slurm工作负载管理器开发商SchedMD后,业界担忧这家芯片巨头可能借此优待自家硬件,削弱AMD、Intel等竞争对手的性能表现。Slurm运行于全球约60%的超级计算机上,Meta、Mistral、Anthropic等公司均在使用。分析师指出,尽管Nvidia承诺保持开源中立,但其对开发路线图的掌控仍构成"战略依赖风险"。专家建议企业多元化采购GPU,并在合同中争取硬件平等支持条款。
北京大学等机构联合发布DataFlex框架,这是首个统一的数据中心化动态训练系统。该框架让AI训练从"填鸭式学习"升级为"智能化学习",通过动态数据选择、配比调整和权重分配,显著提升模型性能和训练效率,同时保持与现有训练流程的完全兼容性。