外部环境的不确定性不只是公共卫生事件,还有技术管控,所谓的“科学无国界”是个伪命题。虽然这给我们带来了挑战,但是另一方面也加速了关键技术自主化、国产化。
近年来政府部门也相继出台相关政策,鼓励中国厂商进行自主创新,推动软件国产化和自主化的研发。
比如大数据领域,据信通院的统计信息显示,有超过90%的企业场景都在使用如HDP、CDH或者一些开源平台自主搭建的大数据基础平台。今年3月CDH停服后,软件后续的升级、维护更是受限。
在此背景下,网易数帆正式发布有数大数据基础平台(NetEase Digital Sail Youshu Data Hub ,以下简称NDH)。网易数帆一直以来都坚持关键IT技术研发与创新,积极参与基础软件的国产化研究。
网易数帆资深大数据架构师蒋鸿翔表示,作为一个资深的大数据用户,网易2009年就开始对Hadoop投入研发。NDH就是基于网易在大数据领域十几年沉淀的经验而推出的企业级大数据基础平台。
NDH基于最新开源技术打造,内置多种存储计算引擎,并在Hadoop、Spark、Impala等多个核心组件做了功能及性能增强,可实现对整个Hadoop体系核心代码的完全自主掌握,并新增了Easyeagle实现智能运维和任务治理,支持企业级安全管控。
同时,NDH还适配了信创的软硬件生态,兼容多款主流国产化操作系统、数据库、芯片等,既支持在华为云、阿里云、腾讯云等场景下云化部署,也支持私有化部署,满足金融及政府行业的信创要求。
NDH技术创新看点多
除了上面提到的自主可控,NDH还具备平滑迁移、安全稳定、开发便利、智能运维等特点。
在切换新平台之前,企业对于迁移是否平滑,影响范围多大十分关注,毕竟迁移需要花费人力、时间等较大成本,稍有不慎,还会导致数据丢失、业务难响应等问题。
另外,迁移后上层的应用系统是否可以与替换的底层平台完美兼容,与其他国产组件是否能实现生态兼容,实现兼容后是否可以快速响应业务发展需求等也是企业关心的问题。
蒋鸿翔说,平滑迁移是在对业务不造成影响或者很小很轻微的影响下,完成整个大数据平台从老平台切换到新的平台。“网易内部部署了大量的大数据平台,成功进行过整个平台的版本升级或者跨机房的迁移,实现了对业务的无影响。”
基于网易内部多年平滑迁移方面累积的实践经验,网易数帆制定出一整套平滑迁移的落地方案,包括权限迁移、元数据/数据迁移、任务迁移等多个维度,为企业提供网易原厂的迁移服务,从而保证迁移过程基本不停服、迁移所需资源可控、迁移风险可控。
这也使得在对业务不影响或者影响时间较短(小于10min)的情况下,可以完成整体平台迁移到NDH,真正实现对业务侧不造成影响。此外,迁移完成后, NDH还将为企业提供额外收益,IT系统自动升级成存算分离架构建设,分别提升存储、计算机器的资源利用率,助力企业降本增效。
在安全性方面,NDH增强Impala,具备高可用和隔离能力:建立基于虚拟数仓的隔离环境,支持对于同一集群中的不同节点进行分组,不同workload的业务配置不同的分组,避免业务之间相互影响;增强HDFS,尽最大可能保障数据和服务安全。有数大数据基础平台NDH组件可提供增强回收站的功能,支持用户恢复数据,避免因误操作造成数据损失。
在开发便利方面,通过企业级数据湖探索平台Kyuubi ,企业可以像使用HiveServer2一样开发SparkSQL:Spark作为整个大数据计算领域最流行的计算框架,相比原先常用的Hive,在计算性能和资源利用方面有很大的提升,但大部分用户很难改变Hive模式下的使用习惯。NDH组件支持用户保留原有习惯和模式,基于Spark计算引擎上构建的SQL查询引擎,支持多租户隔离等特性,更好地实现分析计算。
在智能运维方面,系统会将任务与机器的资源进行串接,运维人员可以快速定位到任务执行过程中涉及到的硬件资源。比如,某台机器由于I/O的高利用率或者CPU的高利用率,导致任务的差异化反应。通过NDH的智能故障分析系统,运维人员可以快速从任务层面查询到背后的原因,反过来也可以从整个机器的层面,反查出机器故障影响了哪些任务的运行,让任务诊断变得快速便捷和直观。
结语
NDH一方面基于开源大数据组件,并在安全、隔离、性能等方面进行了增强,并完全支持国产信创生态,而且还提供产品售后的原厂服务,让企业后顾无忧。
作为国产大数据平台,NDH功能强大、代码自主安全可靠、迁移平滑、服务有保障,在未来自主可控的数据基础设施建设中将发挥更大的价值。
好文章,需要你的鼓励
树莓派基金会调查发现,尽管60%的家长认为编程是孩子的重要技能,但超过70%的家长表示孩子在正常课程中没有学习编程。该基金会CEO指出,随着AI技术快速发展,年轻人掌握技术理解和创造能力比以往更重要。超半数家长认为编程应成为必修课程,并相信学习编程能提升孩子未来职业前景。为填补学校教育空白,基金会呼吁在学校和图书馆广泛设立编程俱乐部,目标到2035年全球教授1000万儿童编程技能。
Patronus AI发布突破性研究,构建了首个系统性AI代理错误评估体系TRAIL,涵盖148个真实案例和21种错误类型。研究发现即使最先进的AI模型在复杂任务错误识别上准确率仅11%,揭示了当前AI代理系统在长文本处理、推理能力和自我监控方面的重大局限,为构建更可靠的AI系统指明方向。
文章介绍了AI大语言模型中最新的深度研究功能,这是目前最令人印象深刻的新功能之一。作者详细解析了ChatGPT、Claude和Gemini等主流模型的使用方法,并重点展示了深度研究功能的实际应用。通过实际测试,作者用ChatGPT 4.5的深度研究功能生成了一份关于1990-2025年最令人厌烦歌曲的详细报告,展示了AI如何通过思维链进行深度研究和分析。文章还提到了语音交互模式将进一步改变用户与AI的交互体验。
这项研究首次从理论和实践证明AI模型可通过模仿生物睡眠-学习周期显著提升性能。研究发现AI训练中存在自发的"记忆-压缩循环",并据此开发了GAPT算法,在大语言模型预训练中实现4.8%性能提升和70%表示效率改善,在算术泛化任务中提升35%,为AI发展指出了注重信息整理而非单纯数据扩展的新方向。