至顶网软件频道消息:Cloudera近期宣布推出Cloudera SDX。Cloudera SDX是一种模块化软件框架,能够让企业获得“共享数据体验”。通过将集中、一致的框架运用于schema、安全、管控、数据获取以及其他用途,SDX使得数十种不同的客户应用能够基于共享或者重叠的数据组运行。SDX降低了多功能数据应用的开发难度和部署成本,提高了应用的持续安全性。Cloudera SDX现已面向采用Cloudera企业版的客户推出。
要想应对如今众多的高管级挑战,如网络安全、互联产品和服务、提高用户的终身价值等等,需要各种复杂的应用共同协作。举例而言,物联网应用通常涉及数据获取、实时分析、批量机器学习以及流数据。新一代最佳平台集机器学习和实时处理于一体。在很多情况下,这些多功能应用集群要么在云计算架构上运行,要么依赖于云所产生的数据。
开发并交付这些复杂的应用对于内部数据中心的多租户集群而言是一项艰巨的挑战,在云环境中更是十分困难,因为数据上下文和策略不在瞬时环境里存留。此外,大部分云计算服务实际上都是在隔离的集群中运行的孤立应用。
SDX使用户能够创建、管控、管理这些多功能、高价值的分析应用并且保障其安全。此外,SDX还支持集成并且进一步增强平台功能的、经过Cloudera认证的合作伙伴解决方案。
Cloudera SDX的一个关键组件是共享数据目录,通过该目录可以实现持续安全、管控以及管理功能,并且可将其用于长期运行以及瞬时分析应用。此外,该共享目录还允许自助访问业务数据,因为已经不再需要IT重新创建上下文、控件或者每个新用例 。
Ovum公司首席分析师Tony Baer表示:“企业经常将安全、管控以及复杂性作为其不愿意将其操作型工作负荷转移至云端的主要理由。Cloudera通过内置安全和数据管控功能,使企业能够满怀信心应对其生产环境中的大数据工作负荷。Cloudera SDX建立在企业的IP上,具备跨云环境和内部数据中心的共享数据体验 。”
Cloudera SDX帮助企业解决以下关键挑战:
以下功能即将于下月在Cloudera 5.13上推出,增强云计算环境下的SDX功能:
Cloudera创始人兼首席战略官Mike Olson表示:“Cloudera 企业版能够加速数据科学、机器学习和分析,SDX是Cloudera 企业版的秘密武器。数据是世界上最宝贵的资源,是推动深入洞察,驱动机器并且化不可能为可能的源动力。从成立伊始,Cloudera就致力于帮助企业从其数据中获取价值。无论是对于IT还是业务用户,Cloudera SDX都简化了这一使命。”
好文章,需要你的鼓励
谷歌正式发布JAX-Privacy 1.0,这是基于高性能计算库JAX构建的差分隐私机器学习工具包。该库集成了最新研究成果,采用模块化设计,使研究人员和开发者能够更轻松地构建差分隐私训练管道。JAX-Privacy提供梯度裁剪、噪声生成、批量选择等核心组件,支持大规模分布式训练,已成功应用于VaultGemma等先进模型的训练中。
清华团队开发DKT模型,利用视频扩散AI技术成功解决透明物体深度估计难题。该研究创建了首个透明物体视频数据集TransPhy3D,通过改造预训练视频生成模型,实现了准确的透明物体深度和法向量估计。在机器人抓取实验中,DKT将成功率提升至73%,为智能系统处理复杂视觉场景开辟新路径。
谷歌量子AI团队发布新理论成果,展示大规模量子计算机可解决传统计算机无法处理的优化问题。研究团队开发出解码量子干涉算法,利用量子力学波动性质创建干涉模式,找到经典计算机难以发现的近似最优解。该算法将优化问题转换为解码问题,配合先进解码算法实现量子加速。研究成果为量子计算应用提供新工具包。
字节跳动研究团队提出了专家-路由器耦合损失方法,解决混合专家模型中路由器无法准确理解专家能力的问题。该方法通过让每个专家对其代表性任务产生最强响应,同时确保代表性任务在对应专家处获得最佳处理,建立了专家与路由器的紧密联系。实验表明该方法显著提升了从30亿到150亿参数模型的性能,训练开销仅增加0.2%-0.8%,为混合专家模型优化提供了高效实用的解决方案。