当前数字经济正在引领新经济发展,数字经济覆盖面广且渗透力强,与各行业融合发展,如大数据、云计算、互联网、人工智能等。因此,数据成为关键生产要素。同时,大数据在社会治理中,如城市交通、老年服务、城市安全等方面也发挥了重要作用。
与大数据时代同频共振,青云一直在行动
从2014年推出第一款数据产品至今,青云大数据已经推出了近30款数据产品和服务,同时集成优秀的合作伙伴应用,形成了包括数据库与缓存、消息队列与中间件、大数据服务、数据仓库与BI产品、对象存储在内的数据产品生态。
青云QingCloud大数据产品经理刘雄风告诉记者:“基于近30款产品和服务,结合优秀的合作伙伴应用,我们构建了一个完整的、可插拔的、全流程的大数据平台。从最初的数据源接入,到数据的处理,再到数据的呈现,在任何环节我们都能提供客户所需的数据产品和服务。”
刘雄风强调,多年来,在与客户的密切沟通与服务当中,青云大数据洞察到,现在客户的需求已经升级——从最初的“底层资源”问题,逐步进阶到“数据层”问题。主要体现在:
一,数据同步。目前青云可以提供数据库、数据仓库、消息队列与中间件服务,还需要数据同步服务,打通彼此之间孤立的关系。比如通过Elasticsearch进行数据检索,首先要将MySQL中的数据导入到Elasticsearch,实现数据源和Elasticsearch的实时同步。
二,实时计算。在IoT场景中,数据通过IoT采集网关,把数据统一采集到平台上后,需要大数据平台对大量的设备数据、监控数据进行分析、挖掘,最终转化为设备报告和流程优化相关的信息和知识。这种反馈实时性越高,企业降本增效的效果就越好。因此,通过IoT平台采集设备数据、业务产生的结构化数据以及日志数据,上云后需要实时计算来发挥数据价值。
三,数据开发和作业运维调度。虽然在大数据引擎方面,青云推出了QingMR开源大数据组件,解决了客户的运维和部署问题,但还无法满足数据开发和作业运维调度层面的需求。
除了上面提到的数据集成、实时计算、统一监控和调度以外,客户还存在权限控制、数据仓库、数据服务等典型场景的需求。
基于客户多种真实需求的反馈和实时数据处理的新挑战,青云推出大数据工作台,即一站式智能大数据开发与治理平台,可帮助企业实现云平台各产品之间数据的快速流转,支撑上层业务应用,消除企业“数据孤岛”,统一调度和计算,挖掘数据价值,提升数据洞察。
刘雄风说,不同于市面上的数据中台产品,青云大数据工作台采用云原生架构,基于容器平台,解决了数据集成、流批一体计算、统一运维和统一数据服务共享的问题,通过一站式、便捷低成本的方式,帮助中小型企业快速发挥数据价值,构建“云上数据中台”。
五层架构打通大数据全链路
大数据的价值并不是数据本身,而是数据背后所隐藏的、对业务有影响的信息和知识。目前青云大数据工作台上线1.0版本,主要具备“数据集成、数据加工、统一数据存储和服务”功能模块,为企业数据价值挖掘提供支持。
从整个架构来看,青云大数据工作台从最底层到最上层有五层架构,应对大数据全链路场景的需求。
第一层,云原生。青云大数据工作台基于云原生架构,支持容器化部署,可以部署在开源的Kubernetes容器平台上面,对客户来讲,使用起来更加开放和包容,也不会被云厂商绑定,跨云、跨容器、跨厂商都是可以运行的。
第二层,全托管式计算引擎。青云大数据工作台提供全托管式计算引擎服务,以Flink流批一体的计算引擎为基础,同时兼容多种计算引擎为一体的计算资源服务。
第三层,全生命周期数据开发。解决完计算资源后,青云大数据工作台还提供全生命周期的数据开发服务,通过向导式的数据集成,支持可视化数据加工、调度管理、资源管理、网络管理等多种场景。
第四层,高效的数据同步服务。青云大数据工作台提供高效的数据同步服务,能够兼容结构化、非结构化、半结构化的数据,可对数据进行实时、增量和全量的同步。
第五层,应对丰富的业务场景。在完成数据同步后,青云大数据工作台便可帮助客户应对丰富的业务场景,包括BI商业智能分析、用户画像、增长分析和数据大屏等应用,为业务决策提供有效的数据支撑。
六大产品特性实现全功能、全场景覆盖
青云大数据工作台的产品特性可以概括为六点:
第一,开箱即用。几分钟即可完成环境的创建和部署,即开即用、便捷高效,一键开启数据价值洞察之旅。
第二,弹性扩容。具备云原生弹性扩容的能力,可以帮助客户合理地节省资源,提高资源的使用率。通过提供细粒度管控,最小资源使用的粒度只需要0.5 CU,支持按量、包年包月计费,可以更好地适配不同的需求,价格低廉,安全稳定。
第三,存算分离。与青云的对象存储服务无缝衔接,海量数据可以高效、低成本的存储,并支持数据计算按需扩容,极具性价比。
第四,开放兼容。拥抱开源,百分百兼容Apache Flink,支持平滑上云,通过内嵌的Connector可以无缝对接主流的数据产品和开源大数据生态组件。同时,客户可以将原有的大数据任务迁移到大数据工作台上,进行统一的调度和监控,节省运维和调度成本。
第五,安全可靠。按照云原生的架构模式进行设计,可以基于多种基础设施进行部署。内部功能模块以微服务的方式划分为多个组件,彼此之间相互隔离,避免相互影响。同时,所有的服务都具备高可用和高扩展能力,可以在部分节点故障的情况下保障服务的可用性和数据的可靠性。
第六,生态整合。除了青云大数据工作台本身提供的服务外,还可以在云上与其他产品紧密整合,可以连通云平台上孤立的多种数据存储的服务,让客户在云平台上的数据流转更加便捷。“我们不仅提供青云自己的产品和服务,也可以集成合作伙伴已有的开源产品,共同给客户提供一整套的产品或方案,这样客户也可以根据自己所需,进行选择和搭配。在我们看来,整个生态是开源、开放的。”刘雄风说。
青云大数据工作台可以在精细化运营分析、实时计算、可视化开发运维、构建数仓等场景进行广泛应用。刘雄风特别指出:“我们主要聚焦新兴领域,以物联网和工业大数据为代表。”
青云所提供的方案不仅仅是大数据工作台一个产品,而是与青云的KubeSphere容器平台和IoT平台形成合力,充分发挥各自优势,组建了完善的“大数据工作台+KubeSphere+IoT”三位一体解决方案。
以某行业领先工业自动化测试设备与整线系统解决方案厂商为例,其数据源涵盖多种维度,包括机加工设备、物联网的SMT设备和AGV设备,甚至有立库以及将来可能会引入的质监相关设备。除了生产数据以外,企业本身运营也会产生相关的IoT数据,包括水电气、空调供暖、给排水、门闸、温湿度以及各类楼宇/园区运营的信息。
因为数据源不同,所以客户需要统一的数据接收和存储、API服务对接物联网平台,建设统一的“物联网+大数据”平台。
在青云提供的方案支持下,客户可由IoT平台进行“云、网、边、端”数据源的统一控制,再将数据通过消息中间件进行统一传输,传输到大数据工作台上再做原始库数据集成的操作。数据存储到原始库后,客户可以通过原始库单独对外提供数据权限、数据存储和数据查询的服务。对于原始库存储的数据,客户还能二次加工、处理,形成最终结果库。而结果库,同样可以对外提供数据权限、数据存储和数据查询的服务。
“通过深耕工业、交通等细分领域,我们形成了一整套相对标准的体系和方案。接下来,我们将推广到其他的行业客户中,除了应用到智慧工业上,我们还能应用到智慧零售、智慧政务和智慧校园,覆盖到四个‘数智’化场景,持续产生‘数智’化价值。”刘雄风最后说。
好文章,需要你的鼓励
智谱AI率先推出了 AutoGLM,试图打造一款能够理解、规划、执行,并最终实现“无人驾驶”操作系统的 AI Agent。
该处理器采用16nm工艺技术设计,拥有 48 个ARM Cortex-A75内核,六通道DDR4 3200 MHz 内存 - 每插槽高达 768 GB(每通道 128 GB)
谷歌DeepMind研究人员则直接把这项技术集成到AI Agent中开发了Talker-Reasoner框架,让其具备“快”、“慢”两种拟人化思考方式。
数据密集型工作负载的激增,导致计算系统需要处理的数据量大幅增加。这种不断拓展的数据环境,迫切需要具备更大容量和更高带宽的