扫一扫
分享文章到微信
扫一扫
关注官方公众号
至顶头条
作者:Informatica中国区资深技术顾问孙大山 来源:ZDNet软件频道 2014年12月16日
关键字: Informatica 大数据
ZDNet至顶网软件频道消息:数据如流水,本身具有动力。当大数据如浪潮般涌到我们面前时,能够提供什么样的动力?它不仅可以帮助企业规划和掌握自身资源,对企业内部做到更全面的内视,预测和优化生产运营;也可以帮助企业360度了解用户,通过数据分析客户的偏好获得,推出一些以客户为导向的产品或以客户为针对性的服务;它还能洞察业务、改善运营、推动决策,持续驱动业务创新。
提到增加用户满意度、推进决策,很多人都会说商务智能BI也可以实现。那么BI与大数据有何区别呢?传统的BI是一个逆向的思维过程,发现问题之后进行逻辑分析,然后找到因果关系,再提出解决方案,BI解决的多是结果的问题和已经发生的事情。而大数据是一种正向的思维,给企业提供的是可以预测未来的走向,先是收集数据后进行量化分析,然后发现数据之间关联关系,并以此提出一种优化的方案。从原来的事后诸葛亮到现在具有高瞻远瞩的能力,这是对于决策支持根本性的改变。
“做大数据“两类认识误区:保守vs激进
每天我们都能看见许多公司喊着要做“大数据”,各行业也流传着一些很经典或很神奇的大数据故事,当然,大数据做好,从中获得的利益将是巨大的。但没有一个深思熟虑的数据战略,做的越多可能只是浪费越多的时间和人力、财力。面对大数据滚滚大潮,传统企业呈现出完全不同的两种态度:一类是过于保守,觉得自己企业规模太小、数据量太少,还用不上大数据;另一类又走入了另一个极端,认为大数据是万能的,能够解决各种各样问题。
对于大数据保守派,要告知他们大数据离我们并不遥远的思想。数据无大小,大和小在于人们审视或者利用数据的方式。大数据对企业来说,最重要的是一种数据的思维,也就是说,企业需要站在数据的角度去考虑问题。没有企业永远都不需要大数据,因为市场是瞬息万变的,可能现在不需要大数据,但到了明天却发现竞争对手们都在用大数据开拓创新业务,到那个时候再去接受大数据就晚了。应该是:战略上可以轻视,但是战术上一定要重视。而对于大数据激进派,就要适时灭灭他们的火。在信息化的每个发展阶段都会有大量的各式各样的数据处理要求,这其实都是大数据,大数据是企业信息化发展到当前这个阶段的必然结果,没有必要去神话它。
企业在做大数据项目时需要注意一点,那就是大数据并不是一朝一夕就能完成的工作。并不是说,购买了一些机器,组建了一个Hadoop环境,就能称为做了大数据。除了设备上的投资,企业还需要在人员、在技术方面进行安排,同时,企业的组织架构也需要进行相应的调整,增设新的岗位去专门进行大数据的分析和研究。大数据的前期准备工作很多,这是一种思维上变革,切忌急功进利。
Informatica融入大数据时代的平台搭建
从大数据的孕育、出生到现在的成长阶段,Informatica一直都在密切关注并参与其中,而多达21年的数据管理平台搭建经验也在经历的过程中无痕的融入大数据时代的平台搭建中,这不是骤然的从传统到大数据,而是一个长时间的潜移默化过程,这也让Informatica在大数据成型之后可以迅速而稳定的推出一系列全面、先进、成熟的数据管理解决方案,帮助客户更加高效、全面地去管理数据。
大数据要落地,会有许许多多的基础工作要完成,比如数据的采集、数据的预处理、数据的清洗、数据的迁徙、数据的深加工以及数据的分析等,这些步骤都是不可或缺的。Informatica整体解决方案能够提供不同的产品、不同的方法手段,来去帮助客户完成上述不同的阶段的不同的要求,包括:企业数据集成、大数据、数据质量控制、主数据管理、B2B Data Exchange、应用程序信息生命周期管理、复杂事件处理、超级消息和云数据集成。此外,大数据时代还有一个热门的话题就是数据安全,Informatica在数据读取和使用两方面使用动态或静态的数据脱敏手段来保证数据的隐私;对于数据的生命周期管理,Informatica提供了一些运算、存储等系列新技术,对历史数据进行归档、留存及分析。
对于企业来讲,选用数据处理平台,最危险的莫过于新技术的采用,极易引起平台的紊乱,甚至是崩溃,而要想找寻其中的冲突所在则像大海捞针,不仅劳神费力,还极大的影响企业的正常运行。Informatica作为老资历企业,其丰富的经验足以使其解决方案可以在面对大数据时,最大程度的降低与采用 Hadoop 等最新技术相关联的风险,帮助企业屏蔽底层技术平台的差异,这同时也是对企业投资的一种保护。从2006年提出大数据概念一直到现在,大数据技术的迭代式发展非常快,如果企业自己去研究大数据技术非常不现实,这种风险通过Informatica平台可以屏蔽掉,企业只需在一些图形化界面里设计数据处理规则,而逻辑、底层则交由Informatica,Hadoop、Linux、Unix等不同平台上可以自由切换。
全球已有超过5500家企业利用Informatica方案成功地管理其在本地的、云中的和社交网络上的数据资产。在金融行业,一些银行客户利用Informatica方案来构建企业级的数据仓库,构建商务智能BI系统;电信运营商使用Informatica产品对通话详单信息做格式化处理,通过对这些结构化数据进行分析,以此改善改善用户投诉响应时间,并可做到反向的设备监察;能源行业的客户通过Informatica主数据平台消除不同系统中大数据存在的差异,使最终的数据报表展现更真实、一致;医疗行业能够采用Informatica方案集成和整合HIS、LIS、电子病例等各业务系统中的数据,提高数据的共享程度,完善患者的电子诊疗信息。
大数据应用需业务和IT人员良好协同
在传统业务模式中,IT部门是业务部门获取数据的桥梁,然而数据的描述和最终获取都会因为多了IT部门这道环节而大打折扣。Informatica认为数据不是IT的,数据真正属于业务,数据产生于业务又为业务所使用,IT只是承担着为数据服务的角色,是数据的管理者。所以,数据应用必须将业务人员和IT人员结合起来协同作业,而Informatica也一直把协作理念贯穿在产品整个的设计当中。比如很多产品即有专门针对IT技术人员使用的界面,也有非常简单易用的图形化界面提供给业务人员。还有一些整体的解决方案,包括数据的自助式服务、数据的虚拟化等等,这些方法从底层通过技术的手段将各种各样的数据呈现到最终业务用户面前,让他们自由地选择希望使用、浏览、分析什么样的数据,甚至能够参与到数据的操作过程中来,从而保证业务人员能够紧密地与IT人员协同。
Informatica最新推出的IDP(Intelligent Data Platform)智能数据集成平台,可以让业务部门成为真正数据受益者,IDP直接面向业务部门,将人员、位置与事物以更加智能的方式紧密相连,业务人员可以根据自己的需求,按需获得他所要的数据。举例来说,当传统数据管理解决方案能够生成30种报表,如果企业想要第31种,需要IT部门与供应商一起来进行再开发。而有了IDP,业务人员不需借助IT部门的帮助,不需关注后台运作,即可在这个平台上很方便地直接生成第31中分析报表。这些面对业务人员的操作都是交互式、自助式的。当然,IDP也解放了IT人员,使他们可以把工作重心放在开发和系统集成上。
IDP包含的三大要素:首先是Informatica Vibe 虚拟数据机:这是一种可嵌入式数据处理引擎,它提供了对任何位置、格式或来源的数据的近乎普遍的访问能力,支持客户“一次映射,多次部署”;其次是数据基础设施:数据基础设施层能够在任何规模下,系统、连续地交付干净、安全、互连的数据。从部门级到企业级,从事务数据到大数据,从内部部署到云端;最后是数据智能:为客户重新定位数据基础设施层所创建的元数据,进而提高可见性、改善决策过程并加强运营智能化水平。
Informatica提出“数据湖”的概念,意思就是无论是在云端还是在地上,无论是传统的还是大数据,都能够将数据放在一个“湖”里,让所需人员自由的按需索求而无任何障碍。Informatica希望能够帮助广大客户和合作伙伴轻松应对大数据时代的新需求,帮助他们向以数据驱动型的企业转变。
如果您非常迫切的想了解IT领域最新产品与技术信息,那么订阅至顶网技术邮件将是您的最佳途径之一。
现场直击|2021世界人工智能大会
直击5G创新地带,就在2021MWC上海
5G已至 转型当时——服务提供商如何把握转型的绝佳时机
寻找自己的Flag
华为开发者大会2020(Cloud)- 科技行者