ZDNet至顶网软件频道消息:数据已经成为21世纪全新的自然资源,如何将主数据管理解决方案作为大数据背景下的企业数据治理工具,是摆在CIO面前的一大课题。行之有效的主数据管理不仅能够提升企业的数据质量,更可以和大数据技术紧密结合。
Informatica大中国区首席产品顾问但彬在接受ZDNet独家采访时指出,主数据和大数据的核心都是数据,但它们的关注点有所不同:大数据关注于数据的量和数据的类型,而主数据则更关注于数据的质量。主数据侧重于数据的组织,而大数据则提供了更多的原材料,企业应以主数据为中心,通过主数据把各类的大数据串起来。同时,大数据也是主数据的一个重要补充,两者的结合可以达到很好的效果。
主数据是企业内部核心的业务实体,它们是系统间的共享数据(例如客户、产品、供应商、账户和组织部门相关数据),分散地存在于企业的各业务系统中。主数据管理主要是对企业不同数据来源、数据格式的数据进行匹配,从中寻找真实、有用的数据。企业做主数据管理最主要的就是要解决主数据在各系统之间的一致性问题,使企业的业务能够更顺畅地运行。
但彬指出,主数据项目比较复杂,工期比较长,耗费也比较大。企业采用主数据方案最重要的不是技术准备,而是业务准备,企业在上主数据项目时,首先要先想清楚主数据能给企业的业务带来什么好处。在拥有业务驱动力后,企业要做的第二件事就是明确自己的痛点,因为主数据问题很难一次性解决,要分期分批地执行。
以下为采访实录:
主持人:我们今天讨论的话题是主数据管理的话题,其实这个话题也是网友们,包括我们很多企业用户都特别关注的一个话题,请问您一下,咱们既然说主数据管理,这个主数据管理到底它的范畴,什么样的一些数据作为主数据管理的范畴?另外,主数据管理它的主要任务是什么?
但彬:因为这两年谈主数据的话题比较多,很多企业,如同很多年前大家谈数据仓库一样,所有的企业都在谈主数据的项目,但往往都会因为主数据到底它的范围是什么,或者说一个项目也往往因为主数据的范围而造成了项目的一些拖延或者是项目的范围不清造成不必要的一些项目失败的因素。但是,其实在主数据是有明确定义的,一般常见我们会称之为主数据是企业内部核心的业务实体,这个词看起来是比较拗口的,什么叫业务实体呢?举个例子大家可能比较容易理解,就是我们日常业务过程中的客户,我们关注可以销售的产品和服务,我们自己企业内部的组织机构,我们的产品一些结构,以及包括我们的供应商,我们所在的一些地点和区域等等一些描述我们业务过程的这些叫实体类的数据都是主数据。
而一般主数据的范围除了本身主数据实体以外我们还会去关注主数据和它相关的一些标识,它的各类属性,以及它们之间的关系,组成了整个主数据的范围,这就是主数据的一些项目。
同时,我们也谈到主数据的范围,其实主数据的任务,我们会想到很多,主数据到底研究主数据或者做主数据管理的目的是什么?其实大家谈主数据的项目起因大多是因为主数据分散地存在于各个业务系统中的,或者说我们也可以从这个角度来说,就是说没有建主数据系统的时候主数据已经是实实在在存在的,只是它存在的形式和存在的地方是不合理的,可能因为业务的构建以一个一个的数据分散去存放了同样一类的主数据,而造成了同样一类主数据在不同系统之间的一致性的问题,所以说其实主数据最主要就是要解决主数据在各个系统之间的一致性问题,使这个主数据本身能够推动或者说使我们的业务能够更顺畅运行。
主持人:对于企业来说比如说它想采用主数据管理这样一个解决方案,它肯定是想了解主数据管理对于它来说的价值,刚才您提到了它的范畴,它的任务,什么样的是主数据,其实这个数据无论你管不管它都存在这。现在我们想管它,它对企业本身带来的最大价值是什么?
但彬:对,其实很多企业谈主数据的时候都是期望说我为什么要管它,我如果管好了它,它能给我带来一些什么样的新业务价值,有可能给我带来一些什么样的业务效率。
其实我们举几个例子,原来我们谈数据仓库大家都会取各种各样分析的例子,其实在主数据领域也有很多这样一些成功的案例去应用于业务场景中。比如说我们举常见的一些服务行业,比如银行、电信这样一些行业,或者是保险公司,他们都是以客户为中心的一种业务模式,实际上他们的系统可能并不是按照客户为中心去构建的,比如说保险公司可能是以基本的保单或者保单类型去构建的,我们有团险系统,个险系统,我们有健康险系统,各个系统管理不同的保单,但是实际上一个客户它可能会既买我们的团险,在它的机构去买团险,也可能买我们的健康险也可能买我们的意外险,这些险种之间如何去把一个客户信息串起来,才能够实现真正在系统上实现以客户为中心的这种价值。
按说真正实现客户为中心又带来什么呢,实际上我们可以带来最主要的业务价值,我们可以从客户的角度了解我们一个客户首先他选用了我们一些什么样的产品,哪些产品是他感兴趣的,我们还有哪些产品适合于它的,它在我们企业的价值是多少,比如说他每年的保费提供量是多大。第二,我们可能还要去估算这样一个人他带来的风险有多大,各个保险最后保出来的这个人,保险的保额达到了上千万,我们想这个是不是成为一个风险点,如果我们是分散的,我们知道每个系统再有20万,30万,他的贡献也不见大,风险我们也认为不大,我们就把它忽视掉了。
但是如果说我们从风险的角度,从客户价值的角度,从市场营销的角度,我们其实都希望了解一个完整的统一的客户视图,和他所关注的已有的产品,其实不只是保险,我们想到的银行,想到的电信可能都会存在这样一种问题,这可能只是从客户这一个主数据类型,我们在主数据里面管它叫一个域。
开始我们也举例说到主数据有什么,有哪些是属于主数据的层面,谈到过产品,其实从产品领域谈主数据更多是我们如何去实现产品的创新,其实大家现在去想一个银行,我估计很难有一个能够说清楚自己有多少个产品,包括银行产品。电信公司说不清我们到底有多少种套餐或者多少种产品,我们的制造企业也会因为不同的工厂,不同分支机构,不同的营销,甚至在同样一个产品从研发到生产,到市场销售各个阶段命名不一致,造成整个产品信息的不一致,这时候从管理的角度,从一个产品快速推上市的角度实际都会带来一些混淆,所以如果对统一的产品进行管理,和统一的产品构建的流程,我们生产产品从整个生命周期保持它的一致性。
同时,也使我们在构建新产品的时候我们有针对性,知道哪些是市场空白我们可以去填补的,哪些是可以去衍生出来的一些新产品,这时候对于整个企业的运作也是有它自己的依据价值的,不管是我们开始谈到的客户,产品,包括未来的供应商,我们自己也组织机构,我们的地点,我们的财务,或者说我们甚至报表分析里面的各种指标都可以涵盖到主数据里面来,通过一致性解决。
主持人:这范围应该是很广的。
但彬:很广,所以说业务价值也是很广。
主持人:我自然而然想到了我们现在很热门的大数据这样一个概念,因为我不知道会不会有一些不太了解主数据管理的会说你这个大数据跟这个主数据感觉它们两者之间到底是一个什么样的关系,能不能给我们网友解释一下这两者之间到底有什么关系,有些什么区别?
但彬:OK,确实Informatica我们既做大数据的解决方案,也做主数据的解决方案,可能我们能够更好地诠释说到底我们的主数据和大数据是什么样一种关系。
其实某种意义上说如果我们单纯来看这两者是没有关系的,但是实际上我们仔细来分析你会发现只是把数据从不同的视角去观察它,大数据可能更关注于数据的量和数据的类型,而主数据更关注于数据的质量,如果从这两个角度来看,他们的核心都是数据,只是说对它的关注点不一样。
同时也造成了,开始我们谈到主数据是有范围的,其实我们开始谈到哪些是主数据,其实我们反过来也会说哪些不是主数据,比如说我们日常的交易过程中的交易数据可能就不是主数据,可能我们在微博上面说的一句话是大数据范畴,但有可能我们平常不会把它纳入主数据里面。
主持人:社交类的。
但彬:对,有可能我们不会轻易地把它拿到,但是有可能随着时间的发展,随着技术的进步,成本的降低,也有可能会纳进来。但现在为止我们认为它可能不在这个范畴内。
所以开始我说它们的差别是因为它们的角度不一样,但是它们又不是没有联系的,包括我们在很多的企业的时候大家都会谈到说如何以主数据跟大数据去结合来充分提高企业的价值。
我们举一个例子,主数据更侧重于数据的组织,而大数据更提供原材料,这时候我们还是谈开始以客户为中心的价值,如果我们还是卖一个保单,那这时候我们可能会关注我们这一个保单的群大家在全里面的言论,这是大数据的范畴。但是,是谁发表的言论是这个客户发表的还是那个客户发表的,这个客户是主数据的范畴,其实我们是可以主数据为中心,串起来,使各种大数据更有机结合起来,如果没有串的时候你会发现大数据就是散着的,大家都在说话,我们只能够去说反正有50%的人说好话,50%的人说坏话,这是一种。
第二种如果我们再往下看的时候,已经是我产品的客户的人有多少人说好话,多少人说坏话。
主持人:主数据管理很重要。
但彬:所以就是通过主数据它是中间的一根筋,它可以把各类的大数据串起来,它既可以串我们市场的言论,可以串我们日常的网上行为,可以串我们的甚至图片,甚至于很多的所有的东西,其实都可以串起来,只要我们想去串,所以还是回到了以客户为中心这样一个前提,中心客户就是一类主数据,大数据是它的一个很重要的丰富,两者可以结合达到很好的效果。
主持人:举的这个例子特别好,它是筋,或者它如果是一个珍珠项链的话,它是中间这个绳,然后把其他的大数据的东西串联在这个上面。
但彬:是这样,要不然就是散的一盘珠子。
主持人:对,就是散乱的,我们可能会问到你现在在当前的信息爆炸的时代,可能对于企业来说不仅面对数据量大,而且它的数据本身类别也很繁杂,可能有一些我们之前没有考虑到的一些各种趋势和形式存在,在这种时候我们的主数据管理它会面临一些什么样的,在这个时代目前当前会面临一些什么样的挑战吗?之前可能没有想到的问题,现在可能就要面临这些问题了。
但彬:是这样的,因为可能主数据其实在我们零几年大家提这个概念或者用的时候,大家想到的主数据还是以交易数据为主的,我是以企业核心数据为主的,因为开始主数据也有一个定义,说它是高价值的企业数据,而大数据大家知道大数据大家说它有大价值,但是它是总量的大价值,价值密度是低的,所以说开始也提到说,那既然现在有些企业说我们希望把大数据和主数据结合,这是很难的,因为什么?我在网上的一个网名,我在其他地方的一个说法,或者我在Facebook或者说我在博客上面的一个好友群或者粉丝群,这些如何和主数据去做结合。
而这些数据又是非结构化的,甚至不在企业内部,它是在一些公共的网站上面,如何去结合。其实这一块也正好体现了Informatica的价值,Informatica的能力就是整合,Informatica最早就是做整合的。主数据也是整合业务系统这些高价值数据以后,如何能够把外围一些更多的更广泛的数据整合到主数据周围来,其实也是整个Informatica的一个能力,因为Informatica现在我们提供了常用的各种社交媒体甚至是机器的设备数据,包括我们手机,包括网上日志这些信息都可以帮助我们去做整合,我们经常举的一个例子,比如说我们的公司可能会说,比如以后Informatica也会有自己的微信平台,我们的合作都说你只要扫我的微信,我们就会关注Informatica,我们就会实时给你推送信息,其实当你关注Informatica的时候,Informatica也就知道了您是谁。
除此之外我们可以通过第三方,通过正规的渠道,合法的手段获取到您的一些行为,公开的一些行为,我们能够可以更进一步分析到这个客户对Informatica的关注度,主要关注哪些方面,您是关注我们的新产品发布还是关注我们的一些新的动态,还是关注我们一些成功案例,我们可以推送一些更有价值的信息给到你,比如说我们有些市场活动可以推送给您,其实这也是一种主数据和大数据的充分的利用,Informatica正好各个的平台都有接口,可以帮我们来把这些东西实现起来,这也是一种难度。
同时,第二个难度,整合的范围现在也比原来要广,现在可能除了微信以外还有一个大的量就是图形图片和视频,这些信息量可能就会更大,大家又会说主数据平台适合去管理视频这个东西吗?
主持人:对,适合管理吗?
但彬:其实我还是那句话,如果一个手表说什么都能做,那它一定只值5块钱,电子表,如果说这个表阀条必须要上,不晃它就不走,基本上只有日立你发现它要管50万,原因是什么呢?因为它专注,其实理论上各个系统的建设也是这样子的,没有大而全的系统,也没有大而全一个东西能够把这些事情搞定的,所以主数据管理主数据最关注的东西,大数据也要关注大数据层面的内容类的,比如说视频,文档数据也有相关的系统去管,现在各个企业都在推的内容管理,这样的一些系统,其实主数据就像一个八爪鱼,它可以主数据为中心,跟各个系统建立联系,比如说我可能并不把它的照片和视频拿到主数据平台上来,但是我能够告诉它说在哪个点可以找到这个客户相关的视频,这是我这两个系统做集成就可以了,所以这时候也是对我们的集成的需求可能会越来越广泛,跟原来传统的只是集中在最核心的一块,慢慢膨胀得越来越大,内容越来越丰富,系统之间整合的形式也多样化,这也是这两年一个新的趋势。
主持人:我发现嘉宾特别会举例子,给我们举了好多特别直观的例子,其实就很容易了解到这些概念。刚才说的应该相当于主数据管理目前可能面临的一些当前时代的压力和挑战,我们的一些解决方案。是不是已经涵盖到了比如说刚才大数据管理,主数据管理,包括我们还有其他相应的周边一些解决方案,是不是已经涵盖了企业几乎是差不多的需求,数据管理的需求Informatica都能提供?
但彬:对,Informatica其实还会有其他一些解决方案来完善整个企业数据管理和治理的一些需求,比如说我们有专门的数据质量的平台负责整个数据源到主数据的过程中如何去提升它的质量,如果控制整个数据质量的过程,开始我们提到了集成工具可以去帮我们从各个业务系统甚至是第三方系统里面获取相关的一些大数据,然后我们有相关的一些基于云的方式去帮忙获取云端的一些应用的数据,甚至云端的主数据,等等这些方案,Informatica会提供一个整体解决方案。但是针对不同的企业可能它关注的重点是在某一个方向上,我们会更加专注去提供专门一类的一些解决方案,但是情况都是要根据客户具体的,因为业务的复杂性和业务的特殊性都会决定这样一种特点。
主持人:我还有一个疑问,是不是数据量比较大的企业才能够才采用我们主数据管理的解决方案,因为很多人,包括原来大数据也存在这样的疑问,是不是必须是数据量很大才能够用大数据解决方案,同样对于主数据管理也一样,是不是数据量必须特别大才能用主数据管理的解决方案?
但彬:其实数据量是一个方向,因为理论上我们还是会去想如果一个企业,比如说我是一个小作坊我自己只有两家上游公司给我提供货源,然后我去卖这两样东西,这个时候可能我用不着,因为我数都数得过来有哪两样,电话我都记在手机里就OK了,但是对于大多数的企业你会发现业务越来越多的时候首先业务系统够复杂,这时候主数据面临的问题就越多。第二,它要集中来通过主数据管理带来的业务优势也就最大,所以说一般是系统越复杂的企业越需要主数据管理系统,跟数据量也存在一定的关系,但不是绝对的关系。
但是,同时数据量对于各种不同的主数据量不太一样,比如说开始我们举了一个电信公司,中国移动可能中国应该是多少亿的客户量,客户量就很大。如果说中国移动有多少个产品我们数下来可能也不会超过20万,所以说你跟几个亿比就是一个小数据量。
如果我们说再去管中国移动的分支机构,一数可能五千个就够了,或者是一万个就够了,所以说这些又会很少,所以说不同类型的主数据它的量级也不太一样。其实最主要的可能从量上不是最重要的维度,可能更主要的还是复杂程度。
主持人:我这个企业如果想采用主数据管理的解决方案,我需要做一些什么样的准备吗?具备什么条件了才开始需要用到主数据管理解决方案?
但彬:其实一个企业采用主数据的方案我觉得最重要的不是技术准备,是业务准备,业务准备好了,我确实认为主数据,想清楚了主数据能给我带来什么,这才是最重要的,现在我们面临着很多客户的情况,发现把主数据当成一个纯的技术解决方案的时候,对项目反倒不是一个很好的方向,因为你会发现纯的一个技术解决方案按业务部门不认为给我带来了业务价值,第一件事情我们是要准备业务的这种驱动力,说我们到底做主数据给业务带来什么好处,或者我们也可以反过头来想现有的业务,主数据给业务造成了什么障碍,或者说带来了多少痛苦,这是一种方向,先准备业务需求。
第二个,准备业务需求以后我们要去想哪个是最痛的,因为很难有企业一次性把主数据问题解决,我们要去分期分批,我们找出最痛的。
第三,去想主数据处理的事情我们到底要做哪些具体的任务,这是是要去想,至少心里有一个大致准备,但这些我觉得如果客户只是想要了解这些东西,我们这种视频就很好,大家也一个普及,或者以后Informatica找到相关的网站找到相关的一些资料去学习,同时如果确实有必要你也可以联系到我们的部门,我们跟你面对面沟通说我们可能哪些方面是需要主数据的,一起来沟通找出一些需求点,这也是可以的,这是一种准备。
实际上如果说有一个准备,我觉得这个项目会比较容易推动,因为主数据项目相对来说比较复杂,工期也比较长,耗费也比较大,所以说一般我们刚开始有想法以后,我们要去想做哪些事情,项目圈定好,有多少预算,明年大致哪种计划规划做出来,现在我们经常有的时候客户会突然冒出一个主数据项目说我们只有一个月的时间,我们要上一套主数据的系统,要管理整个过程,基本上我们认为这不是太合理的时间安排。
主持人:你会谨慎给他一些合理的建议。
但彬:建议,对,我们会说一是一个月的时间可能我们连需求都摸不完。二是我们要上一个平台,三是这个系统要跟业务系统去做整合,这些业务系统我们要一个一个去谈,可以如何整合,这些问题远不止一个月的工期可以去完成的,所以这也是相当于借这个机会给大家一个建议,或者说大家心理的一个预期。
主持人:明白,谨慎地看待这个主数据的项目,不是说我现在有一笔钱了,我突然冒出一个需求了就一定马上要上,而且最好是从业务部门本身梳理清楚它到底有哪些业务部门驱动,有可能不是一个CIO级别的人立刻去驱动这件事情,可能需要业务部门很多的支持,甚至于公司的老总一把手这一级的人,他可能能够从里确实有这样的业务需求驱动来做这个项目。
但彬:是这样的。
主持人:看来挺不容易的。
但彬:是,所以说一般推动很难,看到需要的企业很多,但是做起来一是可能有很多企业我们去交流以后,原来还有这么多的事情我们再想想。第二,有些项目说我们就是要执行力很强的企业,马上就要上,但是发现做的过程中有很多的问题没有想清楚,就说可能反倒对项目本身不利,我们还是希望一个理性的过程,大家从基本的需求入手找到业务的一些痛点,从小着手,因为有Informatica平台的特点,它适合你从小开始做,慢慢做大的,你不用担心说我今年做了,明年往下做不了了,或者是长不大了,这些不用担心。
主持人:所以说它如果有一些需求其实可以找到Informatica我们去沟通。
但彬:我们可以跟他沟通。
主持人:一起帮助它去做一些规划。
但彬:对,因为我们既有面向售前的一些团队,我们也有专门项目实施的一些团队,有他们的经验可以分享给你,我们可以从案例的角度来说他们是怎么来做的,他们当初想要怎么,你们是不是有这样的需求可以去引导,帮助我们去更进一步思考这些问题。
主持人:我们访谈也进行了比较长时间,我想最后再问您一个问题,怎么样看待主数据管理市场未来的发展走向,这是一个趋势,一个比较大的问题,时间上无论对于我们的用户还是对于我们Informatica来说可能都是比较关注的一个问题,也想请您谈谈整个对市场的看法。
但彬:其实这两年主数据市场发展很快,原来我们认为主数据是一个十分高大上的项目,也就是说很多的企业都会说要么是敬而远之,要么觉得很难去实现很多的问题,这两年一方面是各自实施的经验越来越丰富,很多问题我们不断摸索找到它自己的一些解决方法。同时,客户对这个认知也更加清晰,再加上产品不断成熟等等一系列因素,促进这两年主数据的项目会越来越多,像我们多的时候有时候一个星期会跑三个客户,甚至会更多,很多客户都希望去尝试。
但是这个市场成熟还需要一个过程,一是咨询相关的东西要不断成熟,因为主数据涉及到标准,这些东西需要咨询相关的或者特定一些行业知识的沉淀。二是资金的准备往往不足,因为大家把项目的时间估得很短,认为它是简单的一个数据项目,就如同一个简单的小规模的BI,大规模BI都占不上,可能就一两个月,可能工期估计不足,自然经费、预算,项目的成本,项目的范围这些都有可能估计不准,所以说我还是期望这个市场它还需要有一个不断成熟过程,希望大家能够尽早去找到专业的公司去做评估,来切入主数据的一个项目,而不是说我们一想听到有一个词然后就可以去做,当然我们也会有一个笑话,我们有一个笑话,之前有销售说我们听到有一个MDM的项目我们去看吧,后来发现说MDM,我们这个是做移动设备管理的,也叫MDM,所以有时候可能我也要分清楚到底我们是要做什么一种管理,我们才能理性去做这样一个事情。
所以说我觉得很热,但是需要大家冷静思考我们要做什么,如何做,想清楚。
主持人:对,这个特别好,其实对于我们Informatica来说不是看着这个市场热度很热就鼓吹用户赶紧投资,其实我们还是希望跟着我们的用户一起去成长,希望他们能够理性谨慎看待他们的主数据项目投资。
但彬:对,是这样,因为以后Informatica不希望一个客户说把钱花了没有得到它想要的东西,对我们来说我们是期望每一个案例是可以引用的一个成功的案例,客户成功才能促进以后matica或者这些软件厂商的成功,是一个互赢的概念,没有说那种单方面赢的一种状况,所以我们还是比较理性想这些事情。
主持人:感谢,其实嘉宾谈得特别好,不仅是这个例子特别直观,另外包括我们Informatica怎么理性看待这个市场,也是希望跟我们的用户一起来成长,我觉得这些都特别好,我们本期节目告一段落,如果大家更关注主数据这样一些话题,包括希望了解到Informatica一些产品和解决方案,可以在我们的网站上看到更多的信息,也可以在Informatica的官网上看到感兴趣的相应的解决方案,包括一些案例可能都能够看到。
也是感谢但彬作客我们本期ZDNet的视频访谈,感谢网友收看我们本期节目,我们下期再见。
但彬:谢谢大家。
主持人:再见。
好文章,需要你的鼓励
随着AI的使用、创新和监管混乱超过认可的标准,IT领导者只能开发内部方法来减轻AI风险,依靠框架、工具和他们的同事来正确使用AI。
几年前,当澳大利亚红十字会(Australian Red Cross)这个社区服务慈善机构开始进行数字化转型的时候,发现有很多不同的系统无法协同工作。如今,经过数据梳理和发挥作用,可以满足不断变化的需求。
在此次活动中,IBM展示了最先进的IBM Quantum Heron计算机是如何以比以前更高的精度和速度执行复杂的量子算法,同时为进行高级分子模拟的新方法铺平了道路。
想象一下,一个人工智能系统不仅能阅读文本或识别图像,还能够同时读、写、看、听和创造。这其实就是多模态人工智能的精髓。这些先进的多模态人工智能系统可以同时处理和整合多种形式的数据,包括文本、图像、音频甚至视频。这就像是赋予了人工智能一整套的感官。