科技行者

行者学院 转型私董会 科技行者专题报道 网红大战科技行者

知识库

知识库 安全导航

至顶网软件频道基于数据复制的高可靠性解决方案

基于数据复制的高可靠性解决方案

  • 扫一扫
    分享文章到微信

  • 扫一扫
    关注官方公众号
    至顶头条

由于对分布式数据环境需求的不断增长,越来越多的应用提出了数据复制的需求。随着DM的发布,达梦数据库也提供了全新的数据复制功能。

作者:builder.com.cn 2007年11月14日

关键字:

  • 评论
  • 分享微博
  • 分享邮件

3、复制的管理和监测

  DM复制管理器是DM提供的一个图形界面的复制管理工具,通过该工具可以配置、管理和检测整个的复制环境。使用DM的数据复制管理器可以执行许多任务,包括创建、修改和删除复制,查看到复制进程的各种状态、主/从服务器、复制对象等,可以配置和管理复制进程,解决在复制进程中产生的各种问题,并根据策略自动或手工快速地将应用进行切换,确保复制数据的正常进行。在创建一个新的复制时,可以指定复制的类型、异步/快照复制的调度要求、指定将要复制的表等。要注意的是,一个复制不能分散在多个数据库中,一个复制只能包括一个数据库中的数据,不能复制系统表,而且要复制的表中应该有主键。

三、在应用中选择合适的数据复制方案

在接下来的部分,将主要介绍如何在实际应用中充分利用数据复制功能来提高达梦数据库管理系统的可靠性、性能以及实现数据的分布与集中。
对于每个不同的应用环境,都可以采用合适的数据复制方案来提高系统的可靠性。使用达梦数据库过程中可以采纳的典型数据复制方案包括基于存储设备的数据复制方案、基于文件系统的第三方通用数据复制方案以及达梦数据库提供的各种数据复制方案。对于企业而言,选择何种数据复制方案,主要取决于性能要求、业务关键程度(是否需要同步实时复制)以及费用,用户可以根据实际需要进行合理选择。

1、基于存储设备的数据复制方案

基于存储设备的数据复制,即指能存储系统的远程镜像,属于企业级存储系统功能,这种数据复制在存储系统内部实现,与主机无关。
该方案的好处是:在主机上的资源占用很小,能在业务运行需要的情况下,保持I/O的响应,支持同步实时复制,能够保证事务的ACID特性。另外,该数据复制方案与应用无关,可以支持任何类型的软件系统,包括对达梦数据库的支持。
该方案的主要问题是:首先,受通信链路的影响大,由于关系到每个I/O的响应时间,如果条件不好,带宽不够,则只能异步;其次,存储复制通常价格昂贵,需要许多专用硬件;另外,这种复制只能在同种阵列间进行,如果主节点存在坏块,会导致坏块的传播问题。

2、基于文件系统的第三方通用数据复制方案

许多第三方软件厂商(非数据库厂商)基于文件/目录进行复制,可把数据定期地、在线地复制到目的地的机器上。
该方案的优点是:与应用(尤其数据库应用)结合较紧,具有配置灵活、价格低等特征,能够支持包括达梦数据库在内的各种软件。
该方案的缺点是:主机上资源占用太大,复制的压力太大。一个大型系统,如果既要保证系统能正常运行,又要做大量的复制和备份工作,成本太高。而且任何一笔交易,要把它实时地发送到远程站点,都不能做到同步,只能做到异步,即定期地把累积数据成批发送。然而,对数据库应用来说,异步不能保证数据库的一致性,容易造成数据库瘫痪。
目前,能够提供的第三方数据复制的产品有:EMC公司的Symmetrix的SRDF、CLARiiON、MirrorView,IBM公司ESS的PPRC、HDS的Remote Copy、Veritas公司的Replicator和SUN公司的Data Replicator等,这些软件都能够对达梦数据库提供良好的支持。

3、达梦数据库提供的数据复制解决方案

前面的两种解决方案虽然具有很好的通用性,但是都无法解决坏块的传播问题。达梦数据库提供的多种数据复制解决方案,不仅拥有其他数据复制解决方案的优点,还拥有其他解决方案所不能提供的功能,并且可以有效避免其他解决方案可能产生的问题。
总体说来,达梦数据库提供的数据复制解决方案具有如下特点:
DM的数据复制具有下列特点:

  1. 极好的适应性:达梦数据库的数据复制功能可以用于当前流行的各种软、硬件平台,并且支持在异构数据库之间进行数据复制。
  2. 满足事务的ACID特性:达梦数据库的所有复制功能都是基于事务进行的,因此可以报纸数据的原子性、一致性、隔离性和持久性。
  3. 支持多种数据复制方式,包括同步/异步数据复制、同构/异构数据库之间的数据复制,可以实时或者定期将主服务器上的数据完全复制到从服务器上。
  4. 支持多种数据复制模型:包括单主复制、多主复制和对称复制,在复制过程中,可以只复制变化了的数据,未改变的数据不必复制。
  5. 支持异构数据库之间的数据复制:同构数据复制采用达梦专有接口,只支持达梦数据库之间的数据复制,而异构数据复制通过使用JDBC标准接口,为不同类型的数据库之间的数据复制也提供了高校的解决方案。
  6. 高性价比:达梦的数据复制功能集成在达梦数据库中,不需要用户单独为数据复制功能支付费用,性价比明显优于其他同类产品/解决方案。
  7. 高安全性:由于采用了加密机制,可以有效避免存放、传输过程中可能产生的数据安全问题,提高了系统的安全性。
  8. 有效避免坏块传播:达梦数据库的数据复制全部都是基于事务的逻辑日志来进行,因此一个节点上的坏数据库块不会被复制传播到其他的节点,有效避免基于存储设备的数据复制和第三方基于文件系统的数据复制方案的坏块传播问题。
  9. 完善的业务持续和灾难恢复方案:通过将达梦数据库的集群功能和数据复制相结合,达梦数据库提供了完善的业务持续和灾难恢复方案,包括诸如网络故障导致工作停工、集群主节点停机、集群双节点停机、数据库宕机等特定情况的解决方案,保证了企业关键任务交易数据的持续访问,提供了对业务持续性的高度支持。
  10. 资源消耗非常少:达梦数据库的复制操作只针对数据的改变,并且是基于逻辑日志的,因此将对源数据库系统、源操作系统和网络的影响最小化。
  11. 从数据库可以灵活配置:在创建数据复制的过程中,可以指定从数据库的冲突解决方法、是否允许修改等。通过配置使得接收数据的站点上可以自主地改变复制过的数据,还可以产生类似于生产系统的模拟环境,可以直接用于应用程序的测试、开发和部署,可以访问和进行生产系统的各种服务。
  12. 提供了图形化的复制管理和监控工具:达梦数据库为数据复制提供了图形化复制管理工具,可以方便地创建、修改和删除复制,还提供了复制监测工具,可以监测复制活动,包括复制状态、主/从节点状态等,方便用户进行管理。

由于达梦数据库提供了多种高可用的数据复制技术,可以将这些复制技术进行各种合理组合,形成各种解决方案。下面提供采用达梦数据库的数据复制功能的典型应用环境:
(1)数据容灾
由于数据库中往往积累了大量的数据,一旦数据文件出现问题,后果将不堪设想。虽然各数据库提供了备份的手段,但是往往与生产数据有较长的时间间隔,还是会导致数据的丢失,另外,基于存储设备/文件系统的数据复制方案又无法解决坏块的传播问题,因此,要提高数据库的可靠性,采取数据复制方案是一种有效、安全、可靠的手段。
如果系统对实时性要求很高,网络环境也很稳定,带宽足够,并且系统的CPU、内存等资源还有部分空闲,则可以考虑采用同步复制的方法来提高系统的可靠性。因为同步复制具有实时性特点,可以保证数据库的ACID特性,系统出现故障时还能够保持远程数据与本地数据完全同步,不会出现数据的丢失,通过简单的切换(人工/自动)即可让系统继续正常运行。
当系统的实时性要求不高,网络环境不是很好时,或者系统的CPU等资源已经基本耗尽,则可以考虑采用异步数据复制的方式来提高数据库的可靠性。通过对复制进行配置,可以设置异步复制定期进行。一般来说,可以选择在系统业务量最小的时候进行异步数据复制,这样可以对系统的性能影响降低到最小的程度。
(2)负载均衡
在某些应用环境中,对某些表可能存在大量的查询操作。通过采用数据复制的方法,将该表的数据分发到多个节点,可以让其他节点承担部分查询任务,从而提高系统的性能。
达梦数据库提供的2种集群方案均可以和数据复制有效地进行结合,提高系统的整体性能。达梦数据库的集群方案可以自动判断哪些数据在哪些节点上存在,并且根据各节点当前的负载大小,自动选择其中的一个节点进行数据处理。当然,用户也可以不采用集群功能,直接在应用系统中将对这些表的查询请求发送给其他节点,减轻主节点的负担,实现一定程度的负载均衡功能。
(3)维护数据仓库
我们知道,在一个典型的分布式商业应用中经常需要把各地区的数据汇总到总部的数据仓库中,一方面可以作为一种备份方式,另一方面也方便总部进行决策分析。由于数据仓库通常是与生产数据相分离的,这使得它们适合做各种类型的查询,而不会影响生产应用的性能。
达梦数据库的多种数据复制机制为维护数据仓库提供了极大的便利:首先,通过同步/异步数据复制,能够自动将数据汇总到数据仓库,避免手工进行数据汇总;其次,达梦数据库的异构数据复制功能可以将各种大型关系数据库管理系统中的数据复制到单一的数据库中,方便数据仓库的维护;最后,使用数据复制所提供的数据过滤功能,可以减少数据仓库中无用的数据,提高基于数据仓库进行决策分析的效率。
(4)数据的分布与集中
在一个典型的含有地市、省、部等多级数据中心的应用中,各地市数据库负责处理各自的生产数据,而各省则需要将各地市的生产数据定期汇总,同时还要将部分公共数据分发给下属各地市,以提高地市处理系统性能;同样,各省的数据也要定期或者实时汇总到部级数据中心,以供决策分析所用,同时,部级数据中心也需要将部分公共数据分发给省级数据中心,以提高省一级应用的性能。这些数据分发与集中的需求极大地促进了数据库的数据复制功能的实现和完善。
前面提到的数据容灾、负载均衡、维护数据仓库等应用情形也都需要进行数据的分发/汇总操作。通过将数据分发给多个节点,可以实现数据容灾、负载均衡,通过将数据汇总到数据仓库,可以为决策支持提供数据来源。可以说,正是数据复制提供的数据分布和集中的功能,使得数据复制技术得到了广泛的应用。

    • 评论
    • 分享微博
    • 分享邮件
    邮件订阅

    如果您非常迫切的想了解IT领域最新产品与技术信息,那么订阅至顶网技术邮件将是您的最佳途径之一。

    重磅专题
    往期文章
    最新文章