你的位置:首页 > 解决方案
解决方案   
    联系我们

    赶集网蔡峰:轻松解决异构数据同步

    2014/10/31 10:41:59      点击:

    2012年4月14日消息,由IT168(ITPUB、IXPUB、ChinaUnix)主办的2012中国数据库技术大会(DTCC)进入第二天的议程。大会针对大数据架构设计、数据库安全、分布式数据库、商业智能、NoSQL、Hadoop等多个重点话题进行深入探讨。此次大会得到了全国数据库技术高手们的高度关注与支持,是当前象征最高技术水平的数据库工程师盛会。

      今天上午进行的主会场以“大数据管理”为主题,来自赶集网的首席架构师蔡峰发表主题演讲《轻松解决异构数据同步:赶集网CDC数据同步方案实践》,介绍了赶集网如何实现从MySQL到异构数据系统的数据同步,以及赶集网基于Tungsten Replicator的通用的CDC解决方案的基础架构和实践经验。



      赶集网是一个分类信息门户网站,业务主要涉及房屋租售、二手物品买卖、招聘求职、车辆买卖、宠物票务、教育培训、同城活动及交友、团购等众多本地生活及商务服务,遍及人们日常生活的各个领域,为人们提供免费的信息发布交换平台。赶集网不断优化用户体验,为网民提供“实时、海量、有效”的信息。截至2011年6月,赶集网日均有89万余人发贴,1565万余人访问,页面访问量超过16868万。

      据蔡峰介绍,赶集网是标准的LAMP架构,后台数据库是MySQL。但随着业务的发展,需求也不断变化。MySQL单一的存储机构已经无法满足数据多样性的需求,因此需要加入NoSQL数据库或者Hadoop系统。然而异构数据系统的数据同步问题在赶集网的应用环境下更加明显。赶集网曾在应用层和系统层解决同步问题,都未取得进展,因此赶集网在实践过程中开发一套基于Tungsten Replicator的通用的CDC(Change Data Capture)解决方案。

    赶集网蔡峰:轻松解决异构数据同步

    赶集网蔡峰:轻松解决异构数据同步
    ▲CDC在赶集的应用案例

      基于Tungsten Replicator的通用的CDC解决方案具备通用性,高可用,低延迟等特性,已经被广泛应用于赶集网的各个业务和核心数据处理流程, 大幅度简化了系统架构的复杂度,减少了开发的难度和工作量。该方案的核心功能目前已经开源。

      演讲人蔡峰介绍:超过10年的软件行业及互联网行业工作经验,积累了丰富的软件开发和项目管理经验。在项目管理,系统架构,性能优化,NoSQL等领域有广泛涉猎。在赶集网主要负责新技术研究,系统架构优化,性能监控等方面的工作。