领导
2019年猫双11流量高峰过后,阿里巴巴正式宣布,其核心系统已经在100%的阿里云公共云中运行。 因此,阿里巴巴成为世界上首家在公共云上运营核心交易系统100%的大型互联网公司。 我站在11年前眺望着今天,没有人想到那个会进入现实。
俗话说:“避开第一天,避不开双十一天”。
到现在为止如何牢牢地压着钱包,以贫穷为名发誓“不向东方回报”,但最后的8成因为国民狂热的购物氛围的影响,没能按下下发出订单的按钮。 为了榨取大家银行卡的馀额,广告店纷纷前来,好像大声喊着“看到这个也不需要钱”,信用卡和花歌也悄悄地提高消费额,在世界各地买! 买!
不用担心“昨天最好的表现是今天的最低要求”,今年的天猫双11再次继续“神话”。 0点开业,几乎每隔1秒就有了新的记录。
1分36秒突破100亿,比去年的使用时间提前29秒
12分49秒就突破了500亿,使用时间比去年缩短了一半
以1小时03分59秒突破1000亿大关,比去年提前了43分27秒
14点21分27秒突破2000亿大关,比去年提前8小时7分10秒
刚过16小时31分12秒,天猫双11再次突破去年全日2135亿元的总收入。
对于世界上最大流量峰值的对数亿消费者来说,这个被称为天文数字的成交额意味着从提交订单到支付成功仅仅只是几秒钟的背后服务器来说,必须忍受的只是岩浆的瞬间喷发——这个流量峰值而已
这是购买力极限和技术极限的战争,也是支持宝贵新技术的最高训练场所。 正如阿里巴巴董事局主席张勇所言,“过去11年来,我们从未回答过双方11项预测销售额的问题。 我最关心的是我们的技术能够支持每秒多少件订单的处理”。
天猫最新数据显示,2019年天猫双11交易高峰达到54.4万件/秒,2009年首次达到双11的1360倍,2018年达到48万件/秒。
“我们抵抗了! ’阿里云官方微信号表示。
2019年猫双11流量高峰过后,阿里巴巴正式宣布,其核心系统已经在100%的阿里云公共云中运行。 因此,阿里巴巴成为世界上首家在公共云上运营核心交易系统100%的大型互联网公司。
我站在11年前眺望着今天,没有人想到那个会进入现实。
蚂蚁的“走向IOE”革命
10月25日,阿里巴巴巴副总裁刘振飞说:“十年研一剑:
从2009年开始“去IOE”项目到2019年OceanBase获得TPC-C世界第一的报道回顾了阿里巴巴“去IOE”的完整历史。
据刘振飞介绍,10年前( 2009年)的9月,他被命令成立当时的淘宝技术保障部,很快就开始了2010年的技术预算工作。 他第一次向时任集团的最高设计者王坚博士报告预算时,夸口说“2010年不再买小型机了”。
出乎意料的是,这句话不仅没有得到王坚的赞扬,还被王博士严厉批评了。 “2010年不买小型飞机也没关系,为什么给自己留下生存的馀地,2011年以后也能买到呢? “从2010年开始就不再购买小型机了! ’他说
因此,蚂蚁成立了几年后争论的“去IOE”项目。
“到IOE”是IBM、Oracle和EMC的简称,三位都是国外的IT巨头,其中IBM代表硬件和总体解决方案提供商,Oracle代表数据库,EMC代表数据存储。 IOE这个说法最初来自于蚂蚁技术团队内部的称呼,传播到整个业界,具有更广泛的意义。 也就是说,一些核心领域要求自主控制其IT系统和设备。 例如金融、电信、能源等领域。 在这些领域,以“IOE”为代表的海外IT制造商占有压倒性优势,其中IBM的大规模服务器垄断地位尤其明显。
为了满足王博士的要求,刘振飞通往IOE的技术路线“低成本、线性控制、中心化(分散) :去IBM,PC Sever去代替小型机的Oracle,去用MySQL替换EMC,使用低端存储”。
他最后用感叹号结束说:“从淘宝2010年开始就不买小型机了! ”用粗体字写的第二年,刘振飞还提出了MySQL+自研数据库( OceanBase )代替Oracle,不再使用高端存储。
当时蚂蚁在“去IOE”的时候,可能没有必要实现中国在数据库领域能够自主控制的野心,但是这个战略最初是无能为力的。
财新发表的《乘阿里云去IOE》的报道,从2006年和2007年开始,业务迅速成长的蚂蚁开始面对世界性的问题——数据库太大。 2008年,蚂蚁数据库成为亚洲最大的数据库用户。 以当时的技术能力,这样大规模的数据库已经不可扩展。
“我们邀请了中国最着名的数据库管理员( DBA )来公司,一晚上不能做一份报告,没有公司包括IBM、微软。 可以为我们提供一系列的技术服务”阿里巴巴巴研究开发院业务发展专家孙黎明回忆道。
IOE框架也不能满足蚂蚁电气商业平台的秒杀类营销推广。 “为了准备秒杀市场营销,从采购社会到引进至少需要半年时间,但半年后,这项业务几乎不存在了。”
在像“双十一”这样的业务激增的时候,IOE体系结构最令人头疼的是估计交易量,为了确保停机需要多少服务器和数据库? 尽管马太的大型服务器和数据库一次都是浪费的,但是买得太小就无法保证业务。
治标的方法山穷水尽,必须从治本的观点出发寻找新的解决办法。 例如,必须在框架一级单元化为“搞革命”。
2010年5月,正祥加入淘宝,开辟了OceanBase自主开发的道路。 十年后的今天回顾过去,期间经历的各种苦难、遭遇的各种反对、忍耐的讽刺,成为长篇传说故事的动人细节。 在这10年间,OceanBase有可能多次死亡,但OceanBase一直持续着
2011.11OceanBase首次支持双十一,为淘宝最爱服务
2012.11OceanBase转战支援宝
2014.11OceanBase负责支付宝交易的10%流量
2015.11 OceanBase承担支付宝交易100%、支付50%的流量
2016.11OceanBase负责支付宝交易100%、支付100%、花歌会计30%的流量
2017.11 OceanBase负责支付宝交易100%、支付100%、会计100%的流量,“去o”完成后首次离开蚂蚁,应用于南京银行的网络核心系统
2018.09云栖大会发布了OceanBase 2.0,正式发布了与Oracle的兼容性
2019.10OceanBase发布Oracle兼容版本2.2,并发布TPC-C结果
OceanBase究竟是如何实现的
与传统企业相比,以蚂蚁为首的互联网企业最大的不同之一就是同时访问量非常大。 传统商业企业、银行需要用户通过收银机、银行终端、ATM交易所、POS机等专用设备开展业务,访问数据库,数百个数据库同时访问比较常见,数万个同时访问极少。 在互联网上,草根每个用户都可以开始购物交易,访问数据库,数十万数据库同时访问。 数百万人到千万人同时访问(如双十一下淘宝、天猫和支付宝)。 这些大规模的并发访问无法承担业务数据库软件、可靠的数据库服务器和共享存储的成本。
因此,如前所述,传统的数据库体系结构不能满足蚂蚁的实际需要。 那么,IBM、微软等公司做不到的事情,蚂蚁自己研究的OceanBase怎么能做呢?
阿里金服高级研究员阳振坤在《阿里服务网络金融关系数据库——OceanBase》中详细介绍了ocean base背后的应用技术。
OceanBase的基本假设是硬件(服务器、存储、网络等)不可靠,另一个基本假设是独立(数据库服务器和共享存储)无法满足internet业务需求。 因此,OceanBase必须是多机(分布式)系统,并且必须确保随时发生的少量硬件(服务器、存储、网络等)不会影响业务。
因此,OceanBase引入了Paxos协议,并且对于每个事务,在主库运行完成之后,与一半以上的库(包括主库本身)同步,例如,三个库中的两个或五个库中的三个 因此,少数库(例如,三个库中的一个库或五个库中的两个库)异常对业务没有影响
与传统数据库相比,OceanBase的另一个重要特点是软件版本的灰度升级。
传统的主备份数据库是“单库”,只有主库可以执行写入事务。 在维护升级过程中,您可以操作备份库,使备份库成为主库并接受用户访问。 如果新版本出现问题,业务可能会受到影响
传统数据库:升级前
传统数据库:正在升级
传统数据库:升级后,一次只能部署所有读写流量
OceanBase是一种“多元化”设计,其中多个库(三个、五个等)中的每一个都具有部分读写流量,用于隔离升级时要升级的库的读写流量,在升级后进行数据比较,并且在成功时进行读写流量比较
0
OceanBase三机群(三库)部署:升级前
OceanBase的三机群(三库)部署:隔断读写流量,准备升级
对于允许少量服务器发生故障的OceanBase,基于硬件不可信的假设,该OceanBase使用相对便宜的PC服务器来代替可信的服务器,并且不使用昂贵的共享存储设备,只提供远低于使用可信的服务器和共享存储设备的成本 通过灰度升级,OceanBase避免了传统数据库的“单锤买卖”升级,大大降低了数据库维护升级的风险。
OceanBase“打败”甲骨文?
10月2日,70年大庆假日,国际权威绩效测试机构TPC ( transactionprocessingperformancecouncil )最新的TPC-C绩效测试结果排名( TPC-c-all results-sortedbper )
在这个最新排行榜中,排在第一位的是阿里巴里亚金服集团提出的,接受了TPC严格监督的测试结果。
暂时,“中国的自我研究数据库超过Oracle,世界第一”成为各媒体的首位!
但是,大家还不高兴,很多业务人员都开始“浇水”。 根据性能的测试结果,蚂蚁的金衣服确实是第1位,从1分钟内可处理的事务数据来看,“蚂蚁”的60,880,800 tpmc是“甲骨文”的30,249,688 tpmc的2倍。 但值得注意的是,该排名测试结果仅有3年有效期,除“蚂蚁”外,其他公司很长时间没有参加测试,以前的测试结果都到期了。
灰色背景测试结果因硬件和软件升级而过期,只有“蚂蚁”背景变白
所以只能说“阿里金服OceanBase现在的测试成绩是Oracle数据库9年前的测试成绩的两倍”。
尽管如此,OceanBase还是值得称赞的。
过去,国产数据库经过多年的发展,取得了很大的进步,但三大基础软件中最脆弱的部分,不能取代以Oracle为代表的海外数据库,也没有在国际权威的测试中取得过明显的成绩。 因此,OceanBase参加了TPC-C测试,国产数据库首次在国际竞技舞台上公开。 凭着这次参与的勇气和为此付出的努力和成本,OceanBase足以令业界震惊。 而且OceanBase的测试结果至少达到了Oracle年前的水平,这也显示出国产数据库和国际领先水平的差距在大幅缩小。
结语
这是第11双11,也是马云卸任后的头双11。
看到这样的好成绩,曾经“后悔创蚂蚁”今年9月卸任阿里巴集团董事局主席的马云在台上大笑。
吃吃买,心情会一直好起来,用自己挣来的钱来鼓励自己,这是怎么回事呢?