手机网站
手机网站
原创标题:搜狐、美团和小米都在使用的阿帕奇多丽丝有什么优点？| BDTC 2019
[指南]12月5日至7日，由中国计算机联合会主办、中国大数据专家委员会主办、CSDN和中国技术天极协办的中国大数据技术大会(BDTC 2019)在北京长城饭店隆重举行。100多名顶尖技术专家和1000多名大数据从业者齐聚一堂，以“大数据驱动智能+”为主题，聚焦智能时代大数据技术的发展曲线，围绕大数据与社会各行业结合的最新实践，进行深入解读和讨论。
马目前是百度杰出的建筑师。他主要负责百度内外大数据处理相关产品的策划和研究。他开发的Doris分析数据库将在2018年成为Apache开源孵化项目。在领导数据库方向的分析之前，他是百度分布式计算方向的技术总监和百度Hadoop团队的创始人。
桃乐丝是一个阿帕奇孵化项目。作为MPP体系结构的关系分析数据库，它的性能非常好。此外，Doris与MySQL协议高度兼容，支持在线表格结构更改，并且不依赖任何外部存储；扩展能力强，单个集群可以横向扩展到200多个单元；多副本数据和元数据高度可用，并且支持卡夫卡流式导入。我们希望吸引更多的外部捐助者在未来做出有效的改进。
的以下内容是真实的演讲:
多丽丝作为一个阿帕奇孵化项目，被搜狐、小灵通、美团、小米、京东等许多大企业所使用。多丽丝产品大约十年前在百度首次开发。目前，内部部分数据仓库基本上运行在DORIS产品上。作为MPP体系结构的关系分析数据库，DORIS产品最初在设计过程中追求方便和解决问题，支持PB级。由于传统的数据仓库主要是商业智能的发展方向，它没有对高并发性和高可用性做太多的优化，而是侧重于多维分析和报表查询功能。多丽丝可以保证7×24小时服务，并且不会通过滚动升级中断在线服务。多丽丝于2017年在Github上开源，并于2018年进入阿帕奇孵化器
特别谈到了多丽丝的特点，出色的表现是不可忽视的一个方面。为了理解数据库的出色性能，我们需要看看它的场景。离开现场，笼统地谈论数据库性能是不科学的。在单个后端高并发的情况下，多丽丝的查询性能可以达到每秒8000多次，一个100节点的集群基本上可以达到数万到数十万QPS的性能，基本上可以满足百度统计等查询要求，支持整个网络的数十万个网站和应用此外，Doris与MySQL协议高度兼容，并支持在线表格结构更改。为了便于部署，只设置了两个过程，即有限元和边界元。FE负责元数据存储、查询分析和规划，BE负责数据存储和查询运算符执行。
基于这一点，我们都知道在线更改像麒麟这样的系统是非常不方便的。简单地添加和删除列可能需要重新列表，这会影响在线服务，并且依赖于许多Hadoop组件，使得部署和使用非常复杂。然而，Doris是高度集成的，不太依赖外部存储。它可以快速安装，主节点可以高度可用。即使是切换也可以做到不易察觉和易于操作。此外，多丽丝具有很强的可扩展性和优雅的架构。它的单个集群可以水平扩展到200多个单元。它支持卡夫卡流式导入集群。通过ODBC，JDBC链接前端可视化工具或开发应用，多丽丝显示出高可用性和多副本等优势。作为一个面向大型企业的开源软件，多丽丝在实践中积累了大量的努力，在解决实际问题上取得了良好的效果。
在JD.com，他们主要利用多丽丝解决京东广告平台的报表查询，需要满足每日一千万级查询、每日一百亿级增量、毫秒级查询延迟、每日一百亿级报表查询/多维分析/日志分析等数据指标多丽丝在618年的晋升期表现出色。另外，在美团数据仓库迁移过程中，原始数据建模是基于阿帕奇麒麟的。由于麒麟的立方体预构建将导致更多的数据重复，保持数据的及时性需要每天重新计算大量的历史数据。然而，数据建模现在主要基于Doris，它每天同步维度表和事实表，并且即席查询就足够了。
关于多丽丝未来，我们希望吸引更多的外部捐助者加入社区，共同提高多丽丝。多丽丝的下一个主要研发计划，包括存储和计算分离。我们发现目前存储节点上存在大量的历史数据，我们希望将来能够将Doris存储在云上的对象存储中，并改进成云本地数据库。毕竟，一旦在云中部署了灵活的计算资源，一旦计算和存储分离，成本就会相应降低。引入新的存储格式以提高存储效率，包括索引、新的实时更新存储引擎等。，以提高效率；此外，将在查询优化方面做出努力，例如开发新的查询优化框架来支持CBO。
目前，云上有许多企业用户，每天都在使用商业版的Doris。每个人都可以关注多丽丝社区。
◆
◆
2020，CSDN发起的“Python开发者日”正式启动我们将与获得PyCon官方授权的PyCon中国社区合作，与顶尖企业、行业和技术专家携手合作，通过精彩的技术干货内容、有趣而多样的活动和许多其他体验，为中国IT技术开发商搭建一个专业、开放的交流和成长之家。未来，我们将与成千上万的中国开发者分享技术和实践技术，打造中国原创技术的力量。
