OLAP

CK 和 Doris 都是基于 MPP 的，有自定义的存储格式。目前主要用于实时指标和明细数据查询，承担了小部分流量，在 1%-2% 左右，现在还在进一步深度测试。

DuckDB 是一个 In-Process 的 OLAP 数据库，可以理解为 AP 版本的 SQLite，但其底层是列式存储。2019 年 SIGMOD 有一篇 Demo 论文介绍 DuckDB：an embedded analytical database。

数据环境在 2023 年发生了重大变化，为数据工程团队带来了新的机遇（和潜在挑战）。今年，我们将在分析、OLAP、数据工程和服务层领域看到以下内容，这将为团队提供更好的协议和更多工具选择。

本次分享介绍转转在OLAP自助分析场景的实践。主要围绕背景介绍、技术实现、问题优化展开和大家聊聊转转为什么要做自助分析，以及期间踩过的一些坑，希望能给读者朋友带来一些参考。

本文主要介绍了转转OLAP分析架构的选型和实践，通过引入 Druid 和 Clickhouse ，解决了公司当前场景下的多维分析需求。

ADS层数据本质上面向业务的，高度业务化的数据。可以认为是基于DW层分析的结果，很多情况下是指标、标签等计算结果。本书在后续内容中使用ADS名词时，如无特殊说明，均指基于DW层分析后的业务化的结果。

新一代分布式 OLTP 数据库正式完成了分布式领域对数据库核心特性的完整支持，它代表了分布式数据库从此走向了成熟，也表明了 OLAP 与 OLTP 分布式场景下，分别在各自领域内取得了胜利。

传统的事务处理数据库环境和数据仓库环境的另一个重要的区别在于，数据仓库环境中有很多的数据，比一般的操作型环境中要多得多，以万亿或千万亿计，而一个通用的DBMS通常管理下的传统事务处理数据库中的数据要少得多。

多点的渐进式创新也证明，PingCAP 的 TiDB 不仅具备先进的性能和架构，更拥有完善的工具、接口和服务支持，能够在与传统数据库的联合作战中从容自如。而对于广大用户来说，这样的应用方式则提供了一个低成本、低风险且快速切入新技术的绝佳机遇。

既然要数据，那么就得取数，谁来取数，怎么取?可能是一个销售人员在用Excel取，可能是一个DBA从生产数据库中查，也可能是一个数据开发人员写SQL或者写程序从数据仓库中取。

微软SQL Server分析服务（SSAS）提供了一个用来创建和管理数据挖掘应用和在线分析处理系统的强大引擎，你应该仔细的监测和优化OLAP数据库和潜在的关系数据源。 2015-04-14 15:24:01 SQL ServerOLAPDBA SQL注入，你想知道的那些事 戴上你的黑帽，现在我们来学习一些关于SQL注入真正有趣的东西。请记住，你们都好好地用这些将要看到的东西，好吗?

在近日召开的Kyligence 2022 春季线上论坛上，Kyligence重点介绍了 “OLAP on 数据湖”企业级OLAP解决方案、产品运营新模式“云上数据分析代运营”、企业级指标中台等服务，旨在给与企业更加专业的数据治理，更好地提升企业内部的决策运行效率，最终在企业内外打造良好的数据生态闭环。

OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理。OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。

数仓一般是多维模型模型，数据分层，ETL处理。它的数据源来源很多，格式也很多，比如结构化的数据，非结构化的数据。 2021-05-09 21:57:08 数据仓库Olap 构建大数据架构：核心组件优秀做法 大数据架构可随着企业大数据计划的发展而扩展-无论是所使用的数据量，企业用例数量–取决于企业的大数据。 2021-05-09 15:32:50 大数据架构大数据数据 大数据开发岗位是一份好工作吗？大数据开发值不值得学习？ 在许多求职者，寻找工作的时候，最先考虑的就是工作的稳定性和未来发展前景。一个好的工作都是兼具这三方要素的。 2021-05-08 23:26:32 大数据薪资工作 大数据和云计算的关系 云计算是作为计算资源的底层，支撑着上层得大数据处理，而大数据得发展趋势，是实时交互式得查询效率和分析能力。

数据挖掘(Data Mining)，又称为数据库中的知识发现(Knowledge Discovery in Database, KDD)，就是从大量数据中获取有效的、新颖的、潜在有用的、最终可理解的模式的非平凡过程，简单的说，数据挖掘就是从大量数据中提取或“挖掘”知识。 2020-03-31 14:57:56 数据挖掘OLAP统计 建好公安大数据 助力智慧警务转型 大数据破案、视频抓逃、指尖办事……在人工智能、物联网、云计算等信息化技术迅速发展的当下，公安大数据已经成为构成公安战斗力的重要因素。 2020-03-31 14:09:05 大数据公安技术 十年经验的我详解阿里数据中台，小白都能看懂 造概念这个词，IT行业的各位可能并不陌生。中文博大精深，我很佩服可以发明出新名词、新概念的人，这些词简单准确，既可以被大众接受，又可以被专家把玩，真正做到雅俗共赏、各有趣味。