大数据平台

本文继续针对运维监控体系的另一重要内容，即告警分析、处理及发送功能进行分享。

Mathan Marz的大作Big Data: Principles and best practices of scalable real-time data systems介绍了Lambda Architecture的概念，用于在大数据架构中，如何让real-time与batch job更好地结合起来，以达成对大数据的实时处理。

玫瑰篇主要是说Spark Streaming的优势点，刺篇就是描述Spark Streaming 的一些问题，做选型前关注这些问题可以有效的降低使用风险。说人话：其实就是讲Spark Streaming 的好处与坑。 2016-01-28 10:11:30 Spark StreaSpark大数据平台 大数据的六大人工智能变现方式 人工智能领域的一些理论和比较实用的方法，已经开始用于大数据分析方面，并显现出初步令人振奋的结果。至此大数据的价值变现潜能开始逐步被人工智能释放。同时，大数据技术的发展也将在为人工智能提供用武之地的同时，唤醒人工智能巨大的潜力，从而使这两个领域的技术和应用出现加速发展的趋势。

近年来，互联网公司中大数据平台的建设和安全一直是热点。笔者计划发两篇文章参与一下讨论，一篇架构+一篇安全。本文不依托于任何一家大厂的平台架构，用通俗的语言介绍一下大数据平台的整体架构。

任何完整的大数据平台，一般包括数据采集、数据存储、数据处理、数据展现(可视化，报表和监控)这几个过程。我们今天就来看看当前可用的一些数据采集的产品，重点关注一些它们是如何做到高可靠，高性能和高扩展。

4月14-15日在北京珠三角JW万豪酒店，51CTO将举办WOT互联网运维与开发者峰会。WOT秉承专注技术，服务技术人群的理念，自 2012年首次举办以来，历经4届，积累了大量的技术资源，成为广大技术从业者和技术爱好者一致认可的技术分享大会、交流和人脉拓展平台。记者专访了本次大会大数据与运维专场的杨大海讲师，他分享的内容：《优酷土豆大数据平台的演化之路 》。

对Hadoop与Spark孰优孰劣这个问题，最准确的观点就是，设计人员旨在让Hadoop和Spark在同一个团队里面协同运行。 2016-03-16 14:59:09 HadoopSpark大数据平台 拿到用户数据之后，LinkedIn怎么赚钱? LinkedIn有很多数据。他们是如何用数据给各个部门提供数据服务，帮助他们赚钱的呢?这里有三个关键词：助力、优化、创新，用数据来持续不断为商业增值的手段。 2016-03-16 10:56:12 数据营销数据分析LinkedIn 数据分析工作常见的七种错误及规避技巧 福尔摩斯有一句名言是如何定义侦探的,而数据科学家在商业中的角色就类似侦探。“我是福尔摩斯，我的工作就是发现别人不知道的。”企业要想保持竞争力,它必须比大数据分析做的更多。 2016-03-16 10:39:30 数据分析数据科学可视化 如何基于Spark进行用户画像？ 如果你面对5万个匿名驾驶员线路的数据集，你知道如何根据路线研发出一个驾驶类型的算法类签名，来表征驾驶员的特征吗？本文就从数据分析、机器学习和结果等三个方面介绍comSysto团队解决以上问题的过程。

下面我们将从不同发展阶段来介绍大数据平台的演化和大数据基础设施的演进过程。

保护大数据平台需要结合传统的安全工具、新开发的工具集和智能流程，以在大数据平台的生命周期内监控安全性。

千里之堤，溃于蚁穴，糟糕的数据质量往往就会带来低效的数据开发，不准确的数据分析，最终导致错误的业务决策。而网易也在数据质量方面不断探索，本文将对网易有数大数据平台的子产品，数据质量中心的现状及规划方向进行简要介绍。 2021-09-23 17:21:19 网易数据质量大数据平台 如何用Python数据可视化来分析用户留存率，建议收藏 今天和大家来分享一些数据可视化方向的干货，我们来尝试用Python来绘制一下“漏斗图”，但愿大家在看完本篇文章之后会有所收获。 2021-09-23 17:10:48 Python可视化漏斗图 中国将加快大数据、人工智能、基因技术等知识产权立法 中共中央、国务院近日印发的《知识产权强国建设纲要(2021-2035年)》透露，中国将加快大数据、人工智能、基因技术等新领域新业态知识产权立法，并建立健全新技术、新产业、新业态、新模式知识产权保护规则。 2021-09-23 10:35:12 大数据人工智能技术 大数据是不会骗人的，疫情源头大概率在美国 美国是全球公认的“超疾大国”。新冠病毒在其国内大快朵颐了这么久，按照约翰·霍普金斯大学统计的死亡病例数据来看，已经超过了1918年大流感，按照更高的统计口径，突破70万也是指日可待的事情——这还是最大的悲剧，更大的悲剧是：美国的疫情到现在还看不到结束的希望。 2021-09-23 10:31:18 大数据疫情美国 企业2022年数字营销策略必须包含的五个数据点 大数据技术在企业的数字营销策略中可能非常重要，但前提是专注于正确的数据点。 2021-09-22 14:02:50 大数据数字营销技术 一键双连！金山云大数据云和DragonBase数据库双双入选沙利文领导者象限 近日,国际权威分析机构沙利文联合头豹研究院正式发布《2020年中国金融级分布式数据库市场报告》，金山云DragonBase凭借前瞻性的技术研发、卓越的产品能力和优秀的商业化表现，成功跻身领导者象限。

Kafka 在马蜂窝也有非常广泛的应用，为很多核心的业务提供支撑。本文将围绕 Kafka 在马蜂窝大数据平台的应用实践，介绍相关业务场景、在 Kafka 应用的不同阶段我们遇到了哪些问题以及如何解决、之后还有哪些计划等。

随着移动互联网、物联网、云计算等新一代信息技术的不断成熟与普及，产生了海量的数据资源，人类社会进入大数据时代。大数据不仅增长迅速，而且已经渗透到各行各业，发展成为重要的生产要素和战略资产，蕴含着巨大的价值。那么城市大数据平台对于智慧城市的建设有什么重要意义?

本篇文章中，联通大数据平台维护团队将对几种常见监控组合进行介绍，并基于丰富的实战经验，对集群主机及其接口机监控进行系统性总结。

人工智能、大数据与云计算三者有着密不可分的联系。人工智能从1956年开始发展，在大数据技术出现之前已经发展了数十年，几起几落，但当遇到了大数据与分布式技术的发展，解决了计算力和训练数据量的问题，开始产生巨大的生产价值。

大数据平台架构的层次划分没啥标准，以前笔者曾经做过大数据应用规划，也是非常纠结，因为应用的分类也是横纵交错，后来还是觉得体现一个“能用”原则，清晰且容易理解，能指导建设，这里将大数据平台划分为“五横一纵”。