分析

在McKinsey 2018年1月的研究报告 “Analytics Comes of Age”中，以大数据分析为代表的高级分析技术对于销售与营销、研究与开发(R&D)、包括分销在内的供应链管理(SCM)、工作场所管理与运行等领域的营收促进效果最为明显。

本文分享的主题是中小型企业基于大数据技术的项目实践，笔者将从大数据技术栈开始说起，并在后文分享自己在工程实践中的一些具体经验。

业务跑的好好的，各系统稳定运行，为何还要搭建企业的数据平台?这样的问题，心里想想就可以了，不要大声问出来。我来直接回答一下，公司一般在什么情况下需要搭建数据平台，对各种数据进行重新架构。 2018-04-27 13:11:02 数据平台分析数据整合 数据危机再起！外卖平台信息泄露拷问企业数据资产管理 前不久刚发生了Facebook数据泄露事件，Facebook首席执行官马克·扎克伯格在长达10个小时里接受了近百名美国议员的拷问，回答了关于数据隐私、虚假信息、监管等共计600个问题。 2018-04-27 12:06:59 数据泄露数据管理安全 华为发布新一代企业级分布式数据仓库FusionInsight LibrA 在华为全球金融峰会上，华为发布了新一代企业级分布式数据仓库FusionInsight LibrA 解决方案，旨在为各行业客户提供统一的、可扩展的、高性能的数据分析平台。LibrA支持全并行计算、行列混存、向量化执行、弹性伸缩资源等技术，实现万亿数据关联分析秒级响应和全文检索，从而帮助客户快速分析、挖掘数据价值。 2018-04-26 18:23:37 华为 观点:Gartner只是否定Hadoop一体化平台模式 很多Hadoop忠实使用者对这篇报告进行了大量抨击，一个比一个理由丰富，言辞激烈。但是，很多人都错误得或者没有完全理解这篇报告。

几年间，大数据距离成为业务的核心就仅差一步。直到谷歌的无人驾驶汽车项目出现，我忽然如梦初醒，这不就是业务与数据的无缝对接吗？问题来了：商业运营的过程能像无人驾驶汽车一样实现全面的自动化吗？ 2017-11-17 08:58:00 智能数据分析 得益于AI，这五个行业岗位需求将呈现显著增长趋势 人工智能与其他任何颠覆性技术发明一样，由此出现的更快速、更高效的机器必然会取代部分人类工作者。但是，那些担心 AI 会抢走他们工作的人其实大可不必如此紧张，因为 AI 也会催生新的工作岗位，而他们至少可以往这些新工作方向发展。 2017-11-16 19:47:34 人工智能数据科学AI 海量数据流的最佳算法实战 为了高效地分析海量的数据，科学家首先要将大数打破成碎片。作者循序渐进地阐述了一个处理海量数据流的最佳流式算法，算法经过不断改进，是超大规模数据流高性能分析的新算法，以下是译文。 2017-11-16 19:26:34 海量数据算法计算机 你需要了解关于Hadoop与大数据的12个事实 人们在谈论Hadoop的时候，常常把它当做单一产品来看待，但事实上它由多个不同的产品共同组成。而且“千万别以为Hadoop是免费的或者很便宜，它背后的隐性开销你是一下子看不到的。” 2017-11-16 18:48:48 Hadoop数据库数据处理 大数据看吃货：最热门的20道中国菜出炉，你吃过几样？ 俗话说“民以食为天”。在中国，虽然大家对“吃”有着一致的重视，但各地在食料、烹饪技法和风味上却大不相同，而“菜系”就是对这种饮食地域差异最直接的特征体现。 2017-11-16 16:08:31 大数据中国菜吃货 Go语言如何实现遗传算法 本文将重点介绍如何用Go语言实现遗传算法。如果你还没有参加过GoLang Tour，我还建议你快速看一下这门语言的介绍。话不多说，让我们开始从代码说起吧!

人们常说流量即销量，而双11的流量争夺更多的是与前期的推广促销活动息息相关。那么前期的推广活动该如何进行呢?如何在这一场较量中取得流量、销量的双绝杀呢?首先要对网站进行分析，其目的就是提升网站流量，吸引更多的用户。我们从网页项目、关键词准备、广告推广、会员分析四个方面来说明。 2017-11-10 12:55:30 分析流量销量 提高数据质量和业务分析水平的5个大数据源 信息就是力量，特别是在电子商务领域。企业可以通过收集来自市场上不同数据源的数据，为业务提供有利信息，并节省成本。但是，在哪里可以找到可操作的免费的可靠信息呢? 2017-11-10 12:34:38 大数据数据源免费数据 可视化学习 Go并发编程 想了解并行和并发的区别，推荐看一下Rob Pike的分享(点击阅读原文即可跳转)。在这个视频里，他用形象的Gopher动图，讲解了Go并发的过程。

基于历史(Memory-Based Reasoning)的MBR分析方法最主要的概念是用已知的案例(case)来预测未来案例的一些属性(attribute)，通常找寻最相似的案例来做比较。 2017-10-10 16:32:13 MBR分析数据挖掘 PB级海量数据服务平台架构设计实践 基于PB级海量数据实现数据服务平台，需要从各个不同的角度去权衡，主要包括实践背景、技术选型、架构设计，我们基于这三个方面进行了架构实践，请看正文。 2017-10-10 15:20:10 架构数据存储PB级数据 用随机森林分类算法进行Iris 数据分类训练，是怎样的体验？ MLlib是Spark的机器学习(ML)库，旨在简化机器学习的工程实践工作，并方便扩展到更大规模。 2017-10-10 14:20:11 随机森林分类算法 一份最新的互联网行业薪资报告，你敢看么？ 2017已过去大半，互联网招聘市场也在悄然发生变化，与今年年初相比，一个明显的不同是，在发出面试邀请次数上，互联网金融类企业与生活服务类企业下降了许多，这也许源于两个行业不断自我规范所造成的结果。而云计算和大数据，则几乎主宰了整个第二季度的互联网高端人才市场。 2017-10-10 09:30:43 大数据 互联网 报告 人工智能、大数据、云计算等有望成为行业下一个引擎？ 移动互联网时代硝烟的逐渐散尽让人们开始寻找下一个拉动行业增长的引擎。从目前的表现情况来看，人工智能、大数据、云计算等技术有望成为推动行业增长的下一个引擎。正是因为如此，我们才看到了阿里、腾讯、百度等互联网巨头开始将布局的焦点转移到了这些新技术上面。 2017-10-09 15:14:26 大数据 行业分析 引擎 大数据分析：王者荣耀英雄背景下的分词报告 中文分词在中文信息处理中是最最基础的，无论机器翻译亦或信息检索还是其他相关应用，如果涉及中文，都离不开中文分词，因此中文分词具有极高的地位。 2017-10-08 10:22:00 大数据王者荣耀词汇 大数据计数原理1+0=1这你都不会算(五) 从根节点开始搜索，找到其中一个子树，然后继续遍历，直到叶子节点。遍历叶子节点的所有数据，从而找到对应的数据。若需要附属数据，则直接拿卫星数据。若需要继续遍历这棵树，则使用next指针进行树的遍历。 2017-09-30 08:05:41 大数据计数原理 MySQL技能提升篇 — sqlyog高级应用 本文主要总结下mysql桌面工具 sqlyog 的一些应用吧，在总结的同时，也希望能点燃你不经意的眼睛。 2017-09-29 17:20:13 大数据MySQLsqlyog 荣之联DataZoo大数据平台：基于hadoop但不仅仅只是hadoop 近年来，数据已经成为非常重要的企业资产，通过大数据分析改善管理、提升业务、促进行业转型在业界已达成共识，在此背景下，荣之联自主研发的DataZoo大数据平台应运而生。 2017-09-28 17:20:17 荣之联DataZoohadoop 什么是数据分析的漏斗模型？ 本文主要谈谈漏斗模型的本质、漏斗模型案例分析以及如何绘制漏斗模型。 2017-09-28 16:31:02 大数据数据分析漏斗模型 10道Hadoop面试真题及解题思路 本文主要介绍10道关于Hadoop的面试真题以及解题思路，希望对大家有所帮助。 2017-09-28 15:19:53 Hadoop面试题解题思路 Tier5 新标准？别闹了，亲 前两天看到网上一条新闻：有美国的公司宣称要推出新的标准取代UPTIME的Tier等级体系，并宣称自家的数据中心可以达到Tier5.今天就聊聊关于可靠性的一些看法。

当你分析和可视化数据前，常需要“清理”工作。比如一些输入性列表“New York City” ，同时其他人会说”New York, NY” 。因此你需要标准化这些工作，使看到统一的样式。本文总结推荐22个免费的数据可视化和分析工具。

就“大数据+金融”思维利用而言，国外金融机构有着十足丰富的体现，已经将大数据技术在风险控制、运营管理、销售支持及商业模式创新等领域进行了全面的尝试。

本文主要从排序算法的基本概念、原理出发,分别从算法的时间复杂度、空间复杂度、算法的稳定性和速度等方面进行分析比较。

处理数量庞大、增长迅猛、种类繁多的数据成为众多企业面临的挑战。Teradata天睿公司作为全球领先的分析解决方案与咨询服务供应商，基于客户需求，提供领先、全面、有效的解决方案，帮助企业获取商业洞察力，并且将之转化为行动力，创造商业价值。 2017-04-12 13:12:42 teradata大数据数据 大数据道场(HDP SandBox) 初探 这里的大数据道场是以HDP sandbox 为基础的，安装好了virtual box，导入了sandbox镜像之后，启动虚拟机，来看看我们的大数据道场吧。

现今如此多大数据被收集与分析所带来的问题。当你想寻求更长远的视角而开始回顾过去时，你会发现现在的东西太多而过去的东西又太少。目光短浅深深地植入在高估以历史为代价的短期趋势的强大的结构倾向中。 2017-03-28 14:46:02 大数据弊病分析 批发行业转型，你需要搞定啥? 电商平台的崛起，推动着批发行业的转型，全渠道策略面临三大痛点 2017-03-28 13:59:15 批发行业SAP 从底层到应用，那些数据人的必备技能 数据源头，各种炫酷新技术，搭建Hadoop、Hive、Spark、Kylin、Druid、Beam~，前提是你要懂Java，很多平台都是用Java开发的。 2017-03-28 09:26:01 数据必备技能 Hive源码编译及阅读修改调试 Hive起完全分布式的MR任务也可追踪，但是需要修改节点机上的MR启动时Java参数，而且Hive起一个MR任务时，只有当MR启动后才能知道哪个节点机上启动了该任务，之后才能进行Remote debug连接，这在运行环境为完全分布式时会比较麻烦。但如果运行环境为伪分布式，那么追踪可能会更方便些。

Hive支持多种压缩格式，有的压缩格式支持split，而有的并不支持，比如LZO。当不支持split的时候，数据块有多大，Hive的map任务就得处理多大，而Hive表的分区数据有可能存在不均衡的现象，就会导致有的map快，有的map慢。当遇到LZO格式的时候，最好的方式是建立索引，可以加快处理速度。 2017-03-27 10:48:03 Hive map优化分析 2017 Gartner数据科学魔力象限出炉，16位上榜公司花落谁家？ 2017年Gartner数据科学平台（在2016年被称作“高级分析平台”）的魔力象限报告于近期出炉，哪些企业成为MQ的新宠儿？ 2017-03-22 23:02:31 数据科学魔力象限 解读Wikibon 2017年大数据分析预测报告 Wikibon最近完成了2017年大数据全球预测，该报告的作者是Wikibon分析师George Gilbert，以及Wikibon的Ralph Finos和Peter Burris，涉及到大数据的市场规模、增长和趋势等。 2017-03-22 22:52:52 大数据分析预测报告 强势解析eBay BASE模式、去哪儿及蘑菇街分布式架构 互联网行业是大势所趋，从招聘工资水平即可看出，那么如何提升自我技能，满足互联网行业技能要求？需要以目标为导向，进行技能提升，本文主要针对高并发分布式系统设计、架构(数据一致性)做了分析，祝各位早日走上属于自己的”成金之路”。

在“关系”和“信心”的围墙被修复以后，加上银行的企业级数字化转型策略，他们就可以重新回到建立长期的且有意义的数据驱动的客户关系中，而不是将就着建立不断减弱的、只有在特定情况下才会发生的、一次性交互关系。 2017-02-27 10:51:23 大数据分析方法 电商社交数据在大数据风控的应用实践 随着普惠金融业务的深入，以及消费金融业务竞争的白热化，针对信用白户的风控显得尤为重要。如何面向信用白户进行快速有效的信用评级，卧龙大数据根据自己的实践经验，就电商、社交数据在风控上的应用价值与大家进行一些分享。 2017-02-24 19:45:58 电商社交数据风控 基于微博数据用Python打造一颗“心” 一年一度的虐狗节终于过去了，朋友圈各种晒，晒自拍，晒娃，晒美食，秀恩爱的。程序员在晒什么，程序员在加班。但是礼物还是少不了的，送什么好？作为程序员，我准备了一份特别的礼物，用以往发的微博数据打造一颗“爱心”，我想她一定会感动得哭了吧。哈哈

大数据如此火爆的时代，各种人才倍受青睐。 2017-02-23 08:48:03 数据分析技术 如何利用Tableau对Amazon Redshift数据进行可视化 译文 将Reshift列式数据库的成熟度与速度优势与Tableau的功能丰富性与交互能力相结合，会带来极为出色的实际体验。

数据分析师方向，很多读数学、统计学、计算机的童鞋会选这个方向，终极目标都是成为数据中心的负责人。 2017-01-11 08:51:26 数据分析职业规划 Apache Spark 2.0简介，那些你想知道的事都在这里了 Spark Streaming在大数据领域第一次尝试将批处理和流计算进行了统一。 2017-01-11 08:37:07 Apache SparStreamingDataFrames 人人都会用到的数据可视化之常用图表类型 “数据可视化”可以帮助用户理解数据，一直是热门方向。图表是”数据可视化”的常用手段，其中又以基本图表——柱状图、折线图、饼图等等最为常用。