自助广告
立即入驻
大数据书籍 Big data books

大数据、数据挖掘与智慧运营

以运用大数据挖掘方法提升企业运营业绩与效率为主线,基于企业广泛落地应用案例.

以运用大数据挖掘方法提升企业运营业绩与效率为主线,基于企业广泛落地应用案例,本书提供二维码下载案例代码和作者微课视频.

编辑推荐

  随着移动互联网和物联网时代的来临,人和万事万物被广泛地联系在一起。人们在联系的过程产生了大量的数据,例如用户基础信息、网页浏览记录、历史消费记录、视频监控影像,等等。据此,以Google为首的互联网公司提出了“大数据”(BigData)的概念,并声称人类已经脱离了信息时代(InformationTime,IT),进入了大数据时代(DataTime,DT)。显然,海量数据包含了非常丰富的浅层次信息和深层次知识。对于同一竞争领域的企业,谁能获取*大量的数据,展开*精准的数据挖掘与建模分析,并加以精细化的落地实施,谁便能在行业竞争中取得优势。
对于运营商企业而言,其具备的一个显著优势便是手握海量数据资源。如果能运用先进的数据挖掘技术找出客户的行为规律,从传统的经验式、粗放式、“一刀切”式的运营决策向数据化、精细化、个性化的运营决策转型,运营商将迎来新的腾飞。上述运营模式转型的目标,便是所谓的“智慧运营”。

内容简介

  本书系统地介绍了大数据挖掘的基本概念、经典挖掘算法、挖掘工具和企业智慧运营应用案例。
全书分为9章,内容包括:大数据挖掘与智慧运营的概念,数据预处理,数据挖掘中的四种主流算法:聚类分析、分类分析、回归分析、关联分析,增强型数据挖掘算法,数据挖掘在运营商智慧运营中的应用案例,未来大数据挖掘的发展趋势等。
全书以运用大数据挖掘方法提升企业运营业绩与效率为主线,从运营商实际工作中选取了大量运营和销售案例,详细讲述了数据采集、挖掘建模、模型落地与精准营销的全部过程。书中大部分案例的代码、软件操作流程和微课视频可以通过扫描本书封底的二维码下载。
本书主要面向运营商及其他高科技企业员工、高等院校相关专业本科生和研究生,以及其他对数据挖掘与精准营销感兴趣的读者。

作者简介

  梁栋,博士毕业于北京邮电大学信号与系统专业,现任教于北京邮电大学,硕士研究生导师,曾主持和参加多项国家自然科学基金项目、国家863课题项目、国家973科技项目和多项省部级科研项目,主要研究方向为大数据、数据挖掘与智慧运营,所带领的研究团队在包括IEEE Internet of things Journal、IEEE International Conference on Data Mining等著名学术期刊和会议上发表高水平学术论文20多篇,并且长期与中国移动等运营商企业进行科技产业化合作,在大数据、数据挖掘技术运用于企业智慧化运营方面有着丰富的落地经验。

目录

第1章大数据、数据挖掘与智慧运营综述1
1.1数据挖掘的发展史2
1.1.1数据挖掘的定义与起源2
1.1.2数据挖掘的早期发展3
1.1.3数据挖掘的算法前传4
1.1.4数据挖掘的第一个里程碑8
1.1.5最近十年的发展与应用11
1.2数据挖掘的主要流程与金字塔模型13
1.2.1数据挖掘的任务14
1.2.2数据挖掘的基本步骤16
1.2.3数据挖掘的架构——云计算17
1.2.4“金字塔”模型20
1.3数据挖掘对智慧运营的意义22
1.3.1“互联网+”时代的来临及其对运营商的冲击和挑战22
1.3.2大数据时代的来临及其对运营商的挑战和机遇24
1.3.3电信运营商运营发展面临的主要瓶颈26
1.3.4电信运营商发展的“三条曲线”27
1.3.5智慧运营与大数据变现29
1.3.6数据挖掘对于提升智慧运营效率的意义30
1.4大数据时代已经来临31
1.4.1大数据的定义31
1.4.2大数据的“4V”特征32
1.4.3结构化数据与非结构化数据33
1.5非结构化数据挖掘的研究进展34
1.5.1文本挖掘34
1.5.2模式识别36
1.5.3语音识别40
1.5.4视频识别44
1.5.5其他非结构化数据挖掘48
1.6数据挖掘与机器学习、深度学习、人工智能及云计算50
1.6.1机器学习51
1.6.2深度学习53
1.6.3人工智能55
1.6.4云计算56
1.7现有数据挖掘的主要分析软件与系统61
1.7.1Hadoop61
1.7.2Storm63
1.7.3Spark65
1.7.4SPASS(SPSS)66
1.7.5SAS68
参考文献70
第2章数据统计与数据预处理73
2.1数据属性类型74
2.1.1数据属性定义74
2.1.2离散属性74
2.1.3连续属性75
2.2数据的统计特性77
2.2.1中心趋势度量77
2.2.2数据散布度量78
2.2.3数据相关性82
2.3数据预处理87
2.3.1数据预处理概述87
3.6基于网格的聚类:CLIQUE140
3.6.1基于网格的聚类算法概述140
3.6.2CLIQUE算法的基本原理141
3.6.3CLIQUE算法的优势与劣势142
参考文献143
第4章分类分析145
4.1分类分析概述146
4.2分类分析的评估148
4.3决策树分析152
4.3.1决策树算法的基本原理152
4.3.2CHAID决策树160
4.3.3ID3决策树167
4.3.4C4.5决策树171
4.3.5CART决策树175
4.3.6决策树中的剪枝问题179
4.3.7决策树在SPSS中的应用180
4.4最近邻分析(KNN)185
4.4.1KNN算法的基本原理185
4.4.2KNN算法流程186
4.4.3KNN算法的若干问题187
4.4.4KNN分类器的特征188
4.4.5KNN算法在SPSS中的应用188
4.5贝叶斯分析191
4.5.1贝叶斯定理191
4.5.2朴素贝叶斯分类192
4.5.3贝叶斯网络195
4.6神经网络199
4.6.1感知器200
4.6.2多重人工神经网络201
4.6.3人工神经网络的特点203
4.7支持向量机204
第6章关联分析245
6.1关联分析概述246
6.2关联分析的评估指标247
6.2.1支持度247
6.2.2置信度248
6.2.3算法复杂度248
6.3Apriori算法249
6.3.1频繁项集的定义与产生249
6.3.2先验原理251
6.3.3基于支持度的计数与剪枝252
6.3.4候选项集生成253
6.3.5基于置信度的剪枝259
6.3.6Apriori算法规则生成259
6.4FP-tree算法261
6.4.1频繁模式树261
6.4.2FP-tree算法频繁项集的产生263
6.4.3FP-tree算法规则生成263
6.4.4算法性能对比与评估264
6.5SPSSModeler关联分析实例265
参考文献269
第7章增强型数据挖掘算法271
7.1增强型数据挖掘算法概述272
7.1.1组合方法的优势272
7.1.2构建组合分类器的方法272
7.2随机森林273
7.2.1随机森林的原理273
7.2.2随机森林的优缺点276
7.2.3随机森林的泛化误差276
7.2.4输入特征的选择方法277
7.3Bagging算法277

精彩书摘

  第1章大数据、数据挖掘与智慧运营综述

近年来,大数据、数据挖掘、机器学习、云计算和人工智能等词语日渐为人们所熟悉。本章将围绕上述基本概念和话题展开讨论。本章1.1节介绍数据挖掘的概念和发展史,1.2节介绍数据挖掘的主要流程和金字塔模型,1.3节介绍数据挖掘对企业智慧运营的重要意义,1.4节介绍大数据的基本概念、特征和挑战,1.5节介绍非结构化数据挖掘的概念和研究进展,1.6节介绍结构化数据挖掘与机器学习、深度学习和人工智能之间的关联关系,1.7节介绍常见的数据挖掘分析软件与系统。

1.1数据挖掘的发展史1.1.1数据挖掘的定义与起源什么是数据挖掘,数据挖掘包括哪些范畴?迄今为止不同的学者和公司仍有着不同的理解和定义。例如有的学者认为:数据挖掘即指摆脱传统的经验式、规律式的分析方法,转变为纯粹从数据出发来探索问题的本质。又例如有的公司认为:数据挖掘是一种从数据中榨取价值,提升公司运营效率的重要手段。然而,绝大部分学者和公司都认同数据挖掘的最基本定义:从数据中获取知识。

数据挖掘具体起源于什么年代现在已无从考证。自从有了数据,人类就开始尝试对数据进行分析。随着时代的发展,特别是计算机技术的诞生和发展,人类拥有的数据越来越多,种类越来越复杂,之前传统的浅层次的、以经验式、观察式为主的数据分析方法已不再适用,人类急需一整套深层次的、科学的数据分析方法,这些方法的总和被称为“数据挖掘”。

前言/序言

  数据挖掘(DataMining),是指从数据中发现知识的过程(KnowledgeDiscoveryinDatabases,KDD)。狭义的数据挖掘一般指从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中,提取隐含其中的、人们事先不知道的、但又是潜在有用知识的过程。自从计算机发明之后,科学家们先后提出了许多优秀的数据挖掘算法。2006年12月,在数据挖掘领域的权威学术会议theIEEEInternationalConferenceonDataMining(ICDM)上,科学家们评选出了该领域的十大经典算法:C4.5、K-Means、SVM、Apriori、EM、PageRank、AdaBoost、kNN、NaiveBayes和CART。这是数据挖掘学科的一个重要里程碑,从此数据挖掘在理论研究和实际应用两方面均进入飞速发展时期,并得到广泛关注。

在实际生产活动中,许多问题都可以用数据挖掘方法来建模,从而提升运营效率。例如,某企业在其移动终端应用(App)上售卖各种商品,它希望向不同的客户群体精准推送差异化的产品和服务,从而提升销售业绩。在这个案例中,如何将千万量级的客户划分为不同的客户群体,可以由数据挖掘中的聚类分析算法来完成;针对某个客户群体,如何判断某个产品是否是他们感兴趣的,可以由数据挖掘中的分类分析算法来完成;如何发现某个客户群体感兴趣的各种产品之间的关联性,应该把哪些产品打包为套餐,可以由数据挖掘中的关联分析算法来完成;如何发现某个客户群体的兴趣爱好的长期趋势,可以由数据挖掘中的回归算法来完成;如何综合考虑公司的KPI指标、营销政策和App页面限制等条件,制订最终的落地营销方案,可以基于数据挖掘中的ROC曲线建立数学模型求得最优解来解决。

当前,许多企业正面临前所未有的竞争压力。以运营商企业为例,从政策层面看,国家提出了“提速降费”的战略指示:一方面要提高网络连接速度、提供更好的服务,这意味着公司成本的提高;另一方面要降低资费标准,这意味着单个产品收入的下降,运营商该如何化解这对矛盾?从运营商内部数据统计看,传统的语音和短信、彩信业务收入占比正不断下降,传统的利润点已经风光不再;流量收入目前已占据主要位置并保持上涨趋势,但单纯的流量经营又将面临“管道化”压力;未来的利润增长点要让位于被称为“第三条曲线”的数字化服务。运营商该如何经营这一新鲜事物?从外部环境看,互联网和电子商务企业借助其在各方面的优势,已经对运营商形成了巨大的压力,特别是在数字化服务营销领域,传统运营商企业已经不再具备优势,又该如何应对互联网企业的全面竞争?

随着移动互联网和物联网时代的来临,人和万事万物被广泛地联系在一起。人们在联系的过程产生了大量的数据,例如用户基础信息、网页浏览记录、历史消费记录、视频监控影像,等等。据此,以Google为首的互联网公司提出了“大数据”(BigData)的概念,并声称人类已经脱离了信息时代(InformationTime,IT),进入了大数据时代(DataTime,DT)。显然,海量数据包含了非常丰富的浅层次信息和深层次知识。对于同一竞争领域的企业,谁能获取最大量的数据,展开最精准的数据挖掘与建模分析,并加以精细化的落地实施,谁便能在行业竞争中取得优势。对于运营商企业而言,其具备的一个显著优势便是手握海量数据资源。如果能运用先进的数据挖掘技术找出客户的行为规律,从传统的经验式、粗放式、“一刀切”式的运营决策向数据化、精细化、个性化的运营决策转型,运营商将迎来新的腾飞。上述运营模式转型的目标,便是所谓的“智慧运营”。

目前,人类对大数据尚没有统一的、公认的定义,但几乎所有学者和企业都认同大数据具备四大特征(四大挑战):体量巨大(Volume)、类型繁多(Variety)、价值密度低(Value)、需要实时处理(Velocity)。这其中最重要的一点是类型繁多,即过去人类的数据储备以结构化数据为主,而未来将以非结构化数据为主。回到之前提到的App营销案例,企业基于用户的基础信息、历史消费信息、简单的网络行为信息等结构化数据展开挖掘建模,被认为是传统的“基于数据挖掘的智慧运营”。随着时代的发展,企业还掌握了用户观看在线视频的内容数据、在营业网点接受营业员推荐的表情信息和语言交流数据、用户在客服热线中的语音咨询数据等。这些数据被统称为非结构化数据,随着语音识别、人脸识别、语义识别等新技术的发展成熟,对非结构化数据的分析挖掘已成为可能,并将获得广阔的商业应用空间。基于非结构化数据的挖掘建模又被称为“基于人工智能的智慧运营”。考虑当前大部分企业的实际运营现状,本书将主要围绕“基于数据挖掘的智慧运营”展开讨论,“基于人工智能的智慧运营”将在后续书籍中展开讨论。

本书共分为九章:第1章大数据、数据挖掘与智慧运营综述,讲述数据挖掘的基本概念和发展史、大数据的时代特征、当前结构化数据挖掘进展、非结构化数据挖掘

相关图书

大数据湖最佳实践
什么是数据湖?为什么企业需要它?本书介绍了来自各行业数据专家的数据湖方案,参考这些最佳实践,来构建企业数据湖。大型传统企业数据岗位人员必读。
数据算法:Hadoop/Spark大数据处理技巧
Mahmoud Parsian计算机科学博士力作,31个Hadoop与Spark大数据算法,包含基本设计模式、优化技术和数据挖掘及机器学习解决方案,涵盖生物信息学、基因组学、统计和社交网络分析等领域。
大数据应用与技术丛书·数据仓库工具箱(第3版):维度建模权威指南 [The Data Warehouse Toolkit:The Definitive Guide to Dimensional Modeling, Third Edition]
维度建模技术、模式和实践,14个案例涉及零售业、电子商务、客户关系管理、采购、库存、订单管理、会计、人力资源、金融服务、医疗卫生、保险、教育、电信和运输等
统计分析:从小数据到大数据
统计分析老兵多年潜心编写,业务视角的统计思维,从小数据到大数据,厘清数据分析的技术脉络,并深入解读了统计算法和机器学习
自己动手做大数据系统(第2版)
大数据平台架构选型及最佳实践案例、大数据治理、流计算开发、大数据运维部署之法宝!
大数据运营与管理 数据中心数字化转型之路
涵盖通信、金融、政府、电力等15个真实案例+4个大型案例

暂无评论

暂无评论...