基于移动通信大数据的城市计算

本书作者阵容非常强大，四位作者分别来自于中国联合网络通信有限公司深圳市分公司、深圳北斗应用技术研究院有限公司和清华大学，是智慧城市方面的专家和学者。 本书囊括了智慧城市、城市计算及移动通信大数据等概念和理论的相关背景知识，详细阐释了结合移动通信数据进行城市计算的全部处理过程。本书结合基于移动通信大数据的城市计算应用实践案例从多个角度研究城市计算问题。 本书共7章，涵盖了智慧城市与城市计算、基于移动通信大数据的城市计算理论及现状、移动通信网络数据采集、面向城市计算的移动通信大数据分析、大数据计算平台与工具、基于移动通信大数据的城市计算应用实践、城市计算在智慧城市中的未来发展等内容。 第1章阐述了智慧城市与城市计算的宏观联系，介绍了智慧城市的概念、目标和架构，提出在构建智慧城市过程中可以充分借力城市计算。 第2章阐述了基于移动通信大数据的城市计算理论及现状，介绍了城市计算的兴起，分析了城市计算的通用研究框架，总结了基于移动通信的城市计算应用的现状和难点。 第3章深入阐述了移动通信网络数据的采集，论述了移动通信网络的演进、移动通信网络架构与协议、移动数据采集、移动数据管理等领域。 第4章阐述了面向城市计算的移动通信大数据分析方法，针对当前基于移动通信大数据的城市计算相关核心算法进行了介绍，包括聚类分析、分类分析、回归分析、协同过滤、张量分析、深度学习等。 第5章阐述了在工程实践中经常使用到的大数据计算平台及相关工具技术，包括Hadoop、Hive及HBase，详细阐释了其定义、原理及使用方式。 第6章阐述了一个典型的基于移动通信大数据的城市计算应用实践案例，对一个具有普适应用意义的基础研究项目进行了技术性详尽阐述。从数据处理、数据分析、系统展示等方面对在实际项目实施过程中遇到的问题进行了诠释，从多个视点对基于移动通信大数据的城市计算的优势和成果进行了展示。 第7章在基于移动通信大数据的城市计算实践基础上，对城市计算在智慧城市中的应用发展进行了展望，对智慧城市、城市计算的未来进行了设想，并针对可能出现的问题及挑战进行了探讨。

城市计算以城市大数据为背景，将城市中发生的所有活动和信息进行融合，涉及计算机、城市规划、交通、通信等领域，是智慧城市建设的核心、关键环节。
本书囊括了智慧城市、城市计算及移动通信大数据等概念和理论的相关背景知识，详细阐释了结合移动通信数据进行城市计算的全部处理过程——从采集、预处理、分析挖掘直至构建相应大数据平台，对其中每个环节在工程实践中常用的相关工具和技术进行了讲解。此外，结合典型的基于真实移动通信大数据的城市计算应用实践案例，从数据处理、数据分析、系统展示等方面进行了详尽的技术性阐述，并对在实际项目实施过程中遇到的问题进行了诠释，从多个视角对基于移动通信大数据的城市计算的优势和成果进行了展示。最后，在基于移动通信大数据的城市计算实践基础上，对城市计算在智慧城市中的应用发展进行了展望，对智慧城市、城巿计算的未来进行了设想，并针对可能出现的问题及挑战进行了探讨。
本书既适用于城市计算相关专业的本科生或研究生对相关领域知识的学习、学术或工程技术探索，也适用于业内希望使用相关技术进行开发工作的工程师，以及相关领域研究者借鉴和参考。

吴乃星 博士，教授级高级工程师，智慧城市规划师。2005年毕业于北京邮电大学，获计算机应用技术博士学位。目前供职于中国联合网络通信集团有限公司深圳市分公司，任智慧城市总监。 在通信和计算机技术领域从事研究和工程实践20年，主持和参与的国家863计划项目、“九五”科技攻关计划项目、国家重点基础研究课题及企业级科技项目超过25项，是深圳市重大技术攻关项目的主持者。在国家一级学术期刊及国家核心期刊上发表论文27篇。作为主要发明者，已提交、授权的国家发明专利6项。荣获“2015年辽宁省科技进步二等奖”、“深圳市国*70周年计算机科技奖章”。 目前, 被深圳市政府聘任为深圳市新型智慧城市专家委员会专家，被中共深圳市委聘任为深圳市网络与信息安全专家委员会专家，是深圳市科技创新委员会“重大科技计划项目”专家,同时担任深圳市科学技术协会、深圳市发展和改革委员会、财政委员会、交通运输委员会专家。 张 瑞 博士，深圳北斗应用技术研究院院长，中国科学院深圳先进技术研究院计算机科学与技术专业博士后。毕业于华中科技大学，获通信与信息系统专业硕士学位，管理科学与工程专业博士学位。 长期从事大数据、智能交通与智慧城市等领域的研究和开发工作。主持建设广东省新型研发机构，主持和参与国家973计划、科技部国家重点研发计划、国家自然科学基金以及深圳市科技创新委员会、深圳市交通运输委员会、深圳市规划和国土资源委员会、深圳市海洋局大数据类项目20余项。主持的项目入选广东省经济和信息化委员会2015年大数据应用示范项目、“粤治-治理现代化”2016-2017年大数据与公共服务类优秀案例。发表相关的SCI/EI检索论文10余篇，申请相关发明专利20余项。获得2019年中国智能交通协会科学技术三等奖。 汤长猛 高级工程师，1996年毕业于北京邮电大学，获电子与信息工程硕士学位。供职于中国联合网络通信有限公司深圳分公司，任政企客户支撑响应中心经理。 在电信行业从事工程建设、新技术开发、市场营销工作20多年。参与多项企业新技术、新产品开发，尤其专注于基于移动通信技术的行业应用的研究和开发。 李 力 博士，清华大学自动化系副教授、博士生导师。现为IEEE Fellow，中国自动化学会会士，中国自动化学会青年工作委员会副秘书长，IEEE智能交通协会协同驾驶技术专委会主席。 长期从事人工智能、智能汽车与智能交通等领域科研工作。以第一或通信作者在国际权威期刊发表SCI检索论文90余篇，Elsevier中国高被引学者（2017年、2018年）。现任IEEE Transactions on Intelligent Transportation Systems副编辑、Transportation Research Part C: Emerging Technologies编委、《自动化学报》编委。获中国自动化学会青年科学家奖（2018年）、教育部自然科学二等奖（2016年，第一完成人）、中国智能交通协会科学技术二等奖（2012年，第二完成人），多次获得国际知名期刊和国际会议佳论文奖。

第1章智慧城市与城市计算(1)
1.1智慧城市的概念、目标和架构(1)
1.1.1公共基础设施(2)
1.1.2通用功能设施(2)
1.1.3业务应用(2)
1.1.4网络安全空间(4)
1.1.5体制机制与标准规范体系(4)
1.2利用城市计算构建智慧城市(4)
第2章基于移动通信大数据的城市计算理论及现状(6)
2.1城市计算技术(6)
2.1.1城市计算的兴起(6)
2.1.2城市计算的研究(6)
2.2移动通信基站定位技术及其应用现状(12)
2.2.1移动通信基站定位技术原理(12)
2.2.2移动通信基站定位技术应用现状(15)
2.3基于移动通信大数据的城市计算(17)
2.3.1移动通信大数据在城市计算中的应用现状(17)
2.3.2移动通信大数据在城市计算中的应用难点(18)
第3章移动通信网络数据采集(20)
3.1移动通信网络(20)
3.1.1移动通信网络的演进(20)
3.1.2移动通信系统的基本网络结构(24)
3.1.3移动通信网络的关键接口与协议(28)
3.2移动通信数据采集基本原理(33)
3.2.1移动通信的数据与分类应用(33)
3.2.2移动通信信令与协议(34)
3.2.3移动通信基本通信流程(35)
3.2.4话单及信令数据采集(40)
3.3移动通信数据的获取与预处理(44)
3.3.1数据获取(44)
3.3.2数据预处理及数据管理(45)
第4章面向城市计算的移动通信数据分析(49)
4.1面向城市计算的基础数据挖掘技术(49)
4.1.1数据挖掘(49)
4.1.2聚类分析(50)
4.1.3分类分析(52)
4.1.4回归分析(56)
4.2面向城市计算的高级机器学习技术(59)
4.2.1机器学习(59)
4.2.2协同过滤(60)
4.2.3矩阵分解(63)
4.2.4张量分析(65)
4.2.5概率图模型(67)
4.2.6深度学习(68)
4.2.7强化学习(72)
4.2.8集成学习(74)
4.2.9迁移学习(77)
4.3交叉领域知识融合(79)
基于移动通信大数据的城市计算目录第5章移动通信大数据计算平台(81)
5.1Hadoop概述(81)
5.1.1Hadoop的历史(81)
5.1.2Hadoop的定义(82)
5.1.3Hadoop的构成模块(85)
5.1.4Hadoop的生态系统(89)
5.1.5Hadoop的分布式系统(90)
5.1.6Hadoop与SQL数据库(91)
5.2Hadoop原理(92)
5.2.1HDFS原理(92)
5.2.2HadoopMapReduce原理(94)
5.2.3HadoopYARN原理(96)
5.3Hive介绍及原理(99)
5.3.1Hive简介(99)
5.3.2Hive架构(100)
5.3.3Hive的数据模型(102)
5.3.4Hive工作原理(105)
5.4HBase介绍及原理(105)
5.4.1HBase简介(105)
5.4.2HBase架构(107)
5.4.3HBase与RDBMS(108)
5.4.4HBase访问接口(109)
5.4.5HBase数据模型(110)
第6章基于移动通信大数据的城市计算应用实践(112)
6.1移动网络用户的多维群体检测和行为特征识别(112)
6.1.1数据处理及出行OD分析(112)
6.1.2用户移动速度分析(117)
6.1.3用户通勤特征分析(118)
6.1.4城市群体潮汐运动(120)
6.1.5城市交通通道识别(123)
6.2基于移动网络数据的多维群体行为演变分析(130)
6.2.1城市群体行为演变分析(130)
6.2.2城市地理空间功能演变分析(139)
6.3基于移动网络数据的多维群体行为预测(144)
6.3.1预测方法与模型(145)
6.3.2多维度预测(149)
6.3.3基于移动网络数据的居民出行调查及多维群体行为预测支持系统(150)
第7章城市计算在智慧城市中的未来发展(155)
7.1智慧城市未来发展趋势(155)
7.2城市计算面临的未来挑战(158)
7.2.1感知扩张技术(158)
7.2.2异构数据处理(159)
7.2.3协同计算(160)
7.3城市计算推动智慧城市建设的前景(161)
参考文献(163)