城市大数据--方法技术与实践

随着“智慧城市”概念的提出，城市大数据成为 引领现代新型城市发展的关键技术，是当前世界各国 的研究热点。城市大数据就是在大数据的基础上，充 分利用科技的手段，对城市的不同信息进行整合，进 行创新性的改变，实现新型城市的发展。现代城市已 逐渐发展为包含物理世界、人类社会和信息空间在内 的三元空间。在三元空间的相互作用下，城市大数据 具有时空性（时空变化并蕴涵规律）、交织性（三元 空间分布但彼此关联）、人本性（来源于人且服务于 人）等特点。 本书是国家973计划“城市大数据三元空间协同计 算理论与方法”项目组的理论成果之一。在综合前人 经验、当代城市发展需求与大数据前沿技术的基础上 ，项目组探索了包括城市三元空间协同感知和群体认 知在内的一系列与城市大数据紧密相关的重要问题， 并将近年来的科研成果及其形成的新型解决方案集中 整合于本书中。本书首先介绍了将三元空间大数据应 用于现代化城市管理的整体理念，进而分别从协同感 知、质量评估、智能分析、处理技术、计算平台、安 全与隐私保护等六个方面阐述了当前城市大数据的发 展与运用所面临的挑战，以及为了克服这些挑战，由 项目组及其他科研人员开展的研究工作。此外，本书 还结合国内外先进城市的管理案例，介绍了城市大数 据的实践情况与成效。总体而言，本书从专业角度深 入城市大数据的多个重要层面，涵盖了丰富、高效的 大数据方法与技术，为读者提供了极具创新性与前瞻 性的现代化城市治理方案。

第1章 城市大数据概论 1.1 城市发展的挑战和机遇 1.1.1 城市发展与“城市病” 1.1.2 城市精细化管理 1.2 城市大数据概念 1.2.1 城市大数据的定义 1.2.2 城市大数据的来源和规模 1.2.3 城市大数据的多源采集 1.3 城市大数据特征 1.3.1 三元空间 1.3.2 城市大数据特性 1.4 城市大数据应用领域 1.4.1 国外城市大数据应用案例 1.4.2 我国城市大数据应用案例 1.5 城市大数据亟待解决的问题 1.6 本章小结 参考文献 第2章 群体智能 2.1 群体智能的基本概念 2.2 群体智能的主要类型 2.2.1 众包模式 2.2.2 工作流模式 2.2.3 协同求解模式 2.2.4 志愿计算 2.2.5 集群智能与集体智能 2.3 城市大数据采集与群智感知 2.4 城市大数据融合与群智认知 2.5 群智应用的控制 2.6 城市大数据运算与群智数据管理 2.7 本章小结 参考文献 第3章 城市大数据协同感知 3.1 城市大数据的多源协同感知模式 3.1.1 单一空间的数据感知 3.1.2 多维空间的数据感知 3.2 城市大数据的泛在感知 3.2.1 泛在感知数据 3.2.2 泛在感知覆盖 3.2.3 泛在感知方法 3.3 城市大数据的高效收集 3.3.1 任务驱动的数据收集 3.3.2 协作式感知数据收集 3.3.3 交互式感知数据收集 3.4 本章小结 参考文献 第4章 城市大数据质量评估 4.1 数据质量评估方法 4.1.1数据质量评估的重要性 4.1.2 数据质量评估的基本指标 4.1.3 数据质量评估的方法 4.2 城市感知大数据质量评估方法 4.2.1 应用驱动的数据质量评估方法 4.2.2 数据驱动的数据质量评估方法 4.3 本章小结 参考文献 第5章 城市大数据智能分析 5.1 群体认知发现 5.1.1 用户活动轨迹挖掘 5.1.2 用户社交跨平台轨迹分析 5.2 群智认知的数据处理技术：群组查询分析 5.2.1 什么是群组分析 5.2.2 群组查询基础 5.2.3 COHANA查询引擎 5.3 智能分析案例一：事件的智能推荐 5.3.1 事件的智能推荐问题描述 5.3.2 事件的智能推荐算法 5.4 智能分析案例二：电商的智能推荐 5.4.1 电商的智能推荐问题描述 5.4.2 电商的智能推荐算法 5.5 智能分析案例三：地标的智能识别 5.5.1 地标的智能识别问题描述 5.5.2 地标的智能识别算法 5.6 智能分析案例四：街拍照片的智能识别 5.6.1 街拍照片的智能识别问题描述 5.6.2 街拍照片的智能识别算法 5.7 本章小结 参考文献 第6章 城市大数据处理技术 6.1 计算模型 6.1.1 Hadoop系统 6.1.2 Spark系统 6.1.3 Storm系统 6.1.4 Yita大数据处理引擎 6.2 深度计算引擎 6.2.1 分布式弹性高性能计算引擎epiC 6.2.2 分布式深度计算引擎SINGA 6.2.3 分布式P2P环境的信任框架BLOCKBENCH 6.2.4 索引技术LazyLSH 6.3 城市大数据查询技术 6.3.1 弹性聚合最近邻查询 6.3.2 最远邻查询 6.3.3 分布式城市空间大数据查询系统 6.3.4 分布式城市时态大数据查询系统 6.4 本章小结 参考文献 第7章 城市大数据计算平台 7.1 资源管理与调度 7.1.1 任务依赖关系表达与调度策略 7.1.2 远程数据访问与位置感知的任务窃取 7.1.3 负载均衡的任务分配 7.1.4 缓存友好的任务图切分 7.1.5 三层任务窃取策略 7.1.6 精细化后台服务管理 7.2 服务质量保障 7.2.1 数据中心应用类型与资源利用率 7.2.2 基于冲突预测的方案——Bubble-X 7.2.3 基于显式资源分配的方案——Heracles 7.2.4 请求级显式资源分配——Avalon 7.2.5 数据中心加速器共享与应用延迟 7.2.6 加速器资源利用率提升方案——Baymax 7.3 能效管理 7.3.1 服务器能耗调节的基本手段 7.3.2 服务器负载调度与合并 7.3.3 功率资源配给优化 7.3.4 非IT设施能耗管理 7.3.5 大数据平台负载扰动 7.4 本章小结 参考文献 第8章 城市大数据安全与隐私保护 8.1 网络与系统安全 8.1.1 网络安全防护技术 8.1.2 云系统安全服务体系 8.2 数据安全及隐私保护 8.2.1 城市大数据安全隐患 8.2.2 数据隐私保护技术 8.3 基于大数据和人工智能的新一代安全防护技术 8.3.1 网络大数据异常智能检测技术 8.3.2 面向虚拟化云基础设施的安全防护技术 8.3.3 城市大数据完整性验证及隐私保护技术 8.4 本章小结 参考文献 第9章 城市大数据实践 9.1 智能交通 9.1.1 地铁乘客路径选择模式分析 9.1.2 夜间公交线路设计 9.2 城市管理——城市商圈吸引力分析 9.2.1