小数据之美:智能时代如何预见自我.世界和未来

1、精准定义自我与用户的需求，寻找小数据的高价值。2、发现大数据忽视的盲点与机遇，用小数据发现新的商业与趋势。3、谁控制了小数据谁就是赢家。

数据本无大小，但应用场合、处理方式的不同却分出大小，是谓小数据。数据表示的是过去，但表达的是未来，所以应用数据不仅需要全量数据，也需要样本数据；不仅要了解相关性，更要明白因果关系；不仅要预见未来，更要量化自我。这就迫使我们从更广泛的角度理解小数据，梳理小数据与大数据的分野，从而将相关思路投射、印证于小数据，考察其核心特点和应用特质。本书系统、全面的阐释了小数据，揭示了小数据之美、小数据之道、小数据之魅、小数据之巅，揭示了数据的局面在变化、逻辑在更新、未来在演进。重新审视我们的时代，小数据，尽管仍笼罩在迷雾中，但其已经开始在我们脑海中浮现出整体的轮廓。

陈辉（1978-），经济学博士、精算师，中央财经大学中国精算研究院助理研究员,央财靠前研究院创始人，央财金融科技智库发起人。先后在《统计研究》、《保险研究》等期刊发表20多篇文章；主要著作包括《相互保险丛书》、《股票连接保险的定价、准备金评估和风险对冲研究》、《寿险公司价值评估研究》、《互联网保险新模式》等；另外参编多本书籍，包括《保险学词典》、《中国保险公司竞争力评价研究报告（2011-2017）》、《中国保险市场发展分析蓝皮书（2016-2017）》等。目前专注于金融科技和保险科技、小数据和大数据、互联网保险和相互保险的探索研究。

章 小数据时代的到来 一、小数据之蜕变 / 003 二、小数据之崛起 / 006 三、小数据大潜能 / 014 第二章 大数据时代的小数据 一、数据变化趋势 / 023 二、数据本无大小 / 025 三、大小相得益彰 / 030 四、打通数据孤岛 / 035 第三章 智能时代的小数据 一、智能无处不在 / 043 二、智能产品到嵌入程序 / 047 三、小数据与人工智能 / 051 四、小数据与智能产品 / 052 五、小数据与虚拟现实 / 054 六、小数据与增强现实 / 054 第四章 小数据蕴含的大智慧 一、小数据的逻辑 / 059 二、什么时候想起小数据？ / 072 三、贝叶斯真的能推理吗？ / 075 四、回归分析是力大无穷的！ / 076 五、让小数据逼近真相 / 079 六、与小概率平起平坐 / 081 第五章 小数据赋能人工智能 一、小数据决定人工智能的未来 / 085 二、谁控制了小数据谁才是赢家 / 090 三、用小数据也能机器学习 / 099 四、会学习的小数据更强大 / 102 第六章 未来科技依赖小数据 一、小数据驱动复杂系统的优化 / 113 二、小数据推动自适应系统的进化 / 121 三、小数据助力模糊系统的应用 / 130 四、小数据创新小数据系统的发展 / 140 第七章 小数据的再认识 一、小数据的现象本质 / 153 二、小数据的原因结果 / 158 第八章 预见自我 一、智能化人生 / 167 二、智能化健康 / 174 三、智能化学习 / 178 四、智能化医疗 / 181 第九章 预见世界 一、认知的革命 / 187 二、经营的本质 / 192 三、信用的价值 / 198 四、军事的科学 / 202 第十章 预见未来 一、小数据与黑天鹅 / 207 二、小数据与灰犀牛 / 216 三、小数据与独角兽 / 223 四、小数据与长尾分布 / 231 五、小数据与随机漫步 / 234 第十一章 大数据时代的小数据革命 一、大数据时代隐忧 / 241 二、让遗忘回归常态 / 244 三、让精简成为王道 / 247 四、从细节预见未来 / 249 五、从量化自我开始 / 252 六、迎接小数据时代 / 259 第十二章 小数据思想成就大未来 一、厘清小数据的关系 / 265 二、形成小数据思维 / 278 三、读懂小数据逻辑 / 287 四、掌握小数据的智慧 / 294 五、成为小数据科学家 / 301 参考文献 / 307

    传统意义上的小数据是通过目前主流软件工具可以在合理时间内采集、存储、处理的数据集。经典的数理统计和数据挖掘知识，可以较好地解决这类问题。而大数据时代下的小数据，是一类新兴的数据，它是以个人为中心的多方面的数据，是我们每个个体的数字化信息，因此，也有人称之为“iData”。这类小数据跟大数据的根本区别在于，小数据主要以单个人为研究对象，重点在于深度，即对个人数据深入的准确的挖掘；而大数据则侧重在某个领域方面，在大范围、大规模全面数据收集处理分析，侧重在于广度。 小数据更加“以人为本”，认识一切数据存在的根本，人的需求是所有科技变革的动力。可以预见，在不久的将来，数据革命下一步将进入小数据时代。通过数据分析提高销售水平和服务质量，是企业未来发展的重要手段。目前，我国小数据的分析和应用虽然处于初级阶段，但是有不少企业已经可以对现有数据熟练地进行全面分析，并且可以全面把握数据中的变量，充分利用小数据分析结果对公司进行发展预测。不难看出，这些企业没有走大数据路线，而是反其道而行之，走起了小数据分析和应用路线，并且将小数据应用于企业运营过程中，结合小数据的人文因素，引入社会和心理等因素，能够多方面、多维度地进行分析，因此得到的结果将更加准确。这也是未来小数据的发展方向和趋势。 另外，为了使得小数据的分析能够更加精准、准确，进而能够做出更加有预测性、有价值的决策，使其应用于企业运营过程中，小数据预测对人才也提出了要求：有统计学、商业分析和自然语言处理能力，能够全面掌握数学、统计学、计算机等更多方面的知识。 （二）认知革命时代 人类社会将迎来认识革命的新时代。随着这个时代的到来，小数据和大数据都将面临全新的机遇与挑战，尤其是大数据，面临着“何去何从”的抉择。认知革命的根本是“极数定象”，对此，我们需要有更深刻的认识与理解。 回望历史，我们的祖先在长期的生产和生活过程中，在面对天灾人祸的威胁和生老病死的无奈时，他们渴望能够了解世界的真相与规律，把握自己的命运。在这个过程中，他们尝试着通过蓍草、龟甲、牛骨等进行“占卜”，希望能够实现一种“天人之间”的沟通，并借此获得信息，了解规律，掌握命运。这是人类预测的“混沌时代”。到了春秋战国时期，古人在《易经》的研究过程中，提出了“极其数，遂定天下之象”的思考，这不仅是对“大数据”的很早的经典诠释，也是对“小数据”的高度概括，这让我们不对古人的智慧，心生敬畏与赞叹。 “极其数，遂定天下之象”的关键和前提是“极”。“极”意味着优选点、尽头、极点、极限和很好，意味着全部和完整。古人认为“极”是宇宙运动变化过程中的一个周期时限，是时间的很大单位和优选层次，“一极”为31920年。“极”意为时相之尽头，故有“太极”之说。作为动词，“极”意味着穷、竭、究，到达很好。因此，从认知的角度看，“极其数”的“极”，首先，是对“数”（信息）、“量”的观察，即信息的完整性，也是所谓的“大数据”；其次，是对“数”（信息）、“质”的观察，即信息的深刻性，也就是所谓的“小数据”。 作为“极”的重要前提和基础，首先是基于全局的观察（大数据）。另外，我们还想观察每一个局部（小数据），因为“极”都是相对的。由于认知的局限，人们往往容易被当下（大数据）和自我（小数据）所局限，犯了“管中窥豹”“一叶障目”的错误，却浑然不知，甚至自以为是。但无论如何，人要学会建立起一种敬畏，即对“未知的未知”的敬畏，对时空的敬畏，同时，要学会不断突破自我，不被束缚。用中国古人的意境表述是“会当凌绝顶，一览众山小”。人，只有站到了高处（大数据），才能更全面和更有效地观察与认识自我（小数据）。但即使是这样，还要清醒地认识到：我们仍然可能是真相“茫茫大漠”中的一只蚂蚁。 传统意义上的小数据是通过目前主流软件工具可以在合理时间内采集、存储、处理的数据集。经典的数理统计和数据挖掘知识，可以较好地解决这类问题。而大数据时代下的小数据，是一类新兴的数据，它是以个人为中心的多方面的数据，是我们每个个体的数字化信息，因此，也有人称之为“iData”。这类小数据跟大数据的根本区别在于，小数据主要以单个人为研究对象，重点在于深度，即对个人数据深入的准确的挖掘；而大数据则侧重在某个领域方面，在大范围、大规模全面数据收集处理分析，侧重在于广度。 小数据更加“以人为本”，认识一切数据存在的根本，人的需求是所有科技变革的动力。可以预见，在不久的将来，数据革命下一步将进入小数据时代。通过数据分析提高销售水平和服务质量，是企业未来发展的重要手段。目前，我国小数据的分析和应用虽然处于初级阶段，但是有不少企业已经可以对现有数据熟练地进行全面分析，并且可以全面把握数据中的变量，充分利用小数据分析结果对公司进行发展预测。不难看出，这些企业没有走大数据路线，而是反其道而行之，走起了小数据分析和应用路线，并且将小数据应用于企业运营过程中，结合小数据的人文因素，引入社会和心理等因素，能够多方面、多维度地进行分析，因此得到的结果将更加准确。这也是未来小数据的发展方向和趋势。 另外，为了使得小数据的分析能够更加精准、准确，进而能够做出更加有预测性、有价值的决策，使其应用于企业运营过程中，小数据预测对人才也提出了要求：有统计学、商业分析和自然语言处理能力，能够全面掌握数学、统计学、计算机等更多方面的知识。 （二）认知革命时代 人类社会将迎来认识革命的新时代。随着这个时代的到来，小数据和大数据都将面临全新的机遇与挑战，尤其是大数据，面临着“何去何从”的抉择。认知革命的根本是“极数定象”，对此，我们需要有更深刻的认识与理解。 回望历史，我们的祖先在长期的生产和生活过程中，在面对天灾人祸的威胁和生老病死的无奈时，他们渴望能够了解世界的真相与规律，把握自己的命运。在这个过程中，他们尝试着通过蓍草、龟甲、牛骨等进行“占卜”，希望能够实现一种“天人之间”的沟通，并借此获得信息，了解规律，掌握命运。这是人类预测的“混沌时代”。到了春秋战国时期，古人在《易经》的研究过程中，提出了“极其数，遂定天下之象”的思考，这不仅是对“大数据”的很早的经典诠释，也是对“小数据”的高度概括，这让我们不对古人的智慧，心生敬畏与赞叹。 “极其数，遂定天下之象”的关键和前提是“极”。“极”意味着优选点、尽头、极点、极限和很好，意味着全部和完整。古人认为“极”是宇宙运动变化过程中的一个周期时限，是时间的很大单位和优选层次，“一极”为31920年。“极”意为时相之尽头，故有“太极”之说。作为动词，“极”意味着穷、竭、究，到达很好。因此，从认知的角度看，“极其数”的“极”，首先，是对“数”（信息）、“量”的观察，即信息的完整性，也是所谓的“大数据”；其次，是对“数”（信息）、“质”的观察，即信息的深刻性，也就是所谓的“小数据”。 作为“极”的重要前提和基础，首先是基于全局的观察（大数据）。另外，我们还想观察每一个局部（小数据），因为“极”都是相对的。由于认知的局限，人们往往容易被当下（大数据）和自我（小数据）所局限，犯了“管中窥豹”“一叶障目”的错误，却浑然不知，甚至自以为是。但无论如何，人要学会建立起一种敬畏，即对“未知的未知”的敬畏，对时空的敬畏，同时，要学会不断突破自我，不被束缚。用中国古人的意境表述是“会当凌绝顶，一览众山小”。人，只有站到了高处（大数据），才能更全面和更有效地观察与认识自我（小数据）。但即使是这样，还要清醒地认识到：我们仍然可能是真相“茫茫大漠”中的一只蚂蚁。