深入理解Net-SNMP

全书一共15章，分为3个部分：基础篇（第1～6章）介绍了网络管理框架、简单网络管理协议、抽象语法标记、管理信息结构、管理信息库、传输编码，以及Net-SNMP的概念、特点、工具集、mib2c、安全机制、TRAPs、支持的开发模式；实战篇（第7～11章）详细讲解了Net-SNMP的功能和使用、管理端的应用开发，以及2个综合性的案例；高级篇（第12～15章）讲解了代码的重构与优化、测试与调试、免维护的思路等。

张春强，国内顶尖Net-SNMP专家，从事Linux开发多年。现就职于世界500强企业，担任高级软件工程师一职，曾就职于中兴通讯。有多款网络协议应用软件开发经验，在中兴通讯深圳研发中心工作期间，担任Linux软件开发工程师，参与过基站电源网络监控系统的研发，该系统部署在全球中兴基站设备中，用于保障持续可靠的电信服务。精通Linux网络编程技术，实践经验丰富。

前言
第一部分基础篇
第1章网络管理2
1.1网络管理2
1.1.1网络管理的需求3
1.1.2网络管理标准4
1.2网络管理框架6
1.2.1网络管理模型6
1.2.2网络管理模式与技术9
1.2.3网络管理功能11
1.3简单网络管理协议13
1.3.1SNMP的发展历史14
1.3.2SNMP的框架组成15
1.3.3SNMP的功能17
1.3.4实现版本22
1.4小结24
第2章抽象语法标记26
2.1ASN.1概述26
2.2BNF基础28
2.3ASN.1基础30
2.3.1ASN.1的基础符号30
2.3.2定义方法33
2.4ASN.1标签类34
2.5数据类型35
2.5.1简单数据类型36
2.5.2构造数据类型39
2.5.3其他类型40
2.5.4子类型40
2.5.5标签类型定义41
2.6模块定义42
2.7宏定义43
2.8例子44
2.9小结46
第3章管理信息结构SMI47
3.1SMI概述47
3.2组织结构48
3.2.1OID树49
3.2.2节点信息50
3.3数据类型51
3.3.1基础数据类型51
3.3.2自定义数据类型52
3.3.3子类型53
3.4宏55
3.4.1OBJECT-TYPE55
3.4.2TRAP58
3.4.3MODULE-IDENTITY60
3.4.4OBJECT-IDENTITY61
3.4.5一致性陈述61
3.4.6文本约定64
3.5小结68
第4章管理信息库MIB70
4.1MIB概述70
4.2标准MIB简介72
4.3MIB结构75
4.4MIB中的管理对象76
4.4.1标量和表格对象77
4.4.2TRAP定义81
4.5MIB的编写方法82
4.5.1编写建议83
4.5.2MIB的编写和编译工具86
4.5.3常见错误91
4.6小结93
第5章BER传输编码95
5.1BER概述96
5.2BER详解97
5.2.1Tag编码97
5.2.2长度编码99
5.2.3值编码100
5.3实例分析103
5.3.1报文解析103
5.3.2抓包示例106
5.4小结108
第6章Net-SNMP基础110
6.1Net-SNMP概述110
6.1.1Net-SNMP的由来111
6.1.2Net-SNMP的特点112
6.1.3Net-SNMP重要组件114
6.2Net-SNMP安全模型114
6.2.1USM115
6.2.2VACM115
6.2.3TSM116
6.2.4基于SSH的安全传输机制117
6.2.5如何选择安全机制117
6.3命令工具集118
6.3.1协议操作工具120
6.3.2信息收集与查看工具125
6.3.3配置工具129
6.3.4权限配置工具131
6.3.5mib2c代码生成工具135
6.4开发模式138
6.4.1开发语言139
6.4.2开发模式139
6.4.3选择开发模式140
6.5小结141
第二部分实战篇
第7章使用Net-SNMP监测系统144
7.1系统搭建145
7.1.1configure详解146
7.1.2编译安装151
7.2配置文件详解153
7.2.1snmpd.conf详解154
7.2.2snmp.conf详解170
7.2.3snmptrapd.conf详解172
7.3企业级系统监测案例175
7.3.1系统监测需求176
7.3.2监测方案177
7.3.3工具简介与配置179
7.3.4Net-SNMP监测示例183
7.3.5系统集成193
7.4小结200
第8章管理端应用开发202
8.1开发方法与流程202
8.1.1通信流程203
8.1.2主要的数据结构204
8.1.3主要的API208
8.1.4程序示例213
8.1.5同步与异步218
8.2管理端应用开发需求与方案219
8.3链表模块222
8.4辅助模块223
8.5主程序实现224
8.5.1程序框架224
8.5.2设计与开发225
8.5.3代码清单228
8.5.4编译与运行245
8.6完善与优化249
8.6.1实现守护进程249
8.6.2数据保存251
8.6.3绑定多个OID251
8.6.4读取MIB文件251
8.7小结252
第9章SNMP代理开发实战253
9.1SNMP代理开发流程与方法254
9.2mib2c生成代码框架详解256
9.2.1标量代码框架256
9.2.2表格代码框架iterate269
9.2.3Trap/Information框架275
9.3代理开发需求与方案277
9.3.1开发需求278
9.3.2实现方案279
9.4开发MIB281
9.5进程间通信之共享内存282
9.5.1数据模型282
9.5.2共享内存编程实践284
9.5.3通信接口287
9.6模拟业务进程292
9.7代理程序实现293
9.7.1参数类数据实现293
9.7.2实时类数据实现295
9.7.3Trap实现299
9.7.4配置与编译302
9.8集成测试303
9.8.1实时数据测试304
9.8.2参数数据测试304
9.8.3告警数据测试305
9.9优化与完善306
9.9.1数据字典的优化306
9.9.2告警完善306
9.9.3共享内存接口的优化307
9.9.4框架优化307
9.9.5双索引实现方法307
9.10小结308
第10章使用Python开发SNMP应用程序309
10.1Python开发SNMP应用程序介绍310
10.1.1Python简介310
10.1.2Python模块简介311
10.1.3安装模块311
10.2Python模块中重要的类312
10.2.1变量绑定312
10.2.2会话类314
10.3API使用介绍315
10.4实战—Python版本的NMS317
10.4.1query模块317
10.4.2nmsapp主模块318
10.4.3运行情况322
10.5小结323
第11章使用Perl开发SNMP应用程序324
11.1Perl开发SNMP应用程序介绍324
11.1.1Perl简介325
11.1.2Perl模块简介325
11.1.3安装模块327
11.2Perl模块功能详解328
11.2.1NetSNMP::ASN328
11.2.2NetSNMP::OID329
11.2.3AnyData::SNMP330
11.2.4NetSNMP::agent330
11.2.5SNMP332
11.3管理端应用框架336
11.4代理框架337
11.5实战—监控MySQL339
11.5.1MySQL信息查看：SHOWGLOBALSTATUS340
11.5.2自动生成MIB341
11.5.3代理实现342
11.5.4运行情况348
11.6小结348
第三部分高级篇
第12章代理的重构与优化352
12.1为什么要重构353
12.1.1回顾代理开发的艰辛353
12.1.2维护代理的漫漫长路354
12.2代理重构简述356
12.3重构代理模板框架358
12.3.1分析代码框架358
12.3.2old-api框架重构实例360
12.3.3iterate框架重构方向368
12.4代理免维护思路370
12.4.1MIB自动化370
12.4.2深处探究371
12.5小结373
第13章mib2c晋级之自定义代码框架374
13.1mib2c配置文件语法375
13.1.1从例子开始375
13.1.2指令376
13.1.3变量378
13.1.4子程序380
13.2配置文件分析示例380
13.2.1生成h文件381
13.2.2生成c文件382
13.3定制配置文件实例—自定义代码框架383
13.3.1定制h文件配置文件384
13.3.2定制c文件配置文件386
13.3.3集成388
13.4小结389
第14章Net-SNMP代理开发高级技术集锦390
14.1代理高级功能391
14.1.1动态表391
14.1.2上下文392
14.1.3持久数据395
14.1.4数据同步398
14.2子代理399
14.2.1配置AgentX401
14.2.2开发子代理示例402
14.2.3编译与运行404
14.2.4分布式监控示例405
14.3动态加载模式406
14.3.1加载共享对象407
14.3.2开发共享对象示例408
14.3.3编译与运行409
14.4小结409
第15章代理测试与调试410
15.1代理测试方法与技术411
15.1.1使用MGSoftMIBbrowser测试412
15.1.2使用iReasoning测试414
15.1.3编写脚本测试415
15.2程序调试方法概述416
15.3Net-SNMP原生调试方法417
15.3.1token调试机制417
15.3.2日志419
15.3.3打印原始数据报420
15.4GDB调试方法与技术421
15.4.1调试前的准备422
15.4.2调试过程与指令423
15.4.3GDB脚本调试技术432
15.5辅助调试工具介绍435
15.5.1tcpdump435
15.5.2nm438
15.5.3objdump441
15.5.4strace442
15.6小结446

Preface?前    言为什么要写这本书前些年，我所在的项目组开发了一款嵌入式产品，与国内外同类产品相比，我们的产品支持SNMP（Simple Network Management Protocol，简单网络管理协议），可对系统进行监控、管理，发现问题时会主动告警，这是我们产品的一大卖点，同时也是一个亮点。 为了在挑剔的运营商中取得竞争优势，在项目正式开始之前项目组就确定了一个目标——必须实现SNMP功能！但是这时却出现了这样的场景： “你会SNMP吗？” “不会……” “你呢？” “没做过……” 项目组所有人员在回答会不会SNMP时都没有了工科人对技术的自信！在亚马逊等站点搜索相关的图书后，更是没有了底气，因为这方面的资料如此之少，而需求又如此迫切！于是我决定自学SNMP和与SNMP开发相关的内容。 SNMP是基于TCP/IP网络技术的网络管理协议，于1988年发布了第一份RFC文档，之后逐渐发展和完善，并成为Internet协议簇的一部分。Net-SNMP则是SNMP的开源实现。它的前身是卡内基梅隆大学的CMU-SNMP，在1995年重命名为UCD-SNMP，于2000年再次更名为Net-SNMP并一直沿用至今。我们知道，SNMP有着“简单”的本质，而Net-SNMP则具有完善的功能和良好的特性，同时它还可以集成到一些大型免费或开源的监控类软件（如Nagois、Zabbix、OpenNMS）中配合使用，所以不论从常规的系统指标（如CPU、内存、磁盘、网络、硬件），还是诸如日志、自开发设备的监控量，Net-SNMP都可以帮到大家，从而使得Net-SNMP几乎成为所有的类UNIX发行版本中SNMP的标准实现。这正是项目组采用Net-SNMP实现SNMP监控需求的主要原因。国内外大量的网络设备（如路由器、交换机）都支持SNMP协议，并作为一项标配。不论是监控嵌入式设备还是复杂的集群系统，有着天然分布式特性的Net-SNMP都是非常好的选择。如今，移动终端智能设备大行其道，或许在不久的将来，你可以在移动终端上通过Net-SNMP实现对周围设备的监控和管理。 Net-SNMP还在不断发展，基于Net-SNMP的开源库日益火热、支持的API种类日益众多，已逐渐发展出了像LuaSNMP这样独立开发的方式，支持或配合使用C/C++、Shell、Perl、Python等语言的开发模式；既支持代理端开发、管理端开发，也支持Trap开发。再看看开源社区计划中的“To Do list”功能项，真让人激动不已！Net-SNMP作为早期的开源项目之一，其中的软件编码技术、Linux系统构建技术都是开源中的典范，值得每一位软件工程师学习，因为它们永远也不过时。 尽管SNMP名为“简单”（的）网络管理协议，但涉及的网络知识体系庞大、条目众多，学习曲线陡峭，所以想在此基础上进行有针对性地开发，那是难上加难！关于SNMP虽然有大量的RFC文档，国内也有相关的书籍，但是专门介绍Net-SNMP开发和实践的书籍却没有。另外，随着Net-SNMP开源社区的不断发展，关于Net-SNMP的内容也日益丰富，以英语为母语的地区尚且有相关的书籍问世，而国内却少有相关的中文资料。于是我想，为什么我不把这些年的知识和经验分享给读者呢？这样就可以让读者不用再去网络汪洋中搜寻那些繁杂零碎的蛛丝马迹，不用再啃硬骨头。我希望这本书能帮助每个渴望学习和自我提升的相关人员都获得知识，取得进步！ 当然，除了上面“冠冕堂皇”的理由，我还存有“私心”。早在读研期间，我就有将所做的项目写成一本书的想法，如今一晃毕业好几年了，虽说不上壮志未酬，但一直有一点星星之火。想到“有些事现在不做或许以后就再也没有机缘了”，于是写书的工作就这样开始了。 本书特色本书是首部从实战的角度讲解Net-SNMP开发的书籍。本书从网络管理概念开始，到MIB的开发设计，最后到使用Net-SNMP开发网络管理应用，实现了由网络管理理论到实践的落地。它有以下几个特点： 书中内容由项目而生，以一线开发工程师的视角和言语展开。 注重实战。实战篇和高级篇的每章几乎都有完整的示例代码，部分是项目简化后的代码，参考意义非常大。 提供了传统IT企业软件开发项目的实践方法、流程以及相关开发技术，经验总结。 完整的监控软件的开发链，包括代理端和管理端软件的开发。 读者对象本书覆盖了基于Net-SNMP开发监控软件所需要的SNMP、Net-SNMP、Linux系统及编程相关内容，所以本书可以帮到下列人员： 基于Net-SNMP开发监控类软件的读者。 希望了解、掌握SNMP协议及其开源技术的读者。 对系统监控、网络监控感兴趣的读者（包括系统管理员）。 Linux C/C++（网络）软件开发人员。 大专院校计算机相关专业的学生。 如何阅读本书本书分为三大部分： 第一部分为基础篇（第1章~第6章）。 第1章从网络管理概念和历史讲起，目的是让读者对网络管理、SNMP以及Net-SNMP有个整体的了解，这样有助于读者对后续章节的理解，建议通读。 第2章~第4章详细讲述了与MIB关联密切的SNMP框架的几大基础组件，包括MIB的语法基础ASN.1、管理信息结构SMI和管理信息库MIB。基于Net-SNMP开发网络管理程序需要对SNMP协议和SNMP软件的开发流程有一定的了解，比如开发网络管理代理的首要任务是设计和编写MIB。如果读者不熟悉这些内容，建议认真阅读。 第5章讲述了SNMP协议的传输编码以及如何抓取和分析SNMP数据包，这对深入理解SNMP协议和SNMP软件的底层调试大有裨益。 第6章过渡到了Net-SNMP的详细介绍，重点讲述了工具集的使用方法、自动生成代码框架的方法以及基于Net-SNMP的开发模式。读者可以将这一章前面部分的内容看成是工具集的参考手册。 基础篇是我们是迈入实战篇的基础，它几乎覆盖了开发SNMP应用程序的所有内容。这些内容属于SNMP协议范畴，但又不能完全涵盖SNMP协议，如果读者需要全面了解SNMP协议，则还需要阅读相关的文献。不过基础篇的内容已经足以让读者应对基于Net-SNMP进行应用程序开发。如果你已经拥有相关的知识储备可以直接进入到实战篇和高级篇。 第二部分为实战篇（第7章~第11章），是本书的重点。 第7章详细介绍了Net-SNMP中丰富而复杂的配置选项，包括如何移植到嵌入式系统的相关配置和方法；搭建了基于Net-SNMP、Cacti、MySQL、Apache等相关开源软件的企业级系统监控平台，前端以Web图形展示。 第8章介绍了Net-SNMP基础库中的API，并基于此使用C语言实现了可灵活配置的、简易的网管后台程序，在SNMP的术语里我们把它称为NMS（Network Management System，网络管理系统）。 第9章介绍了Net-SNMP代理库中的API和Net-SNMP代理框架，并基于此使用C语言实现了监控操作系统中其他进程的代理程序snmpd（包含Net-SNMP中默认的MIB）。在SNMP的术语里我们把它称为Agent（代理）。这一章完整地呈现了从MIB设计开发到Agent实现的流程和方法。 第10章介绍了Net-SNMP中的Python绑定，基于其API，使用Python语言开发了一款同第8章介绍的程序功能类似的网管程序。 第11章介绍了Net-SNMP中的Perl绑定，基于其API，使用Perl语言开发了一款监控MySQL数据库的管理软件。 本书不涉及Python和Perl基础知识，这部分内容需要读者自行学习。实战篇各个章节，除了要求先掌握第7章的Net-SNMP的安装和配置外，其他几个章节没有明显的前后依赖关系，读者可以有选择性地阅读。实战篇的内容都以工程项目为背景，提供了对应监控需求的整套方案、架构以及实现方法。这些案例都在Linux系统下开发，都比较重量级！其中涉及的内容不仅包括Net-SNMP相关的知识还包括其他的开发技术、软件、系统的集成。相对于基础篇来说，对读者的要求更高。建议读者学习并掌握相关的内容。 另外，实战篇按照传统IT企业软件项目的开发流程讲述，力求顺应软件开发人员的思维，同时为了适合书写要求，笔者提取了真实项目中核心的内容，简化或转化到适合讲解和呈现的程度。对那些简化的或转化后显得更“笨拙”的解决方法，且需要在项目中考虑和实现的内容，则在章节末尾以“优化、思考”的方式提醒读者，因为这些内容已经不是本书覆盖得到的！ 第三部分为高级篇（第12章~第15章），是实战篇的延续。 第12章承接第9章的内容，首先讲述如何维护代理，并由此推演到重构和优化代理的必要性，最后给出了方案和具体的代码实现。比较有意思的是，本章还提及了代理免维护的思路和方案。应对变化最好的办法是将不变的固定而将变化的抽取出来，这可以通过代码框架的固定和配置文件的方式来实现。在这种思路下我们只需要开发代理一次，就能适应后续的需求变化，建议读者多多思考本章的思路，并自行实践。 第13章介绍了Net-SNMP中的mib2c代理（代码）框架生成工具的编程语法，并在第12章重构后的代码的基础上编写了代码框架的配置文件。基于此配置文件可以实现自动生成第12章的代码，免去繁重的代码编写工作！如果读者觉得自动生成代码是件高大上的事，就如同当年的我一样，那么你应该认真地读完本章！ 第14章讲述了Net-SNMP中的高级开发技巧，包括一些实用的API、子代理模式开发代理、动态加载模式开发代理，同时对每个知识点都给出了应用示例。其中，子代理和动态加载模式是Net-SNMP实现更为灵活的监控和分布式监控的有效手段。建议读者读完本章并在实际项目中使用。 第15章讲述了Net-SNMP的测试和调试方法，这些方法能服务于实战篇和高级篇中程序的测试和调试。这一章用了较大篇幅讲述GDB及Linux网络程序的调试方法和技巧，内容都是“干货”。它们是Linux下通用的调试手段，而不仅仅是调试Net-SNMP相关的程序，建议读者通读。 以上是本书各个章节的安排情况和写作思路，希望有助于读者阅读。 勘误和支持由于水平有限，编写时间仓促，书中难免会出现一些错误或者不准确的地方，恳请读者批评指正，为此，我特意创建一个QQ行业交流群：203127943，欢迎大家加入。你可以将书中的错误和问题反馈给我，我将尽量在线上为你提供最满意的解答。书中的全部源文件除可以从华章网站下载外，还可以从Github网站下载，地址为https://github.com/chansonZ/Understanding-the-Net-SNMP，项目代码分别放在对应章节的目录中。我也会将相应的更新及时发布出来。如果你有更多的宝贵意见，也欢迎发送邮件至邮箱xtdwxk@gmail.com，期待能够得到你的真挚反馈。 致谢首先要感谢创建并提供Net-SNMP源码的教育机构、世界各地开发和维护人员，以及负责这一开源项目的Wes Hardaker先生。同时感谢Wes在百忙之中回信给我，他不仅为我提供了资料还写下了他与Net-SNMP的缘分和项目历史。 感谢每一位帮助过我的老师、同事和领导，是他们让我有了学习和总结的机会。书中的知识都来自于他们的帮助和营造的氛围。也感谢华章作者群的大咖和周围的朋友们，他们有时不经意说出的一句话，或随手转发的一篇文章都让我受益匪浅。 感谢《微信公众平台应用开发实战》的作者钟志勇，因为他的引荐，本书才有机会出版。同时感谢参与本书审阅的朋友们：钟志勇、徐鑫鑫、白良浩、郑坤。他们的批改细致而严谨！ 感谢机械工业出版社华章公司的编辑杨福川和孙海亮老师，在这一年多的时间中是他们始终支持我的写作，他们的鼓励和帮助引导我能顺利完成全部书稿。 最后感谢我的爸爸、妈妈和姐姐在艰苦环境下将我培养成人，并时时刻刻为我灌输爱的力量！感谢哈尔滨、深圳两地教授我太极拳的老师们，他们鼓励我锻炼，使我增强了体质，这也是一年里支撑我写作到午夜的基础，尤其感谢唐老师和吴老师对我的关心！也要感谢我未来的女朋友，她没有在这一年出现，让我有时间写作，否则我肯定会拿出不少时间陪她聊天。 谨以此书献给我最亲爱的家人和朋友，以及正在为自我实现而奋斗的、充满朝气的IT工程师们！ 张春强