大数据处理与存储技术

《大数据处理与存储技术》归纳和总结了主流数据库软件和常用数据处理工具的常见问题与应用技巧，为大数据技术与传统数据存储和转换技术相结合提供了技术参考，为促进大数据技术的发展，为数据库和ETL开发人员、运维人员提供了技术支撑。

本书归纳和总结了主流数据库软件和常用数据处理工具的常见问题与应用技巧，为大数据技术与传统数据存储和转换技术相结合提供了技术参考，为促进大数据技术的发展，为数据库和ETL开发人员、运维人员提供了技术支撑。本书分为3篇，共5章，主要内容包括Oracle数据库应用、MySQL数据库应用、Informatica PowerCenter工具应用、Kettle工具应用、数据库调优与ETL工具应用技巧。本书分别从数据存储软件、数据抽取与清洗软件等方面，向读者展示了Oracle、MySQL、Informatica和Kettle的常见问题、优化与提升的技巧。本书所涉及的内容均为生产实践中必要的过程和阶段，讲解由浅入深、通俗易懂，适合从事数据库开发、维护、管理、优化任务和高可用设计的工程技术人员及从事ETL开发、优化的工程技术人员使用或参考。

第一篇 数据库软件篇第1章 Oracle数据库应用 2 1.1 Oracle简介 ·31.1.1 产品历史 31.1.2 支撑的平台 41.1.3 数据库特点 4 1.2 安装配置 51.2.1 安装环境 51.2.2 系统配置 51.2.3 Oracle安装 ·8 1.3 数据库函数 201.3.1 常用函数 201.3.2 数字函数 211.3.3 预定义函数 221.3.4 字符函数 231.3.5 日期函数 26 1.4 常用查询命令 29 1.5 常见问题参考 471.5.1 事务处理 471.5.2 索引 491.5.3 触发器 53大数据处理与存储技术1.5.4 存储过程 531.5.5 参数设置 551.5.6 消息号 821.5.7 表级操作 861.5.8 锁操作 921.5.9 归档的开启与关闭 931.5.10 数据的导入与导出 941.5.11 其他 94第2章 MySQL数据库应用102 2.1 MySQL简介 ·1032.1.1 产品历史 1032.1.2 应用环境 1042.1.3 数据库特点 105 2.2 安装配置 106 2.3 数据库函数 1072.3.1 数学函数 1072.3.2 字符串函数 1102.3.3 日期函数 1142.3.4 条件判断函数 1182.3.5 系统信息函数 1192.3.6 加密函数 1202.3.7 其他函数 121 2.4 常见问题参考 1222.4.1 数据库创建 1222.4.2 数据库删除 1232.4.3 数据库连接 1232.4.4 数据表操作 1252.4.5 索引操作 1272.4.6 其他 127目 录VII第二篇 ETL工具篇第3章 Informatica PowerCenter工具应用 132 3.1 Informatica简介 ·133 3.2 安装配置 1333.2.1 准备安装环境 1333.2.2 Informatica软件安装 ·137 3.3 常见问题参考 1443.3.1 软件安装 1443.3.2 软件启动 1443.3.3 目标库表 1453.3.4 数据库连接 1473.3.5 组件应用 1483.3.6 其他 149第4章 Kettle工具应用 150 4.1 Kettle简介 151 4.2 安装配置 151 4.3 常见问题 1524.3.1 连接资源库报错 1524.3.2 日志级别设置 ·1534.3.3 时间格式问题 1534.3.4 打开资源库后页面空白 1534.3.5 Kettle连接Oracle报错 ·153第三篇 高级调优篇第5章 数据库调优与ETL工具应用技巧 156 5.1 Oracle调优 1575.1.1 优选限度使用索引 157大数据处理与存储技术5.1.2 SQL优化 1625.1.3 hint用法 ·170 5.2 MySQL调优 ·1755.2.1 优选限度使用索引 1755.2.2 优化提升 179 5.3 Informatica应用技巧 1945.3.1 元数据解析 1945.3.2 资料库操作 209附录A Oracle错误信息表 ·213附录B MySQL错误信息表 ·287附录C PowerCenter错误信息表 ·310

    第3章Informatica PowerCenter工具应用本章从Informatica PowerCenter简介、安装配置、常见问题参考等方面，介绍Informatica PowerCenter的产品特点、常见问题及解决技巧。 ●Informatica PowerCenter简介 ●安装配置 ●常见问题参考 3.1 Informatica简介 Informatica PowerCenter是Informatica公司开发的重量的企业数据集成平台，也是业界领先的ETL工具。Informatica PowerCenter使用户能够方便地从异构的已有系统和数据源中抽取数据，用来建立、部署、管理企业的数据仓库，从而帮助企业做出快速、正确的决策。此产品为满足企业级要求而设计，可以提供企业部门的数据和电子商务数据源之间的集成，如XML、网站日志、关系型数据、服务器和遗留系统等数据源。此平台性能可以满足企业分析最严格的要求。Informatica公司创立于1993年，总部位于Palo Alto , California of USA，作为电子商务分析型软件市场的领先者，一直致力于通过自身的产品和服务提升企业的竞争性优势。其拳头产品Informatica PowerCenter已被全球多家有名企业用来建设BI/DW系统，它可集成和分析企业的关键商务信息，优化整个商务价值链的表现并提高响应速度。Informatica公司作为业界领先的BI/DW系统方案提供商，拥有包括分析型应用软件、广泛的支持服务和强大的数据集成平台在内的综合性产品家族。其产品系列有Informatica PowerCenter（企业级数据集成平台）、Informatica PowerCenterRT（实时数据集成平台）、Informatica PoweMart（部门级数据集成平台）、Informatica PowerChannel（远程数据集成平台）、Informatica Metadata Exchange（元数据交换平台）等。Informatica的基础设施产品以可伸缩的、可扩展的企业级数据集成平台为特点，并广泛支持来自Informatica和其他的领先商务智能提供商的数据仓库基础设施和分析型应用软件的开发和管理。 3.2 安装配置 3.2.1 准备安装环境1. 创建Oracle与infa用户groupadd dba大数据处理与存储技术useradd –g dba oracle useradd –g dba infa --设置密码passwd oracle passwd infa 2. 配置yum源将系统镜像挂载至服务器，将系统镜像内的package目录内的所有文件复制到指定目录。mkdir /rpm_directory cp -rv media/Centos6.3_final/Packages/* /rpm_directory 通过rpm命令手工安装createrepo：cd /rpm_directory rpm –ivh createrepo* deltarpm* python-deltarpm* 创建repodata，用于存放索引信息：cd /rpm_directory createrepo –v /rpm_directory 在/etc/yum.repos.d增加repo配置文件：cd /etc/yum.repos.d vi myyum.repo 添加如下内容: [myyum-repo] name=myyum baseurl=file:///rpm_directory enabled=1 gpgcheck=0 清除yum缓存yum clean all 3. 安装Oracle客户端（Linux_64位）将Oracle 客户端上传至服务器，解压后使用xstart 或export DISPLAY=10.***.***.***:0.0 （本机IP ）进入图形化安装。进行到check 步骤时，会提示缺失部分依赖包，这时需要按照提示安装相应的依赖包，基本命令如下。yum install unixODBC* 4. 配置tns 在Oracle用户下使用netca命令进行tns配置。确认jdk版本为1.70以上（64位），如果没有jdk，可以从infa的安装介质中获取，并在infa用户的.bash_profile中配置INFA_JDK_ HOME即可（命令：java –version）。环境变量为：export INFA_JDK_HOME=/infa/media/961HF3_Server_Installer_linux-x64/source/java/binexport PATH=$INFA_JDK_HOME:$PATH确认所需端口在服务器防火墙下可通过，端口如下： ●6005至6010； ●6013至6113。确认ulimit –n 和 ulimit –u的值均为大于等于32000，修改方法如下： ●以root身份vim /etc/security/limits.conf。 ●在该配置文件最下方追加 ulimit –u 32000。 ●在该配置文件最下方追加 ulimit –n 32000。 ●进入root目录，修改.bash_profile，追加ulimit –u 32000和ulimit –n 32000。 ●以infa身份修改infa的.bash_profile，追加ulimit –u 32000和ulimit –n 32000。 ●以infa身份运行 ulimit –a 查看值是否已经改为32000。确认Oracle 64位客户端被正常安装，tns可以连通oracle server端。确认Oracle用户的环境变量追加到infa用户中去，确保infa拥有/home/oracle的目录权限。chmod 775 –R /home/oracle以root身份，临时export DISPLAY=10.162.210.208:0.0，然后xhost +，再以infa身份，临时export DISPLAY=10.162.210.208:0.0，然后xhost +，回显：access control disabled , clients can connect from any host表示可以进行安装。安装完成infa server后，需要在infa用户的.bash_profile中追加环境变量如下。##### infa server #####export INFA_HOME=/home/infa/infa961export INFA_CODEPAGENAME="UTF-8"export INFA_DOMAINS_FILE=$INFA_HOME/domains.infaexport PATH=$INFA_HOME/server/bin:$PATHexport LD_LIBRARY_PATH=$INFA_HOME/server/bin:$LD_LIBRARY_PATH生效环境变量，然后重启infa主进程。启动|关闭 infa主进程的命令如下。（1）infa用户。 cd $INFA_HOME/tomcat/bin ./infaservice.sh startup 【启动进程】 ./infaservice.sh shutdown 【结束进程】以infa身份cd到/home/oracle/app/oracle/product/11.2.0/client_1/lib，创建软连接到$INFA_HOME/server/bin下。ln -s libclntsh.so.10.1 $INFA_HOME/server/bin大数据处理与存储技术（2）Infa用户环境变量。# .bash_profile # Get the aliases and functions if [ -f ~/.bashrc ]; then . ~/.bashrc fi # User specific environment and startup programs PATH=$PATH:$HOME/bin export PATH export DISPALY=10.162.210.208:0.0 export LANG=C export LC_ALL=C ulimit -u 32000 ulimit -n 32000 export INFA_JDK_HOME=/infa/media/961HF3_Server_Installer_linux-x64/source/ java/bin export PATH=$INFA_JDK_HOME:$PATH ##### oracle client ##### export ORACLE_HOME=/home/oracle/app/oracle/product/11.2.0/client_1 export TNS_ADMIN=$ORACLE_HOME/network/admin export PATH=$ORACLE_HOME/bin:$PATH export LD_LIBRARY_PATH=$ORACLE_HOME/lib:$LD_LIBRARY_PATH ##### infa server ##### export INFA_HOME=/home/infa/infa961 export INFA_CODEPAGENAME="UTF-8" export INFA_DOMAINS_FILE=$INFA_HOME/domains.infa export PATH=$INFA_HOME/server/bin:$PATH export LD_LIBRARY_PATH=$INFA_HOME/server/bin:$LD_LIBRARY_PATH （3）Oracle用户环境变量。# Get the aliases and functions if [ -f ~/.bashrc ]; then . ~/.bashrc fi # User specific environment and startup programs PATH=$PATH:$HOME/bin export PATH #export DISPALY=10.162.210.208:0.0 export ORACLE_HOME=/home/oracle/app/oracle/product/11.2.0/client_1 export TNS_ADMIN=$ORACLE_HOME/network/admin export PATH=$ORACLE_HOME/bin:$PATH export LD_LIBRARY_PATH=$ORACLE_HOME/lib:$LD_LIBRARY_PATH 3.2.2 Informatica软件安装 [infa@qywtysjzx3 961HF3_Server_Installer_linux-x64]$ ./install.sh OS detected is Linux\***************************************************************************\* Welcome to the Informatica 9.6.1 HotFix 3 Server Installer. *\***************************************************************************Before you continue , read the following documents:* Informatica 9.6.1 HotFix 3 Installation Guide and Release Notes.* B2B Data Transformation 9.6.1 HotFix 3 Installation , Configuration Guide and Release Notes.You can find the 9.6.1 HotFix 3 documentation in the Product Documentation section at http://mysupport.informatica.com.Configure the LANG and LC_ALL variables to generate appropriate code pages andcreate and connect to repositories and Repository Services.Do you want to continue? (Y/N)yInstaller requires Linux version 2.6.18-0 or later versions of the 2.6.18 series or version 2.6.32-0 or later versions of the 2.6.32 series.Current operating system Linux version 2.6.32-131.Current operating system meets minimum requirements.Select to install or upgrade: 1. Install or upgrade Informatica. Select this option if the machine does not have Informatica services installed or if it has Informatica 9.6.0 or an earlier version installed.2. Install or upgrade Data Transformation Engine Only. Select this option to install or upgrade only Data Transformation Engine.3. Apply Hotfix 3 to Informatica 9.6.1. Select this option if the machine has Informatica 9.6.1 installed.Enter the choice(1 , 2 or 3):1-----------------------------------------------------------Checking for existing 9.6.1 HotFix 3 product installation.To verify whether the machine meets the system requirements for the Informatica installation or upgrade , run the Pre-Installation (i9Pi) System Check Tool before you start the installation or upgrade process. It is recommended that you verify the minimum system requirements.Select one of the following options: 1. Run the Pre-Installation (i9Pi) System Check Tool2. Run the Informatica Kerberos SPN Format Generator3. Run the Informatica services installationSelect the option to proceed : (Default : 3)3Preparing to install...Extracting the JRE from the installer archive...Unpacking the JRE...Extracting the installation resources from the installer archive...