解决sqoop import 导入到hive后数据量变多的问题

使用sqoop import 命令从postgreSQL导入数据到hive中，发现数据行数变多了，但是任务没有跑错，非常奇怪。

导入语句为：

sqoop import --connect jdbc:postgresql://*.*.*.*:5432/database_name --username name111 --password password111 --table table111 --hive-import --hive-database database111 --hive-table hive_table111 --hive-overwrITe --delete-target-dir --hive-drop-import-delims --null-string '' --null-non-string ''  -m5

导入前pgsql数据量为3698条，但是导入后再hive中的数据量为3938，数据竟然变多了。最后发现将参数-m5，改为-m1即可解决问题。

为什么呢？

我们先来了解一下参数-m的含义以及sqoop导入的原理。

首先用户输入一个 Sqoop import 命令，Sqoop 会从关系型数据库中获取元数据信息，比如要操作数据库表的 schema是什么样子，这个表有哪些字段，这些字段都是什么数据类型等。它获取这些信息之后，会将输入命令转化为基于 Map 的 Mapreduce作业，这样 MaPReduce作业中有很多 Map 任务，每个 Map 任务从数据库中读取一片数据，这样多个 Map 任务实现并发的拷贝，把整个数据快速的拷贝到 HDFS 上。

而决定切分成多少个map就是参数-m的作用，-m5代表切分为5个map，-m1代表切分为1个map，即不用切分。

而决定用什么字段来切分，就是用--split-by来制定的。当sqoop import 没有定义--split-by时，默认使用源数据表的key作为切分字段。

split-by 根据不同的参数类型有不同的切分方法，如int型，Sqoop会取最大和最小split-by字段值，然后根据传入的num-mapPErs来 确定划分几个区域。比如select max(split_by),min(split-by) From得到的max(split-by)和min(split-by)分别为1000和1，而num-mappers（-m）为2的话，则会分成两个区域 (1,500)和(501-1000),同时也会分成2个sql给2个map去进行导入操作，分别为select XXX from table where split-by> =1 and split-by500和select XXX from table where split-by> =501 and split-by=1000.最后每个map各自获取各自SQL中的数据进行导入工作。

那回到最开始的问题，为什么切分数目不一样，结果就不一样呢？理论上无论怎么切分，导入的数据都应该是一样的，但现在甚至还多了？这是因为，用来切分的字段不友好，不是int型或者有排序规律的。

这种id内容是没有排序规则的，比如本来10条id切两份得到（5,5），现在切出来时（5,6），有一个id重复了，就导致数量变多了。

所以解决办法有两个：

一是将 -m5 改成 -m1 直接不切分；

二是 --split-by制定另外的字段，换一个int型的或者有明确排序顺序的字段。

除了以上这种原因导致数据变多，语句缺少 --hive-drop-import-delims 也可能导致问题的出现，解决如下：

关于在sqoop导入数据的时候，数据量变多的解决方案。

今天使用sqoop导入一张表，我去查数据库当中的数据量为650条数据，但是我将数据导入到hive表当中的时候出现了563条数据，这就很奇怪了，我以为是数据错了，然后多导入了几次数据发现还是一样的问题。

然后我去查数据字段ID的值然后发现建了主键的数据怎么可能为空的那。然后我去看数据库当中的数据发现，数据在存入的时候不知道加入了什么鬼东西，导致数据从哪一行截断了，导致多出现了三条数据。下面是有问题的字段。

这里我也不知道数据为啥会是这样，我猜想是在导入数据的时候hive默认行的分割符号是按照\n的形式导入进来的，到这里遇到了这样的字符就对其按照下一行进行对待将数据截断了。

然后我测试了一直自定义的去指定hive的行的分割符号，使用--lines-terminated-by 指定hive的行的分割符号，但是不幸的是好像这个是不能改的。他会报下面的错误：

FaiLED: SEManticException 1:424 LINES TERMINATED BY only supports newline '\n' right now. Error encountered near token ''\164'' 于是上网找资料，然后发现可以使用一个配置清除掉hive当中默认的分割符号，然后导入数据，配置如下： --hive-drop-import-delims 这个参数是去掉hive默认的分割符号，加上这个参数然后在使用--fields-terminated-by 指定hive的行的分割符号 最终数据导入成功，数据量和原来数库当中的数据一致。

上面是sqooP脚本的部分内容，下面是执行完hive之后，hive创建的表，字段之间默认的分割符号。

至此问题得到了解决。

以上为个人经验，希望能给大家一个参考，也希望大家多多支持。如有错误或未考虑完全的地方，望不吝赐教。

• 在Hadoop集群环境中为MySQL安装配置Sqoop的教程
• sqoop export导出 map100% reduce0% 卡住的多种原因及解决
• 解决sqoop从postgresql拉数据,报错TCP/IP连接的问题
• sqoop读取postgresql数据库表格导入到hdfs中的实现
• sqoop 实现将postgresql表导入hive表
• 使用shell脚本执行hive、sqoop命令的方法
• Sqoop的安装与使用详细教程

声明：本文内容由网友自发贡献，本站不承担相应法律责任。对本内容有异议或投诉，请联系2913721942#qq.com核实处理，我们将尽快回复您，谢谢合作！