sqoop使用

sqoop 是进出hadoop的重要工具。 用sqoop从RDBMS中导入数据 sqoop import \ -D oozie.job.id=$wf_job_id \ — 自定义参数 oozie 相关 -D mapred.job.queue.name=$mapred_job_queue_name \ — 自定义参数 oozie 相关 –connect $data_db_url \ –RDMS jdbc地

sqoop 是进出hadoop的重要工具。

用sqoop从RDBMS中导入数据

sqoop import \
-D oozie.job.id=$wf_job_id \ — 自定义参数 oozie 相关

-D mapred.job.queue.name=$mapred_job_queue_name \ — 自定义参数 oozie 相关

–connect $data_db_url \ –RDMS jdbc地址
–username $data_db_username \ -RDBMS用户名
–password $data_db_password \ -RDBMS密码
–table $db_table \ — RDBMS 表名
–columns $db_columns \ –导入字段，及其顺序
–verbose \
–target-dir $hdfs_target_dir \ —HDFS目标文件夹
–fields-terminated-by ‘\001’ \ —字段分隔字符
–lines-terminated-by ‘\n’ \ — 行分隔字符
–hive-table $data_db_name.$hive_table \ — hive表名
-m $parallel_cou

本文来源gao!daima.com搞$代!码网

nt \ —使用并发
–hive-import \ — 使用hive开关
–hive-overwrite \ — 是否覆盖写
–null-string ‘\\N’ \ –空字段表示
–null-non-string ‘\\N’ \
–hive-drop-import-delims

用sqoop 从 hadoop向RDBMS推送数据

使用 insert overwrite directory OOOO select * from XXXX; 将表XXXX 转换格式并导入HDFS中，准备推送

sqoop export \
-D oozie.job.id=$wf_job_id \
-D mapred.job.queue.name=$mapred_job_queue_name \
-D mapred.task.timeout=0 \
–connect $data_db_url \
–username $data_db_username \
–password $data_db_password \
–table ${table_name}_insert \
–export-dir $insert_dir \ –目标文件夹

–columns $db_columns \ –输出字段顺序（用于数据对其，非常重要）
–input-null-string ‘\\N’ \
–input-null-non-string ‘\\N’ \
–input-fields-terminated-by ‘\001’ \ — 字段隔离符号
-m ${parallel_count} \ 并发数量

喜欢 (0)赏

[搞代码]

分享 (0)