回到顶部

扩展集群blk数

时间:1年前   作者:我就是曹总   浏览:68   [站内原创,转载请注明出处]

标签: <无>

1.扩展blk数

hadoop fs -setrep -w 3 /

2.hive加载数据并覆盖

load data inpath '/user/date=2017-03-02/*' OVERWRITE into table compensator_p partition(date='2017-03-02')

3.hive通过zk配置

jdbc:hive2://192.168.6.61:2181,192.168.6.71:2181,192.168.6.81:2181/fjudm4;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=hiveserver2

4.spark提交任务

spark-submit --class com.epri.sgcc.DCloud.util.Oms_lzop --master spark://FJ-DCLOUD-RDB98:7077 --driver-memory 5g --executor-memory 10g --total-executor-cores 4 $kettle_jar_home/spark_load_data/sparkLoadHive.jar $db ems $td

内容均为作者独立观点,不代表八零IT人立场,如涉及侵权,请及时告知。

评论努力加载中...
暂无评论
暂无评论

手机扫码阅读

热门相关

加载中...
关于我们   联系我们   申请友链   赞助记录   站点地图
© 2014 - 2017 www.80iter.com All Rights Reserved. 京ICP备14042174号-1
本站遵循 CC BY 4.0 协议,转载请注明出处 。