记Hive SQL中TEMPORARY VIEW的一个数据对不上的坑

问题背景:

(无关操作已省略)

Spark ETL执行以下SQL：

CREATE TEMPORARY VIEW A select user_id, ...;

CREATE TEMPORARY VIEW B select user_id, ... from A ...; 

INSERT OVERWRITE TABLE  C select * from A union all ( select * from B)

发现A和B表union之后写入C表的数据中, 来源于B的user_id和来源于A的user_id竟然完全不同。

十分困惑，因为表B的数据完全来源于表A，不应该出现这种情况。

 

原因：

etl会多次产生表A，create B产生一次，union的时候产生一次，两次session对不起来。 真是巨坑。

记Hive SQL中TEMPORARY VIEW的一个数据对不上的坑

标签：bsp   一个   写入   from   情况   inner   十分   产生   text   

查看更多关于记Hive SQL中TEMPORARY VIEW的一个数据对不上的坑的详细内容...