HiveでLzoのIndex作成してはいけない

Pocket

Hive で Lzo を使いたいですよね
Hadoop で Lzo を使う理由として、圧縮がそれなりで展開が早い
そして、Index を作れば分割できるとおもいますよね

Hive で Lzo のテーブルを LOAD すると、hdfs:///user/hive/warehouse/ 以下にテーブルのファイルが配置されます。
ただし、インデックスを作ってはいけません。
Hive で SELECT すると、インデックスファイルまで読み込まれてしまいますよ
これで一日つぶしてしまいました(^^

分割するなら、自分で分割するか、PARTITION などを使いましょう

コメントを残す