Hiveジョブ実行処理

オペレーション名

Hiveジョブ実行

機能概要

Hiveジョブを実行します。

本オペレーションではWebHCatを使用します。API仕様については以下のページを参照してください。

「WebHCat - Apache Hive - Apache Software Foundation」(https://cwiki.apache.org/confluence/display/Hive/WebHCat)

プロパティ

変数の使用については、「変数」を参照してください。

基本設定

項目名	必須/省略可	変数の使用	説明	備考
名前	必須	使用不可	スクリプトキャンバス上での名前を入力します。

必須設定

項目名	必須/省略可	変数の使用	説明	備考
クラスター名	必須	使用可	クラスター名を入力します。
クラスターユーザー名	必須	使用可	クラスターユーザー名を入力します。
クラスターパスワード	必須	使用可	クラスターのパスワードを入力します。
クエリー	必須	使用可	クエリーを入力します。	Hiveにおけるクエリーについては以下のページを参照してください。「LanguageManual - Apache Hive - Apache Software Foundation」(https://cwiki.apache.org/confluence/display/Hive/LanguageManual)
ジョブ状態を出力	省略可	使用不可	ジョブ状態を出力するかどうかを選択します。 [チェックあり]: ジョブ状態をコンテナに出力します。 [チェックなし]:(デフォルト) ジョブ状態を出力しません。	ジョブ状態は、クラスターの既定のコンテナに出力されます。ジョブ状態を出力する場合、後続の処理でコンポーネント変数のstatusdir_virtual_directoryから出力先の仮想ディレクトリを取得することができます。
実行完了を待機	省略可	使用不可	ジョブ実行が完了するまで処理を待機するかどうかを選択します。 [チェックあり]:(デフォルト) ジョブが実行完了するまで処理を待機します。 [チェックなし]: ジョブに実行要求を送信すると待機せず後続の処理に進みます。

コメント

項目名	必須/省略可	変数の使用	説明	備考
コメント	省略可	使用不可	このアダプタの簡単な説明を記述することができます。説明を記述すると、仕様書に反映させることができます。

スキーマ

入力スキーマ

ありません。

出力スキーマ

ありません。

Mapperでのスキーマ読み込み

スキーマは自動で読み込まれます。

詳細については、「スキーマ編集」を参照してください。

大容量データ処理

大容量データ処理に対応していません。

PSPでの使用について

PSPでは使用できません。

使用できるコンポーネント変数

コンポーネント変数名	説明	備考
job_id	実行したジョブのIDが格納されます。	デフォルト値はnullです。
statusdir_virtual_directory	ジョブ状態を出力する仮想ディレクトリが格納されます。	デフォルト値はnullです。 [ジョブ状態を出力する]にチェックを入れた場合、取得することができます。
message_category	エラー発生時、発生したエラーに対応するメッセージコードのカテゴリが格納されます。	デフォルト値はnullです。
message_code	エラー発生時、発生したエラーに対応するメッセージコードのコードが格納されます。	デフォルト値はnullです。
message_level	エラー発生時、発生したエラーに対応するメッセージコードの重要度が格納されます。	デフォルト値はnullです。
error_type	エラー発生時、発生したエラーの種類が格納されます。	デフォルト値はnullです。エラーの種類は、以下のような形式となります。例:「java.io.FileNotFoundException」 SkyOnDemandのバージョンにより、格納される内容が変わる可能性があります。
error_message	エラー発生時、発生したエラーのメッセージが格納されます。	デフォルト値はnullです。 SkyOnDemandのバージョンにより、格納される内容が変わる可能性があります。
error_trace	エラー発生時、発生したエラーのトレース情報が格納されます。	デフォルト値はnullです。 SkyOnDemandのバージョンや実行するクライアントアプリケーションにより、格納される内容が変わる可能性があります。

仕様制限

特にありません。

主な例外

例外名	原因	対策
InvalidPropertyConfigurationException <プロパティ名>が指定されていません。	[<プロパティ名>]が指定されていません。	[<プロパティ名>]を指定してください。
java.net.UnknownHostException	クラスターが存在しません。	[クラスター名]を確認してください。
AzureHdinsightException jobId=<ジョブID>, status=<ジョブ状態>	ジョブの状態が不正です。	ジョブの内容を確認してください。
AzureHdinsightException	ジョブの実行に失敗しました。	エラーメッセージの内容を確認してください。

注意事項

Azure HDInsightと本アダプタとの通信は、HTTPSを使用します。

Azure HDInsightの仕様変更により、予告なく仕様は変更されることがあります。

クエリーの実行結果がエラーでも、オペレーションは正常終了します。