HULFT Technical Support & FAQ

  • 文字サイズ変更
  • S
  • M
  • L

マイページ

FAQのNo.から検索

No.を入力し参照をクリック
※半角数字のみ入力が可能です

  • No : 21213
  • 公開日時 : 2015/03/02 08:14
  • 更新日時 : 2024/11/27 13:27
  • 印刷

【DataSpider Servista】　処理対象のデータ件数を多くしたらスクリプトの実行が失敗するようになりました

それまで正常に終了していたスクリプトで処理対象のデータ件数を多くしたところ、以下のようなエラーが発生し、スクリプトの実行が失敗するようになりました。

原因と対応策を教えてください。
  • java.lang.OutOfMemoryError: Java heap space
  • java.lang.OutOfMemoryError: GC overhead limit exceeded
カテゴリー : 

回答

■エラーの発生条件
 
DataSpider Servista で読み込んだデータの容量が、設定しているヒープメモリを超えた場合に、同一のエラーが発生します。
 
■想定される原因
 
以下のいずれかの原因に該当している可能性があります。
  1. 処理対象のデータ件数が増加したことで、メモリが不足しているエラーが発生している
  2. ファイルシステムに関する既知の問題に該当している
以下の対応策をご検討ください。
 
■対応策
  1. 処理対象のデータ件数が増加したことで、メモリが不足しているエラーが発生している
※ヒープ領域を拡張した場合、DataSpiderServer のプロセスが使用するメモリ容量が増加します。このため、まずシステムへの影響が少ない(1)からのご検討をおすすめします。
  1. 大容量データ処理、パラレルストリーミング処理（PSP）の使用
大容量データ処理は、読み取ったデータを一時ファイルに保存し、メモリ上に保持するデータ量を抑えます。また、パラレルストリーミング処理（PSP）は、処理対象のデータをブロックに分割して、読み込み処理、変換、書き込み処理をそれぞれ別スレッドで処理することで、メモリ上に保持するデータ量を抑えます。
 
このため、上記のいずれかを使用することで、メモリ使用量を抑えることができます。
 
大容量データ処理、パラレルストリーミング処理の詳細に関しては、「参考情報」のヘルプをご参照ください。
  1. ヒープ領域の拡張
データを読み込むメモリのヒープ領域を拡張することでより多くのメモリを保持できるようになります。
 
ヒープ領域は DataSpider の設定ファイル（DataSpiderServer.lax）のメモリ設定に関するキーから拡張することができます。詳細は「参考情報」のヘルプをご参照ください。
  1. ファイルシステムに関する既知の問題に該当している
以下の既知の問題に該当するかご確認いただき、該当する場合には「対処方法」にて事象が解消するかご確認ください。以下は、バージョン 3.1 の既知の問題に記載しておりますが、3.0 以前のバージョンでも発生いたします。
 
・DSS-19380
リポジトリ DB 有り環境で、データベースファイルシステム上にあるファイルに 大容量データを書き込んだ際に、「OutOfMemoryError」エラーが発生する場合があります。
 
本事象は、PSP、または大容量データ処理を有効にしても発生します。
 
対処方法:ローカルファイルシステム、または拡張ローカルファイルシステムのファイルに書き込みを行なってください。
 
上記にてエラーが解消されない場合は、サポートセンターまでお問い合わせをお願いいたします。
 
 
参考情報
 
 
目的別で検索
トラブルシューティング

このFAQに関してのご意見をお聞かせ下さい。

TOPへ