HSC Pipeline バイナリ配布所

English

HSC 解析パイプラインをバイナリで配布しています。

注意: このパイプラインは、出力を無批判にサイエンスに使える域にまだ達していません。 ただしHSC共同利用者には、SSPデータリリース(内部リリース/パブリックリリース)に用いた版を使う場合のみ、ヘルプデスクがサポートを提供します (共同利用サポートページ)。 それ以外の版は、エンジニアリング用途ですのでサポートはできません。

ご意見・ご要望は、helpdeskまで。 (そもそも起動しない、等、コンパイルしたモノがおかしい場合を除き、 パイプラインそのものへのバグ報告はここに送らないでください)

  1. 動作環境
  2. ダウンロード
  3. インストール
  4. 使い方 (bash)
  5. チュートリアル (別ページ)
  6. ソースからビルドする
  7. リンク集

動作環境

3 晩で 300 ショット撮ったものを解析したい場合、典型的には下のような環境が必要になります。

備考
CPU64bit のものx86_64 以外では未試験
コア数12 (Hyper-threading で 24)推奨値
メモリ64GBあまりに広い領域をスタックする場合はもっと必要かも
ストレージ10TB300ショット × オブジェクト の場合

ダウンロード

プログラムデータを ダウンロードしていただく必要があります。

プログラム

下のリストから、ご自分の環境に会うものをダウンロードしてください。 最近のバージョンのバイナリパッケージは、展開すると 10GB程度になります。

このプログラムの主要部 (hscPipe, LSST stack) は GPLv3 です。 その他の部分も BSD などオープンソースライセンスのものです。 バイナリ配布者が加えたスクリプトは GPLv3 です。

version備考OSarch
8.5.3 S21A CentOS 7 x86_64 (sha256sum)
CentOS 8 x86_64 (sha256sum)
build script script
8.4 S20A = PDR3 CentOS 7 x86_64 (sha256sum)
build script script
7.9.1 S19A CentOS 7 x86_64 (sha256sum)
x86_64 with OpenBLAS (sha256sum)
下のバージョン ("with OpenBLAS") は上に比べて mosaic.py が安定しています (ただし mosaic.py は非推奨となり jointcal.py にとって代わられました)
サポートされる Narrow band フィルターを増やすパッチ
使い方を見るには '--help' オプションをつけて起動してください。
build script script
6.7 S18A + afterburner (=PDR2) CentOS 6 x86_64 (sha256sum)
CentOS 7 x86_64 (sha256sum)
build script script
6.5.3 S18A CentOS 6 x86_64 (sha256sum)
CentOS 7 x86_64 (sha256sum)
build script script
5.4 S17A CentOS 6 x86_64 (sha256sum)
CentOS 7 x86_64 (sha256sum)
build script script
4.0.5 r2 フィルタのサポート CentOS 6 x86_64 (sha256sum)
CentOS 7 x86_64 (sha256sum)
Ubuntu 16 x86_64 (sha256sum)
build script script
4.0.2 S15b incremental (i2 フィルタのサポートはこれ以降) CentOS 6 x86_64 (sha256sum)
CentOS 7 x86_64 (sha256sum)
Ubuntu 16 x86_64 (sha256sum)
build script script
4.0.1 S15b CentOS 6 x86_64 (sha256sum)
CentOS 7 x86_64 (sha256sum)
Ubuntu 15 x86_64 (sha256sum)
build script script
3.8.6c_hsc 3.8.5 の重大バグ修正版 CentOS 6 x86_64 (sha256sum)
CentOS 7 x86_64 (sha256sum)
Ubuntu 15 x86_64 (sha256sum)
build script script
3.8.5 S15a CentOS 6 x86_64 (sha256sum)
CentOS 7 x86_64 (sha256sum)
Ubuntu 15 x86_64 (sha256sum)
build script script
3.4.1 S14A_0b Wide (これは alpha版) CentOS 6 x86_64 (sha256sum)
2.12.4d_hsc S14A_0 CentOS 6 x86_64 (sha256sum)
build script script

データ

レファレンスカタログ

解析パイプラインは、天体の等級・位置較正のためにレファレンスカタログを必要とします。 カタログは community.lsst.org ("LSST-style format") からダウンロードできます。 リンク先のページでは、すべてのファイルを取るのではなくサブセットのみを取ることを推奨していますが、 もしすべてのファイルが欲しいのであれば、全ファイルを tar に固めたものを用意しましたのでお使いください: reference-ps1_pv3_3pi_20170110.tar.xz.

Yバンド迷光

v6.x 以降のパイプラインでは、Yバンドの画像を処理するために迷光パターンのファイルが必要です。 (https://community.lsst.org/t/y-band-stray-light-correction-for-hsc/2517) 迷光ファイルを tar にまとめたものをここに置きます: STRAY_LIGHT.tar.xz この中身は、リンク先で得られるファイルと同じです。

チュートリアル用の生画像ファイル

チュートリアルを試してみたい方は、画像ファイルをダウンロードしてください: rawdata.tar.xz

レファレンスカタログ (旧版)

以下のレファレンスカタログは hscPipe version ≤ 4.x 用です。 最新のパイプラインを使うのであれば必要ありません。

astrometry_net_data
(http://astrometry.net/)
SDSS DR9 (約20GB)
converted by the HSC software team
注意: PS1データで photometry の較正が為されています。
SDSS DR8 (約50GB)
converted by the HSC software team
あるいは自分で用意する

インストール

プログラム本体の設置

(イ) ルートになれる場合、まずルートになって、プログラムアーカイブを /opt に展開してください↓

[root@example ~]# cd /opt
[root@example opt]# tar xvaf ~/hscPipe-VERSION-centos-6-x86_64.tar.xz

この場所にプログラムを設置した場合、プログラム設置に関して他にすべきことはありません。 データの設置へ進んでください。

(ロ) ルートになれない場合、プログラムアーカイブを好きな箇所に展開してください。 ただしあまりにも深いディレクトリ階層の場所は避けてください。 インストールが終わってから “setup-hscpipe” と コマンドを打ち、そのあと環境変数 $PATH を見るとわかりますが、 ディレクトリ階層が深いと $PATH が長くなりすぎてシェルのキャパシティを 越えてしまうかもしれません。実際、csh のキャパシティは普通に越えます。

例えば ~/ana の下に置く場合 (~/ana/hscpipe/VERSION の中に 全てのファイルが入る) は、次のようにします:

[user@example ~]# mkdir ~/ana
[user@example ~]# cd ~/ana
[user@example ana]# tar xvaf ~/hscPipe-VERSION-centos-7-x86_64.tar.xz

さらに、次のように同梱のスクリプトを実行してください:

[user@example ana]# cd hscpipe/VERSION
[user@example VERSION]# ./install.sh

↑のスクリプトは 1 分ほどで実行が終わります。これでプログラムのインストールは完了です。 次にデータの設置へ進んでください。 なお、以降、プログラムの場所をご自分の設置場所に適宜置き換えて読み進めてください。

データの設置

次に、レファレンスカタログ をインストールします。 最新の hscPipe では、昔のバージョンと違って特別なコマンドは不要です。 十分な空き容量 (~500GB) のある任意のディレクトリに tar ファイルを展開してください。

[root@example ~]# cd SOME_DIRECTORY
[root@example dir]# : アーカイブを展開する
[root@example dir]# tar xvaf ~/reference-ps1_pv3_3pi_20170110.tar.xz

セットアップコマンドを登録

つぎに自分の (ルートのを書き変えないように注意) ~/.bashrc に次のように追記します↓

[user@example ~]$ vi ~/.bashrc
:
: (もともとの内容)
:

source /opt/hscpipe/VERSION/bashrc

これで完了です。なお、setup-hscpipe とコマンドを打つまでは、 今インストールし終えたソフトウェアは一切使えません。 ログインするたび、新しく端末を立ち上げるたびに、この作業 (setup-hscpipe) は必要です。

使い方 (bash)

シェルは bash を用いてください。csh は使わないでください。

HSC Pipeline をセットアップ

[user@example ~]$ setup-hscpipe

↑このコマンドによって、大量の環境変数がセットされます。 HSC Pipeline は、この環境変数の大海の中で動作することになります。

環境変数をリセット

[user@example ~]$ reset-env

↑このコマンドによって、ログイン時の環境変数に戻ります (たぶん)。

ソースからビルドする

もし上のリストにないOSをお使いであれば、 ご自分でパイプラインをビルドしてください。 バージョン 5.x からビルドプロセスが十分に安定しましたので、 一般ユーザーでもご自分でパイプラインをビルドすることができると思います (Linux をご使用であれば)。

LSST のインストールマニュアル に従ってパイプラインをインストールするのがいいでしょう。 ただし LSST stack ではなく hscPipe をインストールするには、違うステップを踏む必要があります:

[user@example ~]$ cd /path/to/hscPipe8
[user@example hscPipe8]$ export EUPS_PKGROOT=http://tigress-web.princeton.edu/~HSC/hscPipe8/
[user@example hscPipe8]$ wget $EUPS_PKGROOT/newinstall.sh
[user@example hscPipe8]$ bash newinstall.sh -t $(: 質問に yes と答える)
[user@example hscPipe8]$ source /path/to/hscPipe6/loadLSST.bash
[user@example hscPipe8]$ eups distrib install hscPipe VERSION

↑ これらのコマンドによって miniconda 版のパイプラインが得られます。

バイナリパッケージと同じものが欲しい場合、 ここにあるビルドスクリプトを使ってください。

推奨ビルド環境

1コアに対して 2GB メモリがあると快適でしょう。 1コアに対して 1GB のメモリでも何とかなるかもしれませんが、非常につらいでしょう。

リンク集

http://hsc-jira.astro.princeton.edu
バグ報告はここへ
フォーラム
質問はここへ
メーリングリストのアーカイブ
メーリングリストは hsc_software (英語で投げてください)
http://hsca.ipmu.jp
マニュアルなど (パスワードが必要; 管理者には訊かないでください)
LSST Software User Guide
HSC Pipeline の基礎である LSST Software のマニュアル