HSC 解析パイプラインをバイナリで配布しています。
注意: このパイプラインは、出力を無批判にサイエンスに使える域にまだ達していません。 ただしHSC共同利用者には、SSPデータリリース(内部リリース/パブリックリリース)に用いた版を使う場合のみ、ヘルプデスクがサポートを提供します (共同利用サポートページ)。 それ以外の版は、エンジニアリング用途ですのでサポートはできません。
ご意見・ご要望は、helpdeskまで。 (そもそも起動しない、等、コンパイルしたモノがおかしい場合を除き、 パイプラインそのものへのバグ報告はここに送らないでください)
3 晩で 300 ショット撮ったものを解析したい場合、典型的には下のような環境が必要になります。
| 備考 | ||
|---|---|---|
| CPU | 64bit のもの | x86_64 以外では未試験 |
| コア数 | 12 (Hyper-threading で 24) | 推奨値 |
| メモリ | 64GB | あまりに広い領域をスタックする場合はもっと必要かも |
| ストレージ | 10TB | 300ショット × オブジェクト の場合 |
プログラムとデータを ダウンロードしていただく必要があります。
下のリストから、ご自分の環境に会うものをダウンロードしてください。 最近のバージョンのバイナリパッケージは、展開すると 10GB程度になります。
このプログラムの主要部 (hscPipe, LSST stack) は GPLv3 です。 その他の部分も BSD などオープンソースライセンスのものです。 バイナリ配布者が加えたスクリプトは GPLv3 です。
| version | 備考 | OS | arch |
|---|---|---|---|
| 8.5.3 | S21A | CentOS 7 | x86_64
(sha256sum)
サポートされる Narrow band フィルターを増やすパッチ ファイルを開きすぎて失敗する問題を修正するパッチ 使い方を見るには '--help' オプションをつけて起動してください。 |
| CentOS 8 | x86_64 (sha256sum) | ||
| build script | script | ||
| 8.4 | S20A = PDR3 | CentOS 7 | x86_64
(sha256sum)
サポートされる Narrow band フィルターを増やすパッチ ファイルを開きすぎて失敗する問題を修正するパッチ 使い方を見るには '--help' オプションをつけて起動してください。 |
| build script | script | ||
| 7.9.1 | S19A | CentOS 7 | x86_64
(sha256sum)
x86_64 with OpenBLAS (sha256sum) 下のバージョン ("with OpenBLAS") は上に比べて mosaic.py が安定しています (ただし mosaic.py は非推奨となり jointcal.py にとって代わられました) サポートされる Narrow band フィルターを増やすパッチ 使い方を見るには '--help' オプションをつけて起動してください。 |
| build script | script | ||
| 6.7 | S18A + afterburner (=PDR2) | CentOS 6 | x86_64 (sha256sum) |
| CentOS 7 | x86_64 (sha256sum) | ||
| CentOS 8 | x86_64 (sha256sum) | ||
| build script | script | ||
| 6.5.3 | S18A | CentOS 6 | x86_64 (sha256sum) |
| CentOS 7 | x86_64 (sha256sum) | ||
| build script | script | ||
| 5.4 | S17A | CentOS 6 | x86_64 (sha256sum) |
| CentOS 7 | x86_64 (sha256sum) | ||
| build script | script | ||
| 4.0.5 | r2 フィルタのサポート | CentOS 6 | x86_64 (sha256sum) |
| CentOS 7 | x86_64 (sha256sum) | ||
| Ubuntu 16 | x86_64 (sha256sum) | ||
| build script | script | ||
| 4.0.2 | S15b incremental (i2 フィルタのサポートはこれ以降) | CentOS 6 | x86_64 (sha256sum) |
| CentOS 7 | x86_64 (sha256sum) | ||
| Ubuntu 16 | x86_64 (sha256sum) | ||
| build script | script | ||
| 4.0.1 | S15b | CentOS 6 | x86_64 (sha256sum) |
| CentOS 7 | x86_64 (sha256sum) | ||
| Ubuntu 15 | x86_64 (sha256sum) | ||
| build script | script | ||
| 3.8.6c_hsc | 3.8.5 の重大バグ修正版 | CentOS 6 | x86_64 (sha256sum) |
| CentOS 7 | x86_64 (sha256sum) | ||
| Ubuntu 15 | x86_64 (sha256sum) | ||
| build script | script | ||
| 3.8.5 | S15a | CentOS 6 | x86_64 (sha256sum) |
| CentOS 7 | x86_64 (sha256sum) | ||
| Ubuntu 15 | x86_64 (sha256sum) | ||
| build script | script | ||
| 3.4.1 | S14A_0b Wide (これは alpha版) | CentOS 6 | x86_64 (sha256sum) |
| 2.12.4d_hsc | S14A_0 | CentOS 6 | x86_64 (sha256sum) |
| build script | script |
解析パイプラインは、天体の等級・位置較正のためにレファレンスカタログを必要とします。 カタログは community.lsst.org ("LSST-style format") からダウンロードできます。 リンク先のページでは、すべてのファイルを取るのではなくサブセットのみを取ることを推奨していますが、 もしすべてのファイルが欲しいのであれば、全ファイルを tar に固めたものを用意しましたのでお使いください: reference-ps1_pv3_3pi_20170110.tar.xz.
v6.x 以降のパイプラインでは、Yバンドの画像を処理するために迷光パターンのファイルが必要です。 (https://community.lsst.org/t/y-band-stray-light-correction-for-hsc/2517) 迷光ファイルを tar にまとめたものをここに置きます: STRAY_LIGHT.tar.xz この中身は、リンク先で得られるファイルと同じです。
チュートリアルを試してみたい方は、画像ファイルをダウンロードしてください: rawdata.tar.xz
以下のレファレンスカタログは hscPipe version ≤ 4.x 用です。 最新のパイプラインを使うのであれば必要ありません。
| astrometry_net_data (http://astrometry.net/) |
SDSS DR9 (約20GB) converted by the HSC software team 注意: PS1データで photometry の較正が為されています。 |
| SDSS DR8 (約50GB) converted by the HSC software team | |
| あるいは自分で用意する |
(イ) ルートになれる場合、まずルートになって、プログラムアーカイブを /opt に展開してください↓
[root@example ~]# cd /opt
[root@example opt]# tar xvaf ~/hscPipe-VERSION-centos-6-x86_64.tar.xz
この場所にプログラムを設置した場合、プログラム設置に関して他にすべきことはありません。 データの設置へ進んでください。
(ロ) ルートになれない場合、プログラムアーカイブを好きな箇所に展開してください。 ただしあまりにも深いディレクトリ階層の場所は避けてください。 インストールが終わってから “setup-hscpipe” と コマンドを打ち、そのあと環境変数 $PATH を見るとわかりますが、 ディレクトリ階層が深いと $PATH が長くなりすぎてシェルのキャパシティを 越えてしまうかもしれません。実際、csh のキャパシティは普通に越えます。
例えば ~/ana の下に置く場合 (~/ana/hscpipe/VERSION の中に 全てのファイルが入る) は、次のようにします:
[user@example ~]# mkdir ~/ana
[user@example ~]# cd ~/ana
[user@example ana]# tar xvaf ~/hscPipe-VERSION-centos-7-x86_64.tar.xz
さらに、次のように同梱のスクリプトを実行してください:
[user@example ana]# cd hscpipe/VERSION [user@example VERSION]# ./install.sh
↑のスクリプトは 1 分ほどで実行が終わります。これでプログラムのインストールは完了です。 次にデータの設置へ進んでください。 なお、以降、プログラムの場所をご自分の設置場所に適宜置き換えて読み進めてください。
次に、レファレンスカタログ をインストールします。 最新の hscPipe では、昔のバージョンと違って特別なコマンドは不要です。 十分な空き容量 (~500GB) のある任意のディレクトリに tar ファイルを展開してください。
[root@example ~]# cd SOME_DIRECTORY
[root@example dir]# : アーカイブを展開する
[root@example dir]# tar xvaf ~/reference-ps1_pv3_3pi_20170110.tar.xz
つぎに自分の (ルートのを書き変えないように注意) ~/.bashrc に次のように追記します↓
[user@example ~]$ vi ~/.bashrc
:
: (もともとの内容)
:
source /opt/hscpipe/VERSION/bashrc
これで完了です。なお、setup-hscpipe とコマンドを打つまでは、 今インストールし終えたソフトウェアは一切使えません。 ログインするたび、新しく端末を立ち上げるたびに、この作業 (setup-hscpipe) は必要です。
シェルは bash を用いてください。csh は使わないでください。
[user@example ~]$ setup-hscpipe
↑このコマンドによって、大量の環境変数がセットされます。 HSC Pipeline は、この環境変数の大海の中で動作することになります。
[user@example ~]$ reset-env
↑このコマンドによって、ログイン時の環境変数に戻ります (たぶん)。
もし上のリストにないOSをお使いであれば、 ご自分でパイプラインをビルドしてください。 バージョン 5.x からビルドプロセスが十分に安定しましたので、 一般ユーザーでもご自分でパイプラインをビルドすることができると思います (Linux をご使用であれば)。
LSST のインストールマニュアル に従ってパイプラインをインストールするのがいいでしょう。 ただし LSST stack ではなく hscPipe をインストールするには、違うステップを踏む必要があります:
[user@example ~]$ cd /path/to/hscPipe8 [user@example hscPipe8]$ export EUPS_PKGROOT=https://tigress-web.princeton.edu/~HSC/hscPipe8/ [user@example hscPipe8]$ wget $EUPS_PKGROOT/newinstall.sh [user@example hscPipe8]$ bash newinstall.sh -t $(: 質問に yes と答える) [user@example hscPipe8]$ source /path/to/hscPipe6/loadLSST.bash [user@example hscPipe8]$ eups distrib install hscPipe VERSION
↑ これらのコマンドによって miniconda 版のパイプラインが得られます。
バイナリパッケージと同じものが欲しい場合、 ここにあるビルドスクリプトを使ってください。
1コアに対して 2GB メモリがあると快適でしょう。 1コアに対して 1GB のメモリでも何とかなるかもしれませんが、非常につらいでしょう。