ユーザ用ツール

サイト用ツール


documents:guide:scs-guide

科学技術計算システム利用の手引き(初級編)

1 科学技術計算システムの概要

農林水産研究情報総合センター(以下、「情報総合センター」)では、スーパーコンピュータや、 科学技術計算アプリケーションが利用できる計算機資源を提供しています。 これらの計算機システムを「科学技術計算システム」と呼んでいます。

情報総合センター登録ユーザであれば、ご利用いただけます。

1.1 利用できるサービス

科学技術計算システムでは次のサービスがご利用いただけます。

  • 科学技術計算アプリケーションの利用
    • 統計・計算:SAS, Maple ほか
    • 計算化学:Gaussian, MOE ほか
    • 構造・流体:ANSYS, ANSYS Fluent, Pointwise ほか
    • 可視化:AVS-Express Viz ほか
    • 数値計算ライブラリ:IMSL, ScaLAPACK, ASL ほか
    • 地理情報・リモートセンシング:ArcGIS, ERDAS Imagin, ENVI ほか
  • スーパーコンピュータの利用
    • 分散並列型クラスタ計算機、大規模共有メモリ型計算機の利用
    • 開発環境の利用(C,C++,Fortran)
  • 基礎数値データの利用
    • アメダスデータ、気象データ、農林水産統計データ
  • 利用支援
    • 各科学技術計算アプリケーションの利用研修
    • プログラミング環境等の講習
    • 技術相談等の研究支援
    • 科学技術計算システムメーリングリスト

1.2 システムの利用申請

「科学技術計算システム」を利用するには、利用登録が必要です。

利用登録が済むと、現在メールでご利用のID(ログイン名)とパスワードで 科学技術計算システムの各アプリケーション・計算サーバにログインして ご利用できるようになります。

利用申請はWeb上からお申し込みいただけます。

ネットワークサービスシステム(https://nss.sys.affrc.go.jp/)から [利用者情報]の[システム利用申請]で当該項目をチェックして申請下さい。

システム利用申請Web画面

1.3 システムの構成

1.3.1 分散並列型クラスタシステム(Type A)

一般のPCと同じX64(x86_64)アーキテクチャのLinuxサーバによる大規模なクラスタシステムで、 大学など多くの研究機関で開発されたソフトウェア資産を容易に導入することができます。

計算ノード(Type A)
機種 SGI ICE XA (216ノード)
CPU Intel Xeon E5-2680v4, 14 cores, 2.4 GHz × 2CPU (28 Cores) / node
主記憶 128 GB Memory / node
OS RedHat Enterprise Linux Server
ログイン 不可(バッチジョブのみ)
MPI 1) による分散並列計算用クラスタシステムです。

1.3.2 大規模共有メモリ型システム(Type B)

256個のコア(16 cores × 16 CPU)を搭載した共有メモリ型の計算機で、コンパイラによる自動並列化機能やOpenMP 2) により、ノード内並列計算を行います。

1.4 システムの利用環境

科学技術計算システムは、UNIX(Linux) がベースとなっており、 ある程度 UNIX の知識を必要とします。

基本的な利用方法は、パソコンのターミナル(端末)ソフトを使った、 SSH リモートログインによるコマンド操作(CUI)となります。

ファイル転送や、一部のアプリケーションについて、 リモートデスクトップ(RealVNC)や X Window により、GUI での操作が可能です。

ホスト名一覧
フロントエンドサーバ scion.cc.affrc.go.jp
SAS BI Server (SAS Add-In) sas.cc.affrc.go.jp
*赤字は、ログイン可能

利用イメージ

科学技術計算システム 概要

1.4.1 ディレクトリ構成

ユーザ領域のディレクトリ
ホームディレクトリ(ログインディレクトリ)

  /home/username
  例 : /home/norin

計算用ワークディレクトリ
分散並列型クラスタシステム(Type A)、大規模共有メモリ型システム(Type B)用ワークディレクトリ(Lustre File System)

  /lfs/username
  例 : /lfs/norin

1.4.2 ログインシェル

ログインシェル3)は、/bin/csh(C シェル)4)です。
アプリケーション起動時の動作保証のため、ログインシェルの変更は出来ません 5)

リモートログイン

リモートログインはSSH6)をご利用ください。

ファイル転送

ファイル転送は SCP, SFTP7) をご利用ください。リモートデスクトップ(VNC)のファイル転送機能や Rstudio Server のファイル転送機能を利用することも可能です。

1.4.3 システム利用に必要なツール

  • 科学技術計算システムの利用申請(ツールではありませんが登録が必要です。)
  • SSH のツール
    • Windows系:PuTTY, TeraTerm
    • Mac OS X, Linux, UNIX系:OpenSSH
  • SCP, SFTP のツール
    • Windows系:WinSCP, CyberDuck
    • Mac OS X:CyberDuck, OpenSSH コマンド(scp, sftp)
    • Linux系:OpenSSH コマンド(scp, sftp)
  • X-Window サーバソフト
    • ReflectionX など市販の X サーバソフト
    • Xming, CygwinX などフリーの X サーバ
    • Mac OS X は標準の X11 が利用可能
    • Linux などは標準で X Windows が利用可能

2 リモートデスクトップ(Real VNC)

2.1 リモートデスクトップの概要

VNC クライアント(VNC Viewer)をインストールすることで、フロントエンドサーバの機能を GUI(Graphical User Interface)で操作することが出来ます。
特に、遠隔地から X Window を使ったアプリケーションを利用する場合、利用者のパソコンに X サーバソフトを導入して操作するよりも、多くの場合、高速に動作します。
大規模な計算を実行する等、スーパーコンピュータの利用は、主に端末からコマンドで操作する CUI(Character User Interface)での利用が多いため、SSH 等のターミナルソフトで直接ログインした方が、使い勝手が良いでしょう。

2.1.1 リモートデスクトップで出来ること

  • SAS などのGUIを使ったアプリケーションの利用
    • アプリケーション起動用のアイコンを用意しています。
  • GUI(GNOME Nautilus File Browser)によるファイル操作、ディレクトリ(フォルダ)の作成など
  • テキストファイル(プログラムソースコードなど)の編集(gedit など)
  • 端末(gnome-terminal)による、コマンド操作
  • バッチジョブの操作(Compute Manager) 8)
  • ファイル転送(VNC ファイル転送機能) 9)

2.2 VNC クライアントの利用方法

1. VNC クライアント(VNC Viewer)をダウンロードし、任意のフォルダに置いて、ご利用ください。

  • OS 種類(Windows 32bit 版, 64bit 版, Mac OS X, Linux 32bit 版, 64bit 版)によりダウンロードするファイルが異なります。

2. VNC Viewer を起動し、「VNC Server」に、接続先(scion.cc.affrc.go.jp)を入力して、「Connect」をクリックして接続します。初めて接続する際に、「・・・The VNC Server signature is xx-xx-xx-xx-xx-xx-xx-xx. Do you wish accept the new signature and continue connecting?」というメッセージ画面が表示されますので、「yes」を選択してください。

3. アカウント名(ログイン名)、パスワードを入力し、「OK」をクリックします。









ログインするとデスクトップ画面が表示されます。

4. 主な利用操作
 (a)各アプリケーションの起動
   各アプリケーションの起動は、デスクトップ画面の Application フォルダーを開いて、起動アイコンをダブルクリックします。

   SAS の利用イメージ

 (b)端末(Terminal)の起動(コマンドラインの利用)
   コマンドによる操作を行う場合、端末(GNOME Terminal)を起動します。
   トップ画面の背景の場所で、マウスの右ボタンをクリックすると、メニューが表示されますので、
   「Open Terminal」をクリックして端末を開きます。
















5. VNC Viewer を終了するには、画面左下の「Computer」メニューを開いて、「Logout」をクリックします。確認画面が表示されますので、「Log Out」をクリックして終了します。














3 情報総合センターのアプリケーションを利用するには

科学技術計算システムは、UNIX(Linux)系のOSで構成されており、 X Window System を利用するアプリケーションが導入されています。 利用者の PC にインストールし、ライセンス参照して利用するアプリケーションもあります。

利用者の PC にインストールしてライセンス参照するアプリケーションについては、AFFRIT Portal の登録ユーザ向けのアプリケーション利用案内等を参照し、インストールメディアの貸し出しをお申し出ください。

X Window System を使ったアプリケーションを利用するには、以下のような方法があります。 また、アプリケーション利用の流れを、SAS を例にして説明します。

  • VNC Viewer (RealVNC) を使う
    • 先に紹介した、VNC Viewer を利用して SAS などのアプリケーションを利用することが出来ます。
    • 利用者の PC に VNC Viewer を導入して頂くことで、フロントエンドサーバの X Window 環境がご利用いただけます。
  • X Serverソフトを使う
    • SSH2 に対応したターミナルソフトと、X Server ソフトを導入する必要があります。
    • ターミナルソフトでサーバに直接ログインしますので、サーバを直接コマンドで操作することが出来ます。 UNIX(Linux) システムに慣れている方にお勧めです。

参考:(フリーの統計解析ソフトをパソコンに導入して利用)

数値計算や統計解析が目的で、特に SAS など導入されたアプリケーションに こだわらない場合は、フリーソフト(R, Scilab, Octave, Maxima など)を導入し、 お手元のパソコンで解析を行うことも可能です。

情報総合センターのシステムへ、ファイルを転送するなどの手間が不要となります。

科学技術計算システムにも、R や Octave などのオープンソースソフトウェアが導入されています。パソコンで作成した全てのプログラムが動作するとは限りません。 また、プログラムの実行がパソコンより速くなることはありません。 しかし、同時に多数の計算を平行して実行したり、並列化することで、処理時間が短くなる可能性があります。

なお、フリーソフト等の利用について、情報総合センターでのサポートは出来ません。

3.1 SASを利用するには…(X Server ソフトを使って)

X Serverソフトを使ってSASを利用するには・・・

  • X Server ソフト (Xming) を起動します。
  • SSH ターミナル (PuTTY) を起動します。
    • X11 ポートフォワーディング機能を有効にします。
    • フロントエンドサーバ(scion.cc.affrc.go.jp)に接続します。
  • SAS を起動します。
    • ログインしたターミナルで、sas と入力します。
    • SAS が起動されますので、後は SAS の操作となります。
  • ファイル転送は、WinSCP などを使います。

4 パソコンからの X Window アプリ利用(Windows)

もともとローカルエリアでの利用を想定していた X Window は、 通信経路上のデータが暗号化されていないなど、セキュリティ面で問題があります。 SSH の X11 Port Forwarding 機能を利用して暗号化することにより、 広域のネットワークでも X Window アプリケーションを安全に利用することができます。

実際の操作については、それぞれ使用するツールによって異なりますが、 操作の内容は、Windows、Mac、UNIX(Linux) 系など、どれも基本的には同じです。

  • ターミナルソフトで計算サーバに接続 (X11 Port Forwarding をONに)
  • UNIX 系はコマンドオプションで (ssh -X scion.cc.affrc.go.jp -l norin)
    • -X はラージ X です。小文字 (-x) は Port Forwarding OFF
  • アプリケーションを起動 (sas)
  • アプリケーションから X サーバ (PC) に接続して、表示や入力を行う
    • PC 側 (Xサーバ) への接続が ssh を使ってトンネル化&暗号化

4.1 必要なツール(フリーソフト)

SSH2 に対応したターミナルソフト

  • PuTTY: (Windows用)
  • puttyjp: PuTTY の日本語対応
    • PuTTY にパッチをあてた実行ファイルをダウンロードし、ファイルを展開(解凍)します。 展開したファイル (puttyjp.exe とputtyjp.lng) を PuTTY をインストールしたディレクトリ (C:\Program Files\PuTTY) に、保存します(必要があればショートカットなどを作成します)。
  • TeraTerm: (Windows用)

SSH2 に対応したファイル転送ソフト

X Server ソフト

  • Xming: (Windows用)
    • インストーラ付きの Xming と Xming-fonts をダウンロードし、インストールします。
      • 一部のバージョン (X11 Release.7系) は、寄付 (Donations) を求められます。
      • フリーバージョンは、X11 Release.6.9 のみです。 Ver.7 系を使う場合は、Cygein/X を使います。
  • Cygwin/X (Windows用)
    • Windows の環境 (32bit, 64bit) により、対応するセットアッププログラム (setup-x86.exe, setup-x86_64.exe) をダウンロードします。
      • セットアップの途中で、「X11」のカテゴリーから「xinit」を選択してインストールします。

4.2 アプリケーション起動までの手順

Windows PCで、X ServerソフトとしてXming、SSHターミナルとしてPuTTYを 使ってアプリケーションを起動するまでの手順を示します。

4.2.1 SAS

X Server起動
  • スタートメニュー、または、ショートカットから、X Serverソフト(Xming) を起動します。
  • 起動中は、タスクバーにアイコンが表示されます。




PuTTY起動と接続
  • SSH ターミナル (PuTTY) を起動します。
  • X11 ポートフォワーディング機能を有効にします。
    • PuTTY 設定(起動画面)の「カテゴリ」の「X11」を選択し、「X11フォワーディングを有効にする」をチェックします。
  • フロントエンドサーバ (scion.cc.affrc.go.jp) に接続します。
    • 「カテゴリ」の「セッション」を選択し、ホスト名に scion.cc.affrc.go.jp、ポート:22、プロトコル:SSH で「開く」ボタンをクリックして接続します。
















  • login as: に、ログイン名を、passwd: に、パスワードを入力して、ログインします。

SAS 起動コマンド
  • SAS を起動します。
    • ログインしたターミナルで、sas と入力します。
    • SAS が起動されますので、後は SAS の操作となります。

終了
  • 「ファイル」メニューから SAS を終了させます。
  • ターミナル (PuTTY) から、exit コマンドによりログアウトします。
  • Windows のタスクバーに表示しているアイコンをマウスで選択し、右クリックするとメニューが表示されますので「Exit」を選択してください。
  • 確認の Window が表示されますので、「Exit」としてください。










ファイル転送
  • ファイル転送は、WinSCPなどを使います。
参考

Xming, Cygwin/X など、一部の X Server ソフトでは、パソコンのキーボードで [Num Loack] が有効になっていると、一部のキーが効かない、マウス操作ができないなどの不具合が出る場合があります。 [Num Lock] を Off で利用することをお勧めします。

5 SAS Add-In for Microsoft Office

SAS Add-in for Microsoft Office を導入することで、EXCEL などの Microsoft Office 製品から、SAS の統計解析機能を利用することができるシステム (SAS BI Server) を導入しています。例えば、EXCEL で入力した実験データをそのまま解析し、結果やグラフを Word 等で利用することが可能です。
コマンド操作やSASプログラムの作成は不要です。利用するためには、Add-In ソフトを PC(Windows) にインストールする必要があります。科学技術計算システムのサーバからダウンロードすることも可能ですが、ファイルサイズが大きいため、インストール用 DVD-ROM を貸し出していますので、情報総合センターにお問い合わせください。
詳しくは、https://itcweb.cc.affrc.go.jp/affrit/inside/amo を参照してください。

5.1 基本的な利用手順

インストール

インストール方法及び簡単な利用方法については、AFFRIT Portal に資料を掲載 (https://itcweb.cc.affrc.go.jp/affrit/inside/amo) していますので参照してください。
インストールが終了すると、EXCEL に [SAS] のタブが表示されるようになります。

もし、インストール時に不具合があり、正常にインストールできなかった場合は、一旦アンインストールしてから、再インストールする必要があります。

接続の設定と利用

  • インストールが完了すると、EXCEL などに SAS のメニューが追加されます。
  • 「SAS」メニューの「ツール」から「接続」を選択し、接続プロファイルを追加します。
  • 接続プロファイルに必要な情報を登録します。

SAS Add-In は、科学技術計算システムのSAS用のサーバに接続します。 接続は、MAFFIN(150.26.0.0/16) のネットワーク内部に制限しています。
利用する場合は、科学技術計算システムの利用登録が必要です。

 


















 


















6 UNIX(Linux)の基本

科学技術計算システムは基本ソフト(OS)にUNIX(Linux)を使っていますので、 UNIXの基本的なことを知って頂くと、より効率的に利用することができます。

6.1 ログイン、ログアウト

SASの利用法で紹介したように、SSHターミナルソフトを利用して、 システムに接続することを「ログイン」、接続解除することを「ログアウト」と 言います。

ログイン可能なサーバは、フロントエンドサーバ (scion.cc.affrc.go.jp) です。

フロントエンドサーバからログアウトするには、exit コマンドを入力します。(CTRL + D 「CTRLキーを押しながらDを押す」でもログアウトできます。)

norin@fe03 $ exit

norin@fe03 は、プロンプト(コマンドの入力待ち状態)ですので、exit と入力して、[Enter] キーを押します。

6.2 主なコマンド

WindowsやMacなどGUI環境に慣れた方にとっては、コマンド操作は 覚えることが多く、直感的な操作ができないため不便に感じるかも しれません。

プログラムの作成や実行に必要なファイル操作を中心に、 主なコマンドを紹介しす。

ls

ディレクトリのファイルリストを表示する (ls: list)

使用例(フロントエンドサーバ):水色はシンボリックリンク10)、青はディレクトリ、緑は実行可能ファイル(実行可能なパーミッション11))、マゼンタ(ピンク)は画像ファイル等を表し12)ます。

norin@fe03 $ ls
amedas-data.sh    amedas-kion.png    cow2b.sas    Desktop     sx

コマンドオプション -l を使うと、ファイルのアクセス権、所有者、ファイルサイズ、更新日時など、詳細な情報を表示します。

norin@fe03 $ ls -l
total 8569
-rwxr--r--  1 norin research   791 2013-11-27 09:52 amedas-data.sh
-rw-r--r--  1 norin research  5656 2013-11-27 09:53 amedas-kion.png
-rw-------  1 norin research  3882 2013-03-05 20:34 cow2b.sas
drwxr-xr-x  2 norin research   512 2013-03-04 15:39 Desktop
lrwxrwxrwx  1 norin research     7 2013-01-18 19:41 sx -> /sx/norin
mkdir

ディレクトリを作成する (mkdir: make directory)

使用例:work/と言うディレクトリを作成する。

mkdir work
cp

ファイルやディレクトリをコピーする (cp: copy)

使用例:cow2b.sas を cow3.sas というファイル名でコピーする。

cp cow2b.sas cow3.sas

使用例:cow2b.sas を work というディレクトリにコピーする。

cp cow2b.sas work
mv

ファイルを移動する(ファイル名を変更する) (mv: move)

使用例:cow3.sas をwork というディレクトリに移動する。

mv cow3.sas work
cd

カレントディレクトリ13)を変更する(cd: change directory)

使用例:カレントディレクトリを work に移動する。

cd work

使用例:上位のディレクトリに移動する。(.. は親ディレクトリの意味)

cd ..

使用例:ホームディレクトリに移動する。(/home/ログイン名)

cd
pwd

現在のディレクトリ(ワーキングディレクトリ)の名前を表示する (pwd: print working directory)

使用例:

norin@fe03 $ pwd
/home/norin/work
rm

ファイルを削除する (rm: remove)

使用例:cow3.sas を削除する

rm cow3.sas
rmdir

空のディレクトリを削除する (rmdir: remive directory)

使用例:work ディレクトリを削除する。

rmdir work
less (more)

テキストを一画面ずつ表示する

画面表示行数よりも多いテキストファイル等を、一画面ずつ表示することが出来ます。
表示されている画面の続きを見るには、「スペースキー」を押します。 終了するには、「q」を押します。

使用例:テキストファイル cow2b.sas を表示する。

norin@fe03 $ less cow2b.sas
 data cow;
  input day a b;
  dayl=log(day);
  al=log(a);
  bl=log(b);
  cards;
 6 20.3 23.3
 7 18.1 24.6
 8 17.6 24
 9 16.3 25.6
 10 19.9 25.6
 11 19.9 26.4
 cow2b.sas
man

マニュアルを表示する

コマンドなどの使い方を調べる時に使います。
man コマンドは表示機能として less または more を使っていますので、表示されている画面の続きを見るには「スペースキー」、終了するには「q」を押します。

使用例:file コマンドのマニュアルを表示する。

 norin@fe00 $ man file
 FILE(1) BSD General Commands Manual FILE(1)

 NAME file - determine file type

 SYNOPSIS
      file [-bchikLnNprsvz] [--mime-type] [--mime-encoding] [-f namefile]
           [-F separator] [-m magicfiles] file
      file -C [-m magicfile]
      file [--help]

 DESCRIPTION
      This manual page documents version 4.24 of the file command. 

 Manual page file(1) line 1
nkf

テキストファイルの日本語コードを変換する

日本語が含まれているファイルを取り扱う場合は、文字コードをUTF-8に変換することをお勧めします。
文字コード変換ツールとして、nkfをインストールしています。 また、テキストファイルの改行コードも、nkfコマンドを使って変換することが可能です。

使用例:work

 以下に、nkf のオプションを記載します。
      -s     output MS-kanji (shifted-JIS) code.
      -e     output EUC (AT&T) code.
      -w     output UTF-8 (Unicode 8bit form). 
      -L[wmu] new line mode
                -Lu   unix (LF)
                -Lw   windows (CRLF)
                -Lm   mac (CR) 

 例:変換元ファイル(in-file.txt)を、文字コードをUTF-8 に変換、同時に
   改行コードをunix 用に変換して、ファイル(out-file.txt)に保存する。
   nkf -w -Lu in-file.txt > out-file.txt

6.3 ファイルシステム

ファイルとはデータを保存しておくための書庫のようなものです。 ディレクトリは特別なファイルで、その中にファイルやディレクトリを格納することができます。 WindowsやMacintoshでフォルダと呼ばれているものがディレクトリにあたります。
UNIX のファイルシステムはツリー構造となっており、 頂点をルートと呼び「/ (スラッシュ)」で表されます。

UNIXファイルシステムイメージ

ユーザの位置

現在、ユーザーがいるディレクトリのことをカレントディレクトリと呼びます。 ログインした時点では、ホームディレクトリと呼ばれる自分専用のディレクトリが カレントディレクトリとなります。 ディレクトリを指定せずにファイルやディレクトリの操作 (cp,mkdir 等コマンド操作) を 行った場合には、通常カレントディレクトリでの作業として処理が行われます。
カレントディレクトリは「.」で表されます。 階層が1つ上のディレクトリ(親ディレクトリ)は、「..」で表します。

絶対パスと相対パス
  • 絶対パス

    ルートディレクトリから指定したいファイルディレクトリまでの ディレクトリ名をスラッシュ(/) で区切って指定したものが 絶対パスでの指定方法です。

  • 相対パス

    現在のカレントディレクトリを基準として、指定したいファイルや ディレクトリを指定する方法です。

 例:絶対パスでの指定
     /home/norin/work/hoge.txt

 例:相対パスでの指定
     workディレクトリ配下のファイル hoge.txt
        work/hoge.txt
     カレントディレクトリのファイル hoge.txt
        ./hoge.txt

6.4 エディタ(vi)

viは、UNIX(Linux) で使われる標準(ほとんど全ての UNIX で共通)エディタです。
vi には「コマンドモード」と「入力モード」があり、多くのコマンドがあるため、 初心者にはわかりづらく、とっつきにくい印象ですが、慣れてくれば素早く ファイル編集ができるツールとして活用できます。
UNIX で人気のあるもう一つのエディタ、emacs も導入されています。
ここでは、ほとんど全ての UNIX で共通に利用できる、 vi の基本的な操作を紹介します。 なお、多くの Linux ディストリビューションで vi を拡張したvim14)が標準となっていますので、説明では vim で表記します。

ファイルのオープン

既存のファイル、または新しいファイルに対してエディタを起動するには、 vim (vi) コマンドを使います。

 vim [filename]
 例:vim hoge.txt

 既存ファイルがあれば、そのファイルを開きます。
 ファイルが無ければ、新規のファイルとして編集することが出来ます。

新しいファイルの場合、画面は次のようになります。 起動直後は、「コマンドモード」ですのでご注意ください。 キーを入力すると、コマンドと解釈されます。

~
~
~
~
~
~
"hoge.txt" [New File]                                       0,0-1        All
ファイルのセーブと終了

編集したファイルを保存して終了するには、ZZ(大文字)とします。 ただし、「入力モード」の場合は、Escキーを押して「コマンドモード」に してから、ZZとタイプします。

ファイルを保存するだけの場合は、:wとします。 別名で保存するには、:w filenameとファイル名を指定します。

何も編集をしていない状態で終了する場合は、:qとタイプします。 終了と保存を同時にするには、:wqとタイプします(:wqZZは同じ)。

編集した内容がめちゃくちゃで、最初から編集をし直したい場合は、 :e!としてファイルを再読込します。 また、編集内容を破棄して強制終了するには、:q!とします。

基本的な編集作業

vim(vi)は「コマンドモード」と「入力モード」があります。 入力モードにするには何通りかの方法がありますが、 一番標準的なコマンドは、iを押すやり方です。

iは表示されませんが、一番下の行が– INSERT –に変わり、 これを押した後にタイプした文字が全て画面に入力されるようになります。

次の操作(カーソルを移動する場合も)をしたい場合は、 Escキーを押してコマンドモードに戻ります。

vi 入力モードに関連するコマンド
コマンド内容
a カーソルの後にテキストを入力
A カレント行の末尾にテキストを入力
i カーソルの前にテキストを入力
I 行の先頭にテキストを入力
o カーソル位置の下にテキストを挿入する空行をオープン
O カーソル位置の上にテキストを挿入する空行をオープン
テキスト削除

削除コマンドxを使うと、カーソル位置のテキストを削除します。 単語単位削除はdw、行削除はddを使います。

さらに、これらのコマンドの前に数字を入力すると、コマンドの対象範囲が 指定できます。例えば、2xは2文字、2dwは2 word、 2ddは2行の削除となります。

7 プログラム(ソースコードから)の利用

プログラミング言語で書かれたプログラムをコンピュータが実行するには、コンピュータの命令形式(機械語、マシン語)に翻訳する必要があります。 翻訳の方法には、逐次解釈しながら実行するインタープリタ (perl, Ruby, Python,など) と、事前に翻訳(コンパイル)するコンパイラ (C, C++, Fortranなど) があります。
科学技術計算には、処理速度の速いコンパイラが多く使われています。

7.1 コンパイル方法

7.1.1 分散並列型クラスタシステム (Type A)、大規模共有メモリ型システム (Type B)

Type A, Bでは、Fortran, C, C++が利用できます。
フロントエンドサーバには、Intel Compilerが導入されています。

  • ifort (Intel Fortran Compiler: Fortran 77 90 95 2003などの言語仕様をサポートしています)
  • icc (Intel C Compiler: C及びC++をサポートしています)

フロントエンドサーバでコンパイルしてください。
各コンパイラのコマンドは、以下の通りです。

Fortran
  コマンド:    ifort [各種オプション] プログラムソースファイル名
  コンパイル例:ifort -o testprog1 testprog.f90

C/C++
  コマンド:    icc [各種オプション] プログラムソースファイル名
  コンパイル例:icc -o testprog1 testprog.c

7.2 実行方法(インタラクティブ)

2016システムから、インタラクティブキューでの実行を推奨しています。
詳しくは、利用の手引きをご覧ください。

小規模なプログラムや並列化されていないプログラム、 対話型のプログラムは、インタラクティブに実行してください。

ただし、大規模な計算や長時間の実行は、 他の利用者やアプリケーション実行に支障が出る場合がありますので、 バッチキューに計算ジョブを投入するよう、お願いします。

インタラクティブ実行
(カレントディレクトリにある実行ファイル「program」を実行)
     ./program

※ 明確にディレクトリパスを指定すること。
  この例では「./」(カレントディレクトリ)を指定している。

大規模な計算をインタラクティブに実行する必要がある場合は、 一度、情報総合センターにご相談ください。

7.3 実行方法(バッチシステム)

多くのユーザが効率よく計算資源を使うために、バッチシステムを使って 計算ジョブを実行します。

バッチジョブ投入コマンドとオプション、およびバッチジョブスクリプトに 指定する埋め込みオプションの指定方法が違っていますので、ご注意ください。

  • 基本的なバッチジョブ実行手順
    1. プログラムをコンパイルし、実行用プログラムを作成する
    2. バッチジョブスクリプトを作成する(エディタ)
    3. qsub コマンドでジョブを投入する
    4. qstat コマンドでジョブの状態を表示する
 qsub ジョブスクリプト名

7.3.1 クラスタシステム

バッチシステムでは、プログラムの実行手順や実行環境、使用する コンピュータ資源などをバッチジョブスクリプトに記述する必要があります。また、qsub コマンドのオプション指定を行うことができます。

ジョブ実行コマンドで、いくつものオプションを入力する手間が無くなります。

バッチスクリプト記入例

Type A, B (PBS-Pro)の場合は、“#PBS”に、オプションを記述します。

スクリプトの記述は、基本的に B シェルの書式に従いますが、 gaussian, IMSL などを利用する場合は、C シェルとなります。

環境変数の指定などが、C シェルとは異なりますので注意してください。

例)1ノード、28CPUコアを利用するMPIジョブ(キューsmallに投入)

 #!/bin/sh                           ← 使用するシェルを指定
 #PBS -q small                       ← 実行キューの指定
 #PBS -l cpunum_job=28               ← 使用するCPUコア数の宣言
 #PBS -N md-test                     ← ジョブに名前を付ける(必須)
 #PBS -l elapstim_req=1:00:00        ← 経過時間の宣言
 #PBS -T sgimpt                      ← SGI MPTライブラリを使用したMPIプログラムの実行を指定
 #PBS -b 1                           ← 使用するノード数の宣言
 #PBS -l elapstim_req=1:00:00        ← 経過時間の宣言
 #PBS -j oe                          ← 標準出力,標準エラーを一つのファイルに
 #PBS -M hoge@affrc.go.jp            ← ジョブ通知用のメールアドレス指定
 #PBS -m ae                          ← ジョブ終了,中断時に通知メールを送る
 
 cd $PBS_O_WORKDIR                   ← ジョブを投入したディレクトリへ移動
 mpirun ${NQSII_MPIOPTS} -np 28 ./test.exe
                                     ← 実行プログラム (SGI 環境での MPI ジョブは、mpirun を使うこと)

SGI MPT 環境でのMPIジョブの実行では、mpijob, mpiexec を使用しないでください。

ジョブ実行コマンド

スクリプトの中で指定したオプションは、コマンド実行時に指定を省略できます。

 qsub job-script.sh

7.3.2 ジョブの確認と削除

投入した JOB がどの様な状態かを確認するには、qstat コマンドを使います。(下記例)
また、jobinfo コマンドで計算ノードの利用状況を確認することもできます。

norin@fe01 $ qstat
Job id            Name             User              Time Use S Queue
----------------  ---------------- ----------------  -------- - -----
6073.fe00         test201          norin             219:18:1 R small
6179.fe00         testjob          hogehoge          1205:33: R small
6194.fe00         procMPI          tarou             4976:19: R large
6300.fe00         mpi-prog         hanako            553:41:2 R large

norin@fe01 $ qstat -u $USER
Job id            Name             User              Time Use S Queue
----------------  ---------------- ----------------  -------- - -----
6073.fe00         test201          norin             219:18:1 R small


norin@sxfe $ qstat -Ps
RequestID       ReqName  UserName Queue     Pri STT S   Memory      CPU   Elapse R H M Jobs
--------------- -------- -------- -------- ---- --- - -------- -------- -------- - - - ----
688.iox.cc.affr test-sx. hoge     default     0 RUN -    4.95G 190938.27   100635 Y Y Y    1
691.iox.cc.affr testjob. norin    default     0 RUN -   17.22G 404963.71    67860 Y Y Y    1
695.iox.cc.affr sx_test4 hanako   default     0 RUN -   11.41G 62051.27     8128 Y Y Y    1 


norin@sxfe $ qstat -Ps -u $USER
RequestID       ReqName  UserName Queue     Pri STT S   Memory      CPU   Elapse R H M Jobs
--------------- -------- -------- -------- ---- --- - -------- -------- -------- - - - ----
691.iox.cc.affr testjob. norin    default     0 RUN -   17.22G 404963.71    67860 Y Y Y    1

投入したジョブを削除するには、qdel コマンドを使用します。 qstat コマンドで job id, RequestID を確認し、ID を指定して qdel コマンドを実行します。

 qdel 6073.fe00

8 関連リンク集

付録 A フリーなソフトいろいろ(参考)

R: オープンソースの統計解析システム

SciLab, Octave: 数値計算、行列演算パッケージ

Maxima: 汎用数式処理システム

その他のフリーソフト

https://itcweb.cc.affrc.go.jp/affrit/faq/tips/freesoft

注意:情報総合センターでは、フリーソフトのサポートはできません。

1)
MPI(Message Passing Interface):複数の計算機(CPU)が情報を送受信することで計算処理を分散させる並列計算の規格
2)
Open MP:主に共有メモリ型計算機で用いられる並列計算環境で、異なるスレッドが共有メモリ上の同じアドレスのデータを参照できる
3)
シェルとは、ユーザーからの指示を受けて解釈し、 プログラムの起動や制御などを行うプログラム。ログインシェルは、ユーザが ログインすると同時に起動する標準シェル。
4)
フロントエンドサーバでは、C シェルの拡張版の tcsh がログインシェルとなっています。
5)
コマンド(bash)などにより、他のシェルを起動することは可能ですが、 アプリケーションなどが動作しない場合があります。
6)
Secure Shellの略。暗号や認証の技術を使って 安全にリモートコンピュータと通信するための技術。パスワードなど ネットワーク上の通信が暗号化される。
7)
SCP:Secure Copy, SFTP:Secure File Transfer Protocolは、どちらもSecure Shellの技術を使い、 安全にファイル転送を行う技術。
8)
ジョブ管理システム PBS Pro の、Web ベースのジョブ投入及び管理ポータルです。PC のブラウザからは接続出来ません。端末からのコマンド操作の方が、使い勝手は良いでしょう。
9)
RealVNC の機能として、ファイル転送機能が利用できます。WinSCP など SCP, SFTP ソフトを利用した方が、使い勝手は良いでしょう。
10)
本来のファイル(ディレクトリ)に別名を付けて、別の場所にファイルを表示したり操作を可能とする機能。 WindowsのショートカットやMacのエイリアスなどと同様。
11)
ファイル毎に定義された、読み出し、書き込み、実行などのファイルアクセス権限設定。 実行可能形式のプログラムやシェルスクリプトなどに実行権限を設定し、コマンドと同様に実行することができる。
12)
表示は、ファイル形式や拡張子によって設定されており、システムにより定義が異なる場合があります。
13)
現在作業しているディレクトリ、ワーキングディレクトリ。 Windowsの作業フォルダと同じ。
14)
Vi IMproved (vi の改良版)として、オリジナルの vi を上回る機能を持つ。 多くの Linux ディストリビューションでは、vim が標準エディタとされ、vi の実態が vim となっている。
documents/guide/scs-guide.txt · 最終更新: 2019/01/08 17:49