前回からのつづきです。 16. MPIクラスターを作ろう！ - HPLのパラメータを検討 - 電子計算記忘れてましたが、アドカレのコマ埋めの話のためにはじめたので、今回が最終回です。1ヶ月以上かかってしまいましたが。。。 今回はSTREAMをやります。HPC問わず定…
前回からのつづきです。 15. MPIクラスターを作ろう！ - HPLを動かしてみる - 電子計算記前回実行したテストでは、4.915e-02GFLOPSつまり0.05GFLOPSであり、S1を1ノードだとしてもだいぶ遅い結果です。 ここからスコアをあげていくにはパラメータのチューニ…
前回からの続き 14. MPIクラスターを作ろう！ - qn24bを動かしてみる - 電子計算記スパコンと言えばTOP500！Home | TOP500 Supercomputer SitesTOP500と言えばLinpack！LINPACK - Wikipediaということで、LinpackのMPIによる並列実装のHPLを動かしてTOP500の…
前回からのつづきです。 13. MPIクラスターを作ろう！ - 姫野ベンチをもう少し動かしてみる - 電子計算記前回までの姫野ベンチはちょっと難しかったので、もっと簡単にノードを増やすとスケールするのがわかるようなベンチマークを動かしてみましょう。とい…
前回からのつづきです。 12. MPIクラスターを作ろう！ - 姫野ベンチを今度こそ動かす - 電子計算記姫野ベンチ難しいですね。 前回は C + MPI, static allocate version を使ってましたが、 今回は Fortran90 + MPI をやってみましょう。これまでのインストー…
前回からのつづきです。 11. MPIクラスターを作ろう！ - 姫野ベンチを動かす - 電子計算記簡単だろうとはじめた姫野ベンチですが結構難しいものですね。 CPUクロックが可変だと計測時間がえらく長くなってしまったり、計測値が怪しくなる課題について2つのア…
前回からのつづきです。 10. MPIクラスターを作ろう！ - NFSクライアント設定 - 電子計算記NFSストレージサーバーが用意できたので、MPIクラスター環境として最低限動作するところまで構築できたので、実際にあるベンチマークソフトウェアを使ってクラスター…
前回からのつづきです。 9. MPIクラスターを作ろう！ - NFSサーバーをたてよう - 電子計算記nfs-serverというマシン名で、共有ストレージのNFSサーバーを用意しました。 次にcomputeのマシンをクライアントとして、NFSマウントします。 NFSのクライアントを…
前回からのつづき。 8. MPIクラスターを作ろう！ - ホスト設定ファイル - 電子計算記実行バイナリを共有するためにNFSストレージサーバーを準備しましょう。まずは、NFSストレージサーバー用に仮想マシンを作成します。computeのマシンと同じリージョン/ゾー…
前回からのつづきです。 7. MPIクラスターを作ろう！ - rsyncで実行バイナリをノード間コピー - 電子計算記複数ノードの指定には--hostを使ってきましたが、設定ファイルを用いた方法もあります。 こっちの方が実行が楽なのと、マルチコアを想定して多重で動…
前回からのつづきです。 6. MPIクラスターを作ろう！ - 複数ノードへスケールアウト - 電子計算記もうひとつ別のプログラムをコンパイルして実行してみましょう。（そのままだとうまく動かないので。）Wikipdediaにあるサプログラム例がMPIの勉強はじめるに…
前回からのつづきです。 5. MPIクラスターを作ろう！ - コンパイルと実行 - 電子計算記単一ノードでMPI環境が動作することが確認できたので、これを複数ノードへスケールアウトしていきましょう。 クラウドならテンプレートを使ってどんどん複製できるので楽…
前回からのつづきです。 4. MPIクラスターを作ろう！ - 実行用ユーザー作成 - 電子計算記単体のノードでMPI環境が動くことを確認できたので、MPIのコードをコンパイルして実行してみましょう。テスト用のコードとしてHello World的なやつを用意します。ここ…
前回のつづきです。 3. MPIクラスターを作ろう！ - OpenMPIをインストール - 電子計算記rootでMPIプログラムを実行することは危険とのことで、一般ユーザーを作成しましょう。 ここではmpiuserという名前で進めていきます。 root@compute-1:~# adduser mpius…
前回のつづきです。 2. MPIクラスターを作ろう！ - MPI何にする？ - 電子計算記では、まずは1台仮想マシンを作成しましょう。 仮想マシンの作成は、本題ではないので既存のマニュアルにまかせます。www.idcf.jpオンラインマニュアルの他、クイックガイドもあ…
前回のつづきです。 1. MPIクラスターを作ろう！ on IDCFクラウド - 電子計算記実際にMPIクラスターを構築していく前に、肝心のMPIのディストリビューションを何にするかというお話。 MPI自体は規格なので、それを実装するOSSやIntel MPIのような商用環境も…
IDCFクラウドのアドカレがガラ空きだな、クリスマスも終わったし私物化してやろう。 ネタはそうだな、自分専用スパコンを作ろう！んー、スパコンは言い過ぎだな。PCクラスタを作ろう！んー、クラウド上で作るからPCじゃないしな。ベオウルフ型クラスターを作…
前回のエントリーで Aliyun Linux 15.1 の話を書いて、次回はベンチマークだーみたいな〆だったけど、このタイミングで新版の 17.1 がリリースされてた。 ということで Aliyun Linux 17.1 も見ていこう。まずはディストリビューションの情報を見ていきましょ…
jp.aliyun.com 昨年後半、Alibaba Cloudの日本リージョンがリリースされ、中の人からの紹介だったり、2万円クーポンキャンペーンをしてたりするので、今触っていたりします。すると、インスタンスの作成時のOSに、Aliyun Linuxというのが選べました。 Aliyun…
これまで自宅のインターネット回線は、フレッツ 光ネクスト ギガマンション・スマートタイプという1Gbpsの回線にISPは、Yahoo!BB を IPv6 IPoE+IPv4 で繋いでいましたが、ウチのマンションにもNUROが来たので、フレッツに加え追加契約しました。 NURO光 for …
IDCF Cloud Advent Calendar 2016 の12/14が埋まってないので個人的に責任（疲）をとって埋めておきますね。突然ですが、サーバーのMACアドレスを変えたいときってありますよね！？ないかもしれませんが、例えば、 IDCFの旧セルフクラウドからIDCFクラウドに…
IDCF Cloud Advent Calendar 2016 の12/12が埋まってないので個人的に責任（ｗ）をとって埋めておきますね。突然ですが、ポートミラーリングが必要になるケースってありますよね。 例えば、通信の中身をチェックしなければならないときとか。 もっと具体的に…
IDCF Cloud Advent Calendar 2016 の12/11が中々埋まらないので個人的に責任（ぇ）をとって埋めておきますね。IDCFクラウドのGPUインスタンスgpu.7XLM40が搭載しているTesla M40はディープラーニング用とのことなので、前回のエントリに続き、手元にあるJets…
IDCF Cloud Advent Calendar 2016 の12/10が空いていたので個人的に責任（ぉ）をとって埋めておきますね。新リージョンこと東日本リージョン2と併せて、GPUインスタンスであるgpu.7XLM40がリリースされてます。 56vCPUなので7XL（XL=8vCPU）、NVIDIAのGPU Te…
IDCF Cloud Advent Calendar 2016 の12/7がキャンセルされたので個人的に責任（謎）をとって埋めておきますね。今日はIDCFクラウドの2つのVMタイプ、Highio.5XL128とHighio.5XL128.g2について。そもそも、Highio.5XL128.g2の存在にお気づきでしょうか。 西日…
IDCF Cloud Advent Calendar 2016 の12/5が空いていたので個人的に責任（？）をとって埋めておきますね。IDCFクラウドのオブジェクトストレージ（以下オブスト）に、s3cmd使ってデータをやり取り、遅いですよね、嫌になっちゃいますよね。 実はオブストに並…
前回のとおり、2500Base-Xをベンチマークしていきましょう。ScalewayのC2Sタイプを2台作成、OSはUbuntu14.04。 2台間をプライベートIPで通信し、内部通信とします。最近私は、ネットワークのベンチマークのツールはiperf3をよく使いますが、 Ubuntu14.04には…
C2タイプがリリースされたScalewayですが、そのリリース時のブログを見ると we're introducing next generation 2500Base-X networking as a standard feature とのことで、ネットワークは2500Base-Xを使ってるようですが、2500Base-Xて初耳でした。 内部通…
ScalewayのARMサーバの在庫切れが復活、 併せてC2タイプがリリース、でもC2はARMではなくなりIntel Atomに。 ARMだから良かったのに。。。一方で、Raspberry Pi3は、64bit ARM採用。 でも、Raspbianは未だに32bitのまま。。。どれもパッとしないなか、 RunAb…
Scalewayとの比較にあたり、同じARMということでRaspberry Pi 2 Model Bとベンチマーク。 俺のラズパイ2でUnixBenchを実行すると、自分が計測したスコアと、他のサイトに載ってるスコアが違う。こちらのスコアは、1並列で約120、4並列で約300。 Link 他のサ…
