| # SINGA アーキテクチャー |
| |
| --- |
| |
| ## ロジカル アーキテクチャー |
| |
| <img src="../_static/images/logical.png" style="width: 550px"/> |
| <p><strong> Fig.1 - システム アーキテクチャー</strong></p> |
| |
| SINGAは、多様な分散[トレーニング フレームワーク](frameworks.html) (同期、または非同期トレーニング). |
| をサポートするための柔軟な構造をもっています。 |
| Fig.1. にシステムの構造を示します。 |
| 特徴としては、複数の server グループと、worker グループを持つことです。 |
| |
| * **Server グループ** |
| |
| Server グループは、モデルパラメーターのレプリカを持ち、worker グループからのリクエストに従いパラメーターのアップデートを担当します。隣接した server グループ達は、パラメーターを定期的に同期させます。通常１つの server グループは複数の server で構成され、各 server はモデルパラメーターの分割された一部を担当します。 |
| |
| * **Worker グループ** |
| |
| 各 worker グループは、１つの server グループと通信します。１つの worker グループは、パラメーターの勾配計算を担当します。また分割されたデータの一部に対し“完全な”モデルレプリカをトレーニングします。すべての worker グループ達は、対応する server グループ達と非同期的に通信します。しかし、同じ worker グループ内の worker 達は、同期します。 |
| |
| 同一グループ内での worker 達の分散トレーニングには、たくさんの異なった方法があります。 |
| |
| * **モデル 並列化**: 各 worker は、グループに振り分けられたすべてのデータに対して、パラメーターのサブセットを計算します。 |
| * **データ 並列化**: 各 worker は、振り分けられたデータのサブセットに対して、すべてのパラメーターを計算します。 |
| * **ハイブリッド 並列化**: SINGAは、上記の方法を組み合わせたハイブリッドな並列化もサポートします。 |
| |
| |
| ## 実装 |
| |
| SINGAでの servers と workers は、別スレッドで動く実行ユニットです。 |
| |
| In SINGA, servers and workers are execution units running in separate threads. |
| それらは [messages](communication.html) を利用して通信します。 |
| 各プロセスは、ローカル messages を集め、それを対応するレシーバーに転送する stub としてメインスレッドを実行します。 |
| |
| 各 server グループと worker グループは、“完全な”モデルレプリカである *ParamShard* オブジェクトを保持します。 |
| もし workers と servers が同じプロセスで走るなら、 |
| それらの *ParamShard* （パーティション）は、同じメモリスペースを共有するよう設定されます。 |
| この場合、異なる実行ユニット間を行き来する messages は通信コストを抑えるためにデータのポインタだけを含みます。 |
| プロセス間通信の場合とは異なり、messsages はパラメーターの値を含みます。 |
