content/v0.3.0/kr/_sources/docs/overview.txt - singa-site - Git at Google

 # 개요

 ---

 SINGA는 대규모 데이터 분석을 위한 딥러닝 모델의 트레이닝을 목적으로 한 "분산 딥러닝 플랫폼" 입니다. 모델이 되는 뉴럴네트워크의 "Layer" 개념에 따라서 직관적인 프로그래밍을 할 수 있도록 디자인되어 있습니다.

 * Convolutional Neural Network 와 같은 피드포워드 네트워크와 Restricted Boltzmann Machine 과 같은 에너지 모델, Recurrent Neural Network 모델 등 다양한 모델을 지원합니다.

 * 다양한 기능을 가지는 "Layer"들이 Built-in Layer 로 준비되어 있습니다.

 * SINGA 아키텍처는 synchronous (동기), asynchronous (비동기), 그리고 hybrid (하이브리드) 트레이닝을 할 수 있도록 설계되어 있습니다.

 * 대형 모델의 트레이닝을 병렬화하는 다양한 partition 스킴 (배치 및 특징 분할)을 지원합니다.


 ## 목적

 확장성 : 분산 시스템으로써 더 많은 자원을 이용하여 특정 정밀도에 도달 할 때까지 트레이닝 속도를 향상시킨다.

 유용성 : 대규모 분산 모델의 효율적인 트레이닝에 필요한 데이터와 모델의 분할, 네트워크 통신등 프로그래머의 작업을 단순화하고, 복잡한 모델 및 알고리즘의 구축을 쉽게 한다.


 ## 설계 이념

 확장성은 분산 딥러닝에서 중요한 연구 과제입니다.
 SINGA는 다양한 트레이닝 프레임워크의 확장성을 유지할 수 있도록 설계되어 있습니다.

 * Synchronous (동기) : 트레이닝의 1단계에서 얻을 수있는 효과를 높입니다.

 * Asynchronous (비동기) : 트레이닝의 수렴 속도를 향상시킵니다.

 * Hybrid (하이브리드) : 코스트 및 리소스 (클러스터 크기 등)에 맞는 효과와 수렴 속도의 균형을 잡고 확장성을 향상시킵니다.

 SINGA는 딥러닝 모델의 네트워크 "레이어" 개념에 따라 직관적으로 프로그래밍을 할 수 있도록 디자인되어 있습니다. 다양한 모델을 쉽게 구축하고 트레이닝 할 수 있습니다.

 ## 시스템 개요

 <img src = "../_static/images/sgd.png" align="center" width="400px"/>
 <span><strong> Figure 1 - SGD Flow </strong></span>

 "딥러닝 모델을 학습한다"는 것은 특정 작업(분류, 예측 등)을 달성하기 위하여 사용되는 특징량(feature)을 생성하는 변환 함수의 최적 파라미터를 찾는다는 것입니다.
 그 변수의 좋고 나쁨은, Cross-Entropy Loss (https://en.wikipedia.org/wiki/Cross_entropy) 등의 loss function (손실 함수)으로 확인합니다. 이 함수는 일반적으로 비선형 또는 비 볼록 함수이므로 閉解을 찾기가 힘듭니다.

 그래서 Stochastic Gradient Descent (확률적구배강하법)을 이용합니다.
 Figure 1과 같이 랜덤으로 초기화 된 파라미터 값을, 손실 함수가 작아 지도록 반복 업데이트하고 있습니다.

 <img src = "../_static/images/overview.png" align="center" width="400px"/>
 <span> <strong> Figure 2 - SINGA Overview </strong> </span>

 트레이닝에 필요한 워크로드는 workers 와 servers 에 분산됩니다.
 Figure 2와 같이 루프(iteration)마다 workers 는 *TrainOneBatch* 함수를 불러서 파라미터 구배를 계산합니다.
 *TrainOneBatch* 는 뉴럴네트워크의 구조가 기술 된 *NeuralNet* 정보에 따라서 "Layer"를 차례로 둘러봅니다.
 계산 된 구배는 로컬노드의 stub 에 보내져 집계 된 후, 해당 servers 에 전송됩니다. Servers 는 업데이트 된 파라미터 값을 workers 한테 되돌려주고, 다음 루프(iteration)를 진행합니다.


 ## Job

 SINGA에서 "Job"이란 뉴럴네트워크 모델과 데이터 트레이닝 방법, 클러스터 토폴로지 등이 기술 된 "Job Configuration"을 말합니다.
 Job configuration 은 Figure 2에 그려진 다음의 4가지 요소를 가집니다.

 * [NeuralNet](neural-net.html) : 뉴럴네트워크의 구조와 각 "레이어"의 설정을 기술합니다.
 * [TrainOneBatch](train-one-batch.html) : 모델 카테고리에 적합한 알고리즘을 기술합니다.
 * [Updater](updater.html) : server에서 매개 변수를 업데이트하는 방법을 기술합니다.
 * [Cluster Topology](distributed-training.html) : workers와 servers 분산 토폴로지를 기술합니다.

 [main 함수](programming-guide.html)의 SINGA 드라이버를 써서 Job 을 넘깁니다.

 이 프로세스는 Hadoop에서의 Job 서브미션과 비슷합니다.
 유저가 main 함수에서 작업 설정을 합니다.
 Hadoop 유저는 자신의 mapper와 reducer를 설정하지만 SINGA 에서는 유저의 Layer 나 Updater 등을 설정합니다.
	# 개요

	---

	SINGA는 대규모 데이터 분석을 위한 딥러닝 모델의 트레이닝을 목적으로 한 "분산 딥러닝 플랫폼" 입니다. 모델이 되는 뉴럴네트워크의 "Layer" 개념에 따라서 직관적인 프로그래밍을 할 수 있도록 디자인되어 있습니다.

	* Convolutional Neural Network 와 같은 피드포워드 네트워크와 Restricted Boltzmann Machine 과 같은 에너지 모델, Recurrent Neural Network 모델 등 다양한 모델을 지원합니다.

	* 다양한 기능을 가지는 "Layer"들이 Built-in Layer 로 준비되어 있습니다.

	* SINGA 아키텍처는 synchronous (동기), asynchronous (비동기), 그리고 hybrid (하이브리드) 트레이닝을 할 수 있도록 설계되어 있습니다.

	* 대형 모델의 트레이닝을 병렬화하는 다양한 partition 스킴 (배치 및 특징 분할)을 지원합니다.


	## 목적

	확장성 : 분산 시스템으로써 더 많은 자원을 이용하여 특정 정밀도에 도달 할 때까지 트레이닝 속도를 향상시킨다.

	유용성 : 대규모 분산 모델의 효율적인 트레이닝에 필요한 데이터와 모델의 분할, 네트워크 통신등 프로그래머의 작업을 단순화하고, 복잡한 모델 및 알고리즘의 구축을 쉽게 한다.


	## 설계 이념

	확장성은 분산 딥러닝에서 중요한 연구 과제입니다.
	SINGA는 다양한 트레이닝 프레임워크의 확장성을 유지할 수 있도록 설계되어 있습니다.

	* Synchronous (동기) : 트레이닝의 1단계에서 얻을 수있는 효과를 높입니다.

	* Asynchronous (비동기) : 트레이닝의 수렴 속도를 향상시킵니다.

	* Hybrid (하이브리드) : 코스트 및 리소스 (클러스터 크기 등)에 맞는 효과와 수렴 속도의 균형을 잡고 확장성을 향상시킵니다.

	SINGA는 딥러닝 모델의 네트워크 "레이어" 개념에 따라 직관적으로 프로그래밍을 할 수 있도록 디자인되어 있습니다. 다양한 모델을 쉽게 구축하고 트레이닝 할 수 있습니다.

	## 시스템 개요

	<img src = "../_static/images/sgd.png" align="center" width="400px"/>
	<span><strong> Figure 1 - SGD Flow </strong></span>

	"딥러닝 모델을 학습한다"는 것은 특정 작업(분류, 예측 등)을 달성하기 위하여 사용되는 특징량(feature)을 생성하는 변환 함수의 최적 파라미터를 찾는다는 것입니다.
	그 변수의 좋고 나쁨은, Cross-Entropy Loss (https://en.wikipedia.org/wiki/Cross_entropy) 등의 loss function (손실 함수)으로 확인합니다. 이 함수는 일반적으로 비선형 또는 비 볼록 함수이므로 閉解을 찾기가 힘듭니다.

	그래서 Stochastic Gradient Descent (확률적구배강하법)을 이용합니다.
	Figure 1과 같이 랜덤으로 초기화 된 파라미터 값을, 손실 함수가 작아 지도록 반복 업데이트하고 있습니다.

	<img src = "../_static/images/overview.png" align="center" width="400px"/>
	<span> <strong> Figure 2 - SINGA Overview </strong> </span>

	트레이닝에 필요한 워크로드는 workers 와 servers 에 분산됩니다.
	Figure 2와 같이 루프(iteration)마다 workers 는 TrainOneBatch 함수를 불러서 파라미터 구배를 계산합니다.
	TrainOneBatch 는 뉴럴네트워크의 구조가 기술 된 NeuralNet 정보에 따라서 "Layer"를 차례로 둘러봅니다.
	계산 된 구배는 로컬노드의 stub 에 보내져 집계 된 후, 해당 servers 에 전송됩니다. Servers 는 업데이트 된 파라미터 값을 workers 한테 되돌려주고, 다음 루프(iteration)를 진행합니다.


	## Job

	SINGA에서 "Job"이란 뉴럴네트워크 모델과 데이터 트레이닝 방법, 클러스터 토폴로지 등이 기술 된 "Job Configuration"을 말합니다.
	Job configuration 은 Figure 2에 그려진 다음의 4가지 요소를 가집니다.

	* [NeuralNet](neural-net.html) : 뉴럴네트워크의 구조와 각 "레이어"의 설정을 기술합니다.
	* [TrainOneBatch](train-one-batch.html) : 모델 카테고리에 적합한 알고리즘을 기술합니다.
	* [Updater](updater.html) : server에서 매개 변수를 업데이트하는 방법을 기술합니다.
	* [Cluster Topology](distributed-training.html) : workers와 servers 분산 토폴로지를 기술합니다.

	[main 함수](programming-guide.html)의 SINGA 드라이버를 써서 Job 을 넘깁니다.

	이 프로세스는 Hadoop에서의 Job 서브미션과 비슷합니다.
	유저가 main 함수에서 작업 설정을 합니다.
	Hadoop 유저는 자신의 mapper와 reducer를 설정하지만 SINGA 에서는 유저의 Layer 나 Updater 등을 설정합니다.