Horovod 수행 환경 구성

Horovod 수행 환경 구성 정리

1. 환경 구성에 필요한 설치 패키지

• CUDA
  
• OpenMPI
• Tensorflow GPU

2. 설치 기준

- CUDA 9.0
- OpenMPI 3.0
- Tensorflow GPU 1.5.0
    - prebuild Tensorflow GPU 1.5는 CUDA 9.0 지원
    - CUDA 9.1을 사용하기 위해서는 Tensorflow GPU를 따로 빌드할 것

2.1 OpenMPI 설치

NPROCS=`grep -c processor /proc/cpuinfo`;

wget https://www.open-mpi.org/software/ompi/v3.0/downloads/openmpi-3.0.
0.tar.gz
tar zxf openmpi-3.0.0.tar.gz

cd openmpi-3.0.0
./configure --enable-orterun-prefix-by-default

make -j $NPROCS all # for parallel compile
make install
ldconfig

2.2 Tensorflow GPU 설치

Tensorflow-GPU 설치시 필요 모듈
- 인터넷이 연결된 경우 자동으로 다운로드 및 설치 진행

enum34 (>=1.1.6)
backports.weakref (>=1.0rc1)
mock (>=2.0.0)
wheel
tensorflow-tensorboard (<1.6.0,>=1.5.0)
protobuf (>=3.4.0)
six (>=1.10.0)
numpy (>=1.12.1)
absl-py (>=0.1.6)
- 인터넷이 안되는 경우에는 해당 모듈을 다운로드후 별도 설치
    - python 패키지 다운로드       https://pypi.python.org/pypi

wget https://pypi.python.org/packages/0b/80/094c2f7b05acb1089333d
93c41323e93f3296eaa7a785d9848973e4e36bd/tensorflow_gpu-1.5.0-cp27-
cp27mu-manylinux1_x86_64.whl#md5=d519dd5669665acc286b7eb186e58f7a

pip install tensorflow_gpu-1.5.0-cp27-cp27mu-
manylinux1_x86_64.whl</code>

3. Horovod 설치

- CUDA Driver, OpenMPI가 설치되어있는 경우에만 설치 가능
- 설치시 openmpi의 binary가 존재하는 PATH를 지정

export PATH=/usr/local/bin:$PATH
pip install --no-cache-dir horovod

3.1 Horovod so 파일 위치 (python 2.7 기준)

- openmpi 라이브러리와 링크 되었는지 확인
ldd /usr/local/lib/python2.7/dist-
packages/horovod/tensorflow/mpi_lib.so | grep mpi
libmpi.so.40 => /usr/local/lib/libmpi.so.40 (0x00007f6fc001b000)</code>