[파이썬 가상환경] FaceNet

1. tensorflow 다운로드 -> 완료

2. github clone

git clone --recursive https://github.com/davidsandberg/facenet.git

3. required modules install

앞서 tensorflow를 따로 다운로드 받기도 했고, 몇개 안되니까 그냥 직접 입력해서 다운로드 받겠다.

pip install ~~~

4. LFW dataset download

5. 알맞은 폴더 만들기

6. python path 설정

7. Align the LFW dataset

facenet/src/align/detect_face.py:711: SyntaxWarning: "is" with a literal. Did you mean "=="?
  if method is 'Min':
WARNING: CPU random generator seem to be failing, disabling hardware random number generation
WARNING: RDRND generated: 0xffffffff 0xffffffff 0xffffffff 0xffffffff

--image_size: 명령을 찾을 수 없습니다
--margin: 명령을 찾을 수 없습니다
--random_order: 명령을 찾을 수 없습니다
--gpu_memory_fraction: 명령을 찾을 수 없습니다

또 똑같은 에러 + 새로 보는 경고문

8. nvidia driver + cuda + cudnn 설치

https://robot9710.tistory.com/29

OS에서 GPU를 읽을 수 있도록 1. 드라이버를 설치합니다. 두 번째로, TensorFlow와 같은 라이브러리를 이용한 사용자의 명령들을 GPU에 할당하기 위해 2. CUDA와 cuDNN을 설치합니다. 마지막으로 3. TensorFlow를 설치하면, TF로 코딩한 인공지능 알고리즘을 GPU에 할당 시킬 수 있습니다. 이러한 설치 과정에선, 서로 버전 호환성이 맞아야 최적화된 상태로 학습을 진행할 수 있게 됩니다.

https://doitgrow.com/28

[환경 설정] 텐서플로우(Tensorflow) 2.x GPU 설정 및 사용하는 법 (윈도우10 기준)

https://docs.nvidia.com/deeplearning/cudnn/support-matrix/index.html

Support Matrix :: NVIDIA Deep Learning cuDNN Documentation

>> 버전확인

 

cuda 11.6.2 설치

https://developer.nvidia.com/cuda-11-6-2-download-archive?target_os=Linux&target_arch=x86_64&Distribution=Ubuntu&target_version=20.04&target_type=deb_local 

CUDA Toolkit 11.6 Update 2 Downloads

wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/cuda-ubuntu2004.pin
sudo mv cuda-ubuntu2004.pin /etc/apt/preferences.d/cuda-repository-pin-600
wget https://developer.download.nvidia.com/compute/cuda/11.6.2/local_installers/cuda-repo-ubuntu2004-11-6-local_11.6.2-510.47.03-1_amd64.deb
sudo dpkg -i cuda-repo-ubuntu2004-11-6-local_11.6.2-510.47.03-1_amd64.deb
sudo apt-key add /var/cuda-repo-ubuntu2004-11-6-local/7fa2af80.pubsudo 
apt-get update
sudo apt-get -y install cuda

해시 합이 맞지 않아..?음..? 이건 또 무슨 에러람...

sudo apt-get update

 

path 설정하려고 /usr/local 에 들어가보니, 난 분명 11.6.2를 다운로드 받았는데, 깔려있는건 cuda, cuda-11, cuda-11.2, 11.3, 11.4 가 있다... 이게 뭐지.. 뭔가 잘못된 듯한 느낌이.. 일단 11.2로 path 등록하고, cuda 설치가 잘 되었다고 표시하는지 확인해보려한다.

https://teddylee777.github.io/linux/%EB%94%A5%EB%9F%AC%EB%8B%9D-PC%EC%97%90-ubuntu%EC%99%80-CUDA-GPU%EB%9D%BC%EC%9D%B4%EB%B8%8C%EB%9F%AC%EB%A6%AC-%EC%84%A4%EC%B9%98%ED%95%98%EA%B8%B0

딥러닝 PC에 Ubuntu 18.04 설치 후 CUDA 10, cuDNN 설치하기

export PATH=$PATH:/usr/local/cuda-11.2/bin
export CUDADIR=/usr/local/cuda-11.2
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda-11.2/lib64

 

$ nvcc --version 했는데

 

명령어 'nvcc' 을(를) 찾을 수 없습니다. 그러나 다음을 통해 설치할 수 있습니다:
sudo apt install nvidia-cuda-toolkit

 

라고 떠서, 저 sudo 명령어를 입력했는데..

 

몇몇 패키지를 설치할 수 없습니다. 요청한 상황이 불가능할 수도 있고,
불안정 배포판을 사용해서 일부 필요한 패키지를 아직 만들지 않았거나,
아직 Incoming에서 나오지 않은 경우일 수도 있습니다.
이 상황을 해결하는데 다음 정보가 도움이 될 수도 있습니다:

다음 패키지의 의존성이 맞지 않습니다:
 nvidia-cuda-toolkit : 의존: nvidia-cuda-dev (= 10.1.243-3) 하지만 %s 패키지를 설치하지 않을 것입니다
E: 문제를 바로잡을 수 없습니다. 망가진 고정 패키지가 있습니다.

 

라고 한다... 나 ... 망한건가..?

 

https://www.tensorflow.org/install/source#tested_build_configurations

2.9.1로 깔려있던 tensorflow를 2.7.0으로 downgrade했다. (갑자기 nvcc 에러 찾아보려다가... 나는 이러는 경우가 너무 많아서 문제다. 이거하려다 저거하고 우왕좌왕..갈피xxx)

그리고 cuda-11.2를보니까 파일이 거의 없어서, cuda-11.3 path 설정 다시 해보기로 했다.

echo $PATH

응...? cuda-10.0 이 path에 지정되어 있었다. cuda가 여러개 지정되어 있어도 상관없는건가? 10.0 대신 11.3 으로 PATH를 지우고 추가해줬다.

 

https://wooriel.tistory.com/56

$PATH에서 경로 지우기 / 중복 경로 지우기

nvcc --version

드디어!!

버전확인 된다ㅠㅠ  엥 그런데 $ nvidia-sim을 했더니, nvidia driver는 없단다. cuda깔면 자동으로 같이 깔린다며...??? 어쩔수 없다. driver 깔러 가야지..

 

그래.. 그냥 깔리면 재미가 없지 이제^^^^^^^ 이런경우에는, 에러가 발생하는 해당 의존패키지를 '직접' 설치해주면 된다고한다.

https://dololak.tistory.com/114

[ubuntu] 우분투 apt-get 망가진 고정 패키지가 있습니다 해결방법

하지만,, 이걸해보다가 이번엔 아카이브를 받을 수 없습니다. 라는 에러가 떴다. 하하!

 

우선.. 다시...다시 혹시 cuda를 깔면서 driver관련된 뭐가 깔렸나 싶어서 지우고 시작했다. (넘겨짚기...습관 버리자^^^) 지우더니, nvcc --version이 더는 먹히지 않더라! 하하..!! 해당 위치로 가보니 cuda-11.3 폴더도 사라지고 없었다.

nvidia driver를 설치한 다음에, cuda 11.3을 다시 깔아야겠다.

$ sudo apt --purge autoremove nvidia*

기존 패키지 업그레이드 하고, (안해도 되는지 모르겠으나, 대부분의 검색 결과들에서 이걸 하길래..)

sudo apt update && sudo apt upgrade -y

그냥 권장해주는 버전을 설치하고,

sudo ubuntu-drivers autoinstall

cuDNN 8.2.1 (아이디 필요함)