M1 8GB 맥북에어에 Deepseek R1 설치부터 Open Webui 설치까지

원래는 Ollama를 쉽게 설치하기 위해 Docker를 설치하라고 하지만 지금은 클릭 한번으로 설치가 가능하다.

 

먼저 http://ollama.com 에 접속해 Ollama를 다운로드 해준다.

OS에 맞는 것을 다운로드 해 준다.

첫 모델로 llama3.2를 다운로드 하라고 하지만 우리의 목표인 Deepseek R1을 설치하기 위해서 아래 명령어를 터미널에 입력해 주면 된다.

ollama run deepseek-r1

명령어를 터미널에 입력하면 알아서 AI모델 다운로드를 해준다.

내 노트북의 램이 8GB밖에 되지 않기 때문에 8B가 넘는 모델은 실행이 불가능하다. 

 

 

설치가 되고, 시험삼아 hi라고 보내보니...

컴퓨터에 엄청난 랙이 걸리더니 답변이 나왔다..

아무래도 모든 메로리를 사용하니 랙이 걸리는 것 같다.

ollama run deepseek-r1:7b --verbose

 

프롬프트 : write a 1000 word story

와 같이 컴푸터의 성능을 알 수 있다.

6 tokens/s라니..

정확한 비교는 어렵지만, 14b모델, 거의 1.7배 많은 파라미터가 있는 모델을 3090으로 돌리면 58tps...

https://www.reddit.com/r/LocalLLaMA/comments/1i69dhz/deepseek_r1_ollama_hardware_benchmark_for_localllm/ 여기 댓글에 사람들이 본인 컴퓨터로 몇 tps가 나오는지 적어놓았으니, 궁금한 사람은 검색을 해 보길 바란다.

RTX 3050 Ti + i7-12700H로 4tps, 1070 + Xeon E2680v4로 27tps정도 나온다고 한다.

 

이렇게 된 거 가장 작은 모델인 1.4b를 다운받아 써보기러 했다.

35tps가 나온다.(프롬프트 : write 100word story)

 

WEB UI로 사용하기

web UI로 사용하기 위해서 먼저 docker desktop을 설치해준다.

https://www.docker.com/products/docker-desktop/ 에서 설치하면 된다.

이후 아래 명령어를 실행해 Open webui를 설치해 주면 된다.

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

그럼 사진과 같이 설치를 할 수 있고, Ports 아래 링크를 눌러 Open webui에 접속할 수 있다. (http://localhost:3000)

1.5b 모델은 한국어를 잘 못한다..