시작은 간단히 Gemini에게 방법을 알려달라고 하면 잘 알려줍니다. 인터넷 검색은 이제 Gemini아니면 불편해서 못 쓸정도네요. 그러지 않기 위해서 OpenClaw, Ollama등등 오늘 좀 맛보려합니다. GPU자원이 썩 좋지 않은 관계로 CPU만으로 할 수 있는 모델등을 추천해달라고 하지 Gemini추천은 Qwen2.5:1.5b 7b 등이 나오고 잠시 찾아보니 3.5 72b정도인가는 RAM이 참 빵빵해야한다고 나오네요.. 그냥 DRAM이라면 128GB짜리 Desktop이나 32GB짜리 서버도 있으니, 대충 해보고 한단계씩 넘어가보려합니다.
시작은 설치부터, 별 고민 없이 Gemini가 제시한 설치 command 그대로 복붙해서 실행합니다. Linux에 설치할거라 뭐 다른 걸리적 거리는 것도 없고, 걸리적 거리는 것도 설치하면 되니, 그냥 고고 합니다. OpenClaw하려면 nodejs 22.x대랑. npm 11. 대가 필요하더군요. 기본 설치로는 npm 10이 깔려서 잠깐 멈칫했습니다. 그리고 git도 없던 시스템이라 이것도
curl -fsSL https://deb.nodesource.com/setup_22.x | sudo -E bash –
sudo apt install -u nodejs
sudo apt install git
node -v
npm -v
npm install -g npm@latest
npm install -g openclaw@latest
이제 open LLM모델을 실행할 훌륭한 프레임워크인 Ollama도 설치합니다. 일반 챗용으로는 괜찮은 듯 합니다. 근데 저도 개발자이니만큼 코딩용 모델을 돌릴건데, 너무 일반적인 대답맨 해줘서, 나중에 애들하고랑 놀라고 돌려두는정도만 해야겠네요. 일단은 Gemini가 Ollama의 거의 기본 모델인 llama3를 알려주니 이것도 일단 설치해서 돌려보긴합니다.
curl -fsSL https://ollama.com/install.sh | sh
ollma serve
ollama pull llama3
ollama launch openclaw –model llamma3
근데 안되요.. https://www.youtube.com/watch?v=taqXywnbiHE 이런거 해봐도 안되서 이제사 qwen2.5로 넘어갑니다. RAM이 4GB짜리에 4210U 라서 그런가보다 하고 넘어갑니다. –; 욕심이 과했나봅니다. 그리고 제약이 많다고 Gemini에게 뭐라고 하니 OpenClaw는 쏙 들어가고 open-webui를 알려줍니다… 군소리 없이 따라합니다. 제가 뭘 알겠습니까.. Python 환경에서 바로 동작하는거라서, 요새는 venv를 필수로 설치하고 해야하나보네요.
중간에 openclaw onboard 명령어로 여러 설정같은걸 해보는게 있지만, 이건 OpenClaw자체로 외부 여러 유명한 툴들을 엮는 설정을 하는 것으로 보여서 아직까지 거기까진 안되겠고, 원대한 목표중 하나가 외부 서비스 안쓰고, 가능한 Subscription없이 혹은 공짜로 해보는게 목표라, 앞으로도 쓸일은 별로 없을 듯 합니다.
ollama pull qwen2.5:1.5b
ollama list
ollama run qwen2.5:1.5b
sudo apt install python3.12-venv
python3 -m venv openwebui-venv
source openwebui-venv/bin/activate
pip install open-webui
ollama run qwen2.5:1.5b
까지 하니 그냥 왠만한 chat은 4GB시스템에서도 한 3~4년전 정도 Chatgpt2 였나 그때 느낌으로 되네요.. 느리지만, 그래도 참을만한 그 수준입니다. 한글 입출력도 꽤 준수하군요. 속도는 AT정도에서 Text게임하던 수준 –; 혹시나 몰라서 qwen2.5:7b를 호기롭게 실행시켜봤지만… 4GB RAM으로는 거의 뻗습니다. ==;;; 이글 쓰고 있던 브라우저 , top돌리고 있던 Terminal에 마우스 커서까지 굳어서 움찔 했지만. 그래도 기다리니, Ctrl+c로 다행이 중간에 빠져나올 수 있어서, 글을 안 날리고 계속 쓸 수 있게 되었네요.
제가 입력했던건 단지 ‘hello’였을 뿐인데 –;;;
다음번 검색어로 나온게 codellama하고, deepseek가 나오길래 이것도 일단 ollama+Open-webui로 어찌저찌 맛만 본뒤에 본격적으로 코드용으로 간보기를 넘어가보려 합니다. 이제 4GB시스템은 버리고 32GB RAM에… Core는 Arm용으로 넘어가봐야겠네요…