GPU 없이 로컬 AI를 실행할 수 있을까? CPU 기반 LLM 활용법

이미지
GPU 없이도 로컬 AI를 실행할 수 있지만, 모델 크기와 응답 속도 사이에서 타협이 필요합니다. 이 글은 Windows 또는 Linux에서 명령어를 실행할 수 있는 환경을 가정하고, GGUF 모델과 llama.cpp로 CPU에서 LLM을 돌리는 방법을 다룹니다. 목차 CPU 기반 LLM은 어떻게 추론할까? GGUF와 llama.cpp로 실행하기 RAM 사용량과 모델 성능 판단 결론 CPU 기반 LLM은 어떻게 추론할까? CPU 기반 LLM의 추론은 입력 문장을 토큰(작게 나눈 단위)으로 바꾼 뒤, 모델의 가중치(학습 결과를 담은 값)를 이용해 다음 토큰을 예측하는 과정입니다. GPU는 이 계산을 병렬로 처리해 속도를 높이고, CPU는 멀티코어(여러 CPU 코어)와 RAM을 활용해 같은 작업을 수행합니다. 따라서 CPU 실행에서는 속도와 메모리 사용량 사이의 타협이 핵심입니다. GGUF와 llama.cpp로 실행하기 CPU 환경에서는 양자화 모델을 주로 사용합니다. 양자화는 모델 가중치의 표현 정밀도를 낮춰 파일 크기와 메모리 사용량을 줄이는 방식입니다. 4비트와 8비트 계열이 흔히 쓰이며, 정밀도를 낮추면 실행 부담은 줄지만 답변 품질과 안정성은 떨어질 수 있습니다. GGUF는 모델 가중치와 실행에 필요한 정보를 함께 담는 파일 형식입니다. llama.cpp는 이 GGUF 모델을 CPU에서 실행하도록 최적화된 오픈소스 프로젝트이며, 별도의 AI 서버를 구축하지 않아도 명령어만으로 실행할 수 있습니다. 먼저 Windows 또는 Linux에서 명령어를 실행할 수 있는 환경을 마련하고, llama.cpp를 빌드하거나 실행 파일을 준비합니다. 이어서 GGUF 모델 파일을 내려받아 실행 파일과 모델 경로를 명령어에 지정하면 됩니다. ./llama-cli -m ./models/model.gguf -p "CPU 기반 로컬 AI의 장점을 설명해줘" -m 은 모델 파일 위치를 지정하고, -p 는 AI에게 전달할 프롬프트(입력 문...

로컬 LLM 구축하기: Ollama 설치부터 모델 실행까지

목차 시작 전 하드웨어 확인 Ollama 설치 모델 다운로드와 실행 문제 해결과 운영 팁 결론 이 글은 Linux와 macOS에서는 터미널 명령으로, Windows에서는 설치 프로그램으로 Ollama를 설치한 뒤 로컬 LLM을 처음 실행하는 과정을 안내합니다. 로컬 실행은 프라이버시와 오프라인 사용 측면의 장점이 있지만, 실제로 사용하는 모델의 메모리 요구량과 연결된 앱의 데이터 전송 여부도 함께 확인해야 합니다. 시작 전 하드웨어 확인 하드웨어 요구 사항은 모델 크기에 따라 달라집니다. 아래 RAM 수치는 시작 전에 확인할 권장 기준입니다. 모델 크기 권장 RAM 3B 8GB 이상 7~8B 16GB 이상 13B 32GB 이상 자신의 RAM이 기준에 못 미치면 작은 모델부터 선택하세요. Ollama 설치 Linux와 macOS에서는 터미널에서 설치 명령을 실행할 수 있습니다. Windows에서는 공식 설치 프로그램을 내려받아 실행한 뒤 터미널을 새로 열어야 합니다. 아래 명령은 Linux와 macOS용입니다. curl -fsSL https://ollama.com/install.sh | sh 설치가 끝나면 명령이 인식되는지 확인합니다. ollama --version ollama list 버전 정보가 표시되지 않으면 Linux/macOS에서는 command -v ollama 를 실행해 실행 파일 경로가 출력되는지 확인합니다. 아무것도 표시되지 않으면 터미널을 다시 열고 설치 명령을 다시 실행하세요. Windows에서는 설치 프로그램이 끝까지 완료되었는지 확인한 뒤 새 터미널에서 같은 명령을 실행합니다. 모델 다운로드와 실행 사용할 모델을 먼저 다운로드합니다. pull 은 모델 파일을 내려받아 로컬에 준비하는 단계이고, run 은 준비된 모델을 대화형으로 실행하는 단계입니다. 아래 예시는 3B급처럼 비교적 작은 모델부터 시작하는 경우에 사용할 수 있으며, 실제로 필요한 RAM은 앞의 표를 기준...

MCP(Model Context Protocol)란 무엇이며 왜 주목받는가?

목차 MCP의 정의와 등장 배경 호스트·클라이언트·서버 구조 프리미티브와 JSON-RPC 흐름 도구 발견·호출과 전송 방식 활용 예시 결론 MCP의 정의와 등장 배경 이 글은 MCP를 특정 서비스의 사용법이 아니라, AI 애플리케이션과 외부 도구를 연결하는 표준 구조로 이해하는 것을 전제로 합니다. MCP(Model Context Protocol)는 AI 애플리케이션이 파일, 데이터베이스, API, 업무 도구 등의 기능과 정보를 일정한 방식으로 주고받도록 정한 프로토콜입니다. 기존에는 AI 서비스마다 파일, 데이터베이스, API 같은 도구와 연결하는 방식을 따로 구현해야 했습니다. 서비스와 도구의 조합이 늘어날수록 연결 코드를 각각 유지해야 하는 부담도 커집니다. MCP는 공통 규격을 제공해 연결 코드를 재사용하기 쉽게 만들고, AI가 필요한 기능을 탐색한 뒤 호출하는 흐름을 표준화한다는 점에서 실질적인 이점을 제공합니다. 호스트·클라이언트·서버 구조 호스트는 사용자가 대화하는 AI 애플리케이션입니다. 호스트 안의 MCP 클라이언트는 특정 MCP 서버와 연결을 관리하고, MCP 서버는 파일 검색이나 데이터 조회처럼 외부 시스템에 접근할 수 있는 기능을 제공합니다. 비유하면 호스트는 사무실, 클라이언트는 담당 연락 창구, 서버는 외부 협력업체에 가깝습니다. 이 구조에서는 호스트가 시스템마다 다른 연결을 직접 구현하지 않습니다. 호스트는 MCP 클라이언트를 통해 서버와 통신하고, 클라이언트는 서버가 공개한 기능과 데이터를 호스트에 전달하며 MCP 메시지를 주고받습니다. 서버는 정해진 요청만 처리하므로 기능별 권한과 책임을 분리하기 쉽습니다. 다만 MCP가 자동으로 보안을 보장하는 것은 아니므로 서버 권한, 입력 검증, 인증·권한·네트워크 보안 설정을 별도로 관리해야 합니다. 프리미티브와 JSON-RPC 흐름 MCP 서버가 제공하는 핵심 프리미티브는 Tools, Resources, Prompts입니다. Tools는 AI가 인자를 넘겨 실...

AI 에이전트(Agent)란 무엇이며 일반 챗봇과 무엇이 다른가?

목차 먼저 알아둘 전제 일반 챗봇은 어떻게 동작할까? AI 에이전트의 동작 원리 Tool 사용 능력과 작업 범위 기억과 컨텍스트 관리 자율적 계획과 의사결정 결론 최근 AI 기술의 발전은 챗봇과 AI 에이전트라는 두 가지 주요 형태로 나타나고 있습니다. 이 둘은 모두 언어 모델을 기반으로 하지만, 작동 방식과 활용 목표에서 중요한 차이를 가집니다. 이 글에서는 챗봇과 에이전트의 근본적인 차이점과 각각의 특징을 살펴보며, 어떤 상황에서 어떤 방식이 더 적합한지 안내합니다. 먼저 알아둘 전제 구분 챗봇 (Chatbot) AI 에이전트 (AI Agent) 목표 사용자 질의에 대한 답변 생성 목표 달성 을 위한 작업 수행 외부 도구 사용 제한적 또는 선택적 Tool 을 통한 외부 시스템 연동 작업 방식 단일 질의-응답 다단계 작업 및 계획 수정 자율성 낮음 (정해진 범위 내 응답) 상대적으로 높음 (상황 판단 및 의사결정) 이 글은 AI 에이전트를 특정 서비스나 제품이 아닌, 언어 모델에 도구 사용과 작업 제어 기능을 결합한 소프트웨어 구조로 설명합니다. 구현 방식에 따라 기능과 자율성의 수준은 달라질 수 있습니다. 핵심 차이는 답변 생성에 있습니다. 일반 챗봇은 사용자의 질문에 문장으로 답하는 데 초점을 두지만, AI 에이전트는 목표를 달성하기 위해 상황을 판단하고 필요한 작업을 이어서 수행합니다. 일반 챗봇은 어떻게 동작할까? 일반 챗봇은 사용자의 입력과 이전 대화 내용을 컨텍스트(현재 답변에 참고하는 정보)로 받아 적절한 응답을 생성합니다. 예를 들어 “Docker가 무엇인가요?”라는 질문에 개념과 사용법을 설명하는 식입니다. 대부분의 챗봇은 답변 자체가 처리 결과입니다. 외부 시스템의 데이터를 조회하거나 파일을 수정하는 기능이 연결되지 않았다면, 실제 작업 대신 그 방법을 안내하는 수준에 머뭅니다. AI 에이전트의 동작 원리 AI 에이전트는 먼저 사용자의 목표를 해석하고, ...

RAG(Retrieval-Augmented Generation), AI 언어 모델의 지평을 넓히다

AI 언어 모델은 방대한 정보를 학습하지만, 학습 시점 이후의 최신 정보나 특정 분야의 상세 지식에 접근하지 못해 답변에 한계가 있습니다. 이러한 문제를 해결하고 모델이 외부 지식을 참고하게 만드는 핵심 기술이 바로 RAG(Retrieval-Augmented Generation)입니다. RAG는 외부 지식 기반에서 필요한 정보를 '검색'하여 '생성' 능력을 강화하는 방식으로, AI 모델이 더욱 정확하고 신뢰성 높은 답변을 제공하도록 돕습니다. 이 글은 AI 챗봇을 써본 경험이 있다면 충분히 이해할 수 있으며, RAG의 핵심 구성 요소와 작동 원리를 중심으로 설명합니다. 목차 RAG란 무엇인가요? RAG의 핵심 구성 요소 RAG의 작동 원리 RAG의 활용 예시와 주의점 결론 RAG란 무엇인가요? RAG는 AI 언어 모델에 '도서관 사서'를 붙여주는 것과 같습니다. 질문이 들어오면 사서(RAG 시스템)가 관련 서적(외부 데이터)을 찾아 내용을 요약해서 모델에게 전달하고, 모델은 그 정보를 바탕으로 답변합니다. 이 기술은 모델의 학습 이후에 생성된 최신 정보나 특정 도메인의 전문 지식을 외부 데이터 소스를 통해 활용하여 답변의 정확성과 신뢰성을 높입니다. RAG의 핵심 구성 요소 임베딩 (Embedding) 임베딩은 텍스트 문서를 의미 있는 숫자 벡터(vector) 형태로 변환하는 기술입니다. 마치 도서관 사서가 책의 내용을 파악해 주제별로 분류하고 서가에 배치하는 것과 비슷합니다. 단어나 문장 같은 언어 요소를 수치 공간의 한 점으로 표현하여, 의미적으로 유사한 텍스트는 벡터 공간에서 가까운 위치에 있도록 만듭니다. 이를 통해 시스템은 텍스트 사이의 의미적 유사성을 수치적으로 비교할 수 있습니다. 벡터 데이터베이스 (Vector Database) 벡터 데이터베이스는 임베딩된 벡터 데이터를 효율적으로 저장하고, 유사도 기반의 검색을 빠르게 수행할 수 있도록 설계된 특수 데이터베이스입니다. 도서관...

메모장 복구, %AppData% 뒤지지 마세요 — Windows 11은 다른 곳에 있습니다

이미지
먼저 어떤 메모장인지 확인하세요 "메모장 복구"로 검색해서 오시는 분들이 찾는 게 세 가지로 갈립니다. 복구 방법이 완전히 다릅니다. Windows 메모장 (notepad.exe) — 아래 내용 갤럭시 삼성 노트 / 아이폰 메모 — 클라우드 동기화 여부에 따라 다름 Notepad++ — 자체 백업 기능이 별도로 있음 이 글은 Windows 메모장 기준입니다. Windows 11이면 TabState를 먼저 보세요 탭 기능이 들어간 이후의 메모장은 명시적으로 탭을 닫지 않는 한 내용을 캐시에 계속 저장합니다. 강제 종료나 재부팅으로 날아간 경우라면 여기에 남아 있을 가능성이 높습니다. Win + R → AppData 입력 → 확인 Local → Packages → Microsoft.WindowsNotepad_8wekyb3d8bbwe → LocalState → TabState 이 폴더 안의 파일이 열려 있던 탭의 세션 데이터입니다. .bin 형식이라 더블클릭으로 열리지 않고, 텍스트 편집기로 열어도 내용이 온전히 보이지 않을 수 있습니다. 먼저 TabState 폴더를 통째로 다른 곳에 복사해 두십시오. 메모장을 다시 실행하면 이 파일들이 덮어써질 수 있습니다. 복사본을 확보한 뒤 메모장을 실행하면 세션이 자동 복원되는 경우가 대부분입니다. 왜 %AppData%\Roaming에는 없나 검색 결과 상위에 있는 글 대부분이 C:\Users\사용자명\AppData\Roaming 에서 .txt 를 찾으라고 안내합니다. 마이크로소프트 Q&A의 답변에도 그렇게 나옵니다. 그런데 Windows 11 메모장은 스토어 앱 형태라 Roaming이 아니라 Local\Packages 아래에 데이터를 둡니다. Roaming을 아무리 뒤져도 안 나오는 이유가 이겁니다. %AppData% 방법이 통하는 건 예전 데스크톱 버전 메모장이거나, 다른 프로그램이 임시로 만든 txt가 우연히 남아 있는 경...

PASS 모바일신분증 등록 방법, 정부 모바일 운전면허증과 뭐가 다를까

운전면허증을 스마트폰에 넣는 방법은 두 가지입니다. 하나는 정부의 모바일 신분증, 다른 하나는 통신 3사의 PASS 앱입니다. 둘의 가장 큰 차이는 시작 지점 입니다. 정부 모바일 운전면허증은 운전면허시험장에 한 번은 가야 하지만, PASS는 지금 지갑에 있는 면허증 그대로 앱에서 등록됩니다. 재발급도, 방문도 필요 없습니다. 등록 절차 PASS 앱 실행 후 모바일운전면허 확인 버튼 선택 약관 동의와 본인 인증 조명이 직접 비치지 않는 곳에서 운전면허증 촬영 인식된 정보 확인 후 등록 촬영이 잘 안 되면 정보를 직접 입력하는 방법도 있습니다. 이름, 생년월일, 성별, 면허증 유형, 운전면허번호, 적성검사 기간, 발급일, 식별번호를 넣으면 됩니다. 3번에서 실패하는 경우가 많습니다. 형광등이나 창가 직사광이 면허증 표면에 반사되면 인식이 안 됩니다. 그늘진 곳에서 찍는 게 요령입니다. PASS 앱은 통신사별로 나뉘어 있습니다. SKT·KT·LG U+ 각각 자사 PASS 앱을 제공하므로 본인 통신사 앱을 설치하면 됩니다. 법적 효력, 그리고 한 가지 예외 PASS 모바일운전면허 확인서비스는 2020년 6월 과학기술정보통신부 ICT 규제샌드박스 임시허가로 시작했습니다. 임시허가는 2년마다 재승인을 받아야 했는데, 2024년 도로교통법 개정 시행으로 실물 운전면허증과 동일한 효력 을 갖게 되면서 정식 근거가 생겼습니다. 가입자는 1,100만 명을 넘었습니다. "통신사 앱이라 진짜 신분증으로 안 쳐주는 것 아니냐"는 걱정이 많은데, 법적 근거가 있는 서비스입니다. 다만 금융권은 제외 입니다. PASS 공식 안내에 "제시 형태로 사용할 경우 금융권을 제외한 어디서나 실물 운전면허증과 동일하게 사용할 수 있다"고 명시돼 있습니다. 은행 창구처럼 금융기관에서 신분증을 요구하는 상황이라면 실물을 챙겨야 합니다. 어디서 쓸 수 있나 경찰의 운전면허 확인 병의원 건강보험 진료 시 본인확...