로컬 LLM 뉴스
키워드 로컬 LLM 결과입니다.
-
새 소식
로컬 LLM, 권장된 샘플링 대신 temp 0으로 실행해도 되나? ( 한국어 문서 RAG 320문항 재측정)
한국어 문서 RAG 성능 측정을 위해 Qwen3.8과 Nanbeige4.3 모델을 대상으로 샘플링 온도 및 출력 한도 변화에 따른 재측정을 진행했습니다. 실험 결과 온도를 높여도 성능 변화는 미미했으나 출력 한도 확대가 결과에 영향을 미쳤으며, 리더보드에 권장 샘플링 칸을 추가하고 재현 파일을 공개했습니다.
로컬 LLMRAGQwen3.8Nanbeige4.3샘플링 온도 -
새 소식
로컬 LLM 4종과 Claude 2종에 도구 호출 과제 100개를 5번씩 시켜 봤습니다
RTX 3090을 활용해 로컬 LLM 4종과 Claude 2종의 도구 호출 성능을 BFCL v4 과제 100개를 통해 비교 분석했습니다. 모델별 성공률과 과제 유형별 강점이 다르게 나타났으며, 실행 스크립트와 상세 기록을 모두 공개했습니다.
로컬 LLMClaude도구 호출 -
지난 소식
Show GN: GeulPU – 배치·캐시·GPU가 달라도 비트까지 같은 답을 내는 로컬 LLM 엔진
GeulPU는 배치 크기나 GPU 종류에 관계없이 비트 단위까지 동일한 결과를 출력하는 로컬 LLM 추론 엔진입니다. 정수 연산과 고정된 반올림 규칙을 통해 실험의 재현성을 보장하며, llama.cpp와 유사한 속도로 동작합니다.
GeulPU로컬 LLM재현성추론 엔진 -
지난 소식
Show GN: FiTuna - llama.cpp 양자화·GPU 오프로드 설정을 추정이 아닌 실측으로 찾는 CLI
충남대 학부생이 개발한 FiTuna는 로컬 LLM을 llama.cpp로 구동할 때 양자화 레벨, GPU 오프로드, 컨텍스트 길이를 추정이 아닌 실측을 통해 최적의 설정값으로 찾아주는 CLI 도구입니다. 모델 파일과 목표 성능을 입력하면 실제 측정과 이진 탐색을 거쳐 기기에 가장 적합한 가벼운 설정을 도출합니다.
FiTunallama.cpp로컬 LLM -
새 소식
Unsloth Desktop - 로컬 AI 모델 실행/학습/에이전트를 하나로 묶은 오픈소스 앱
Unsloth가 로컬 AI 모델의 실행, 학습, 에이전트 기능을 통합한 오픈소스 데스크톱 앱 'Unsloth Desktop'을 출시했다. 이 앱은 다양한 모델 포맷과 크로스플랫폼을 지원하며, 빠른 파인튜닝과 샌드박스 실행, 오프라인 구동 등의 기능을 제공한다.
AnthropicNvidia로컬 LLM에이전트클라우드 -
새 소식
Mac GPU(MPS) 한 줄로 3.5배, Local LLM 파이프라인을 8분에서 4분으로
로컬 LLM 기반 자동 영상 편집 파이프라인의 처리 시간을 8분에서 4분으로 단축하는 최적화 사례를 소개합니다. 멀티스레딩보다는 Mac GPU(MPS) 활용과 직렬 구조 개선 등 자원 효율성을 극대화하여 성능을 높였으며, 결과의 동일성 검증을 통해 최적화의 정확성을 확보했습니다.
로컬 LLM파이프라인 최적화Mac GPU(MPS) -
아직 공개된 뉴스가 없습니다.
새 기사가 준비되는 대로 이곳에 표시됩니다.