저는 로컬AI 를 사용하고 있습니다.

DGX SPARK 두대에 CX7 로 연결해서 로컬 LLM 을 운영하고 있습니다.

현재 딥싱크 V4.1 플래쉬를 주력으로 쓰고 있습니다.

모델은 Mia-AiLab/DeepSeek-V4.1-Flash-1017-EXL3-EAQ-v1-2.9-bpw 이고,
서빙엔진은 https://github.com/MiaAI-Lab/DeepSeek-v4.1-Flash-1017-2x-DGX-Sparks 를 사용하고 있습니다.

챗지피티나 클로드 보다는 약간 부족 하지만, 일반적인 코딩 업무용으로는 일반 직원을 채용하는것보다 실력이 좋습니다.

한대 더 추가 하고 싶지만, 여력이 안되고.. 가장 효율적인 구성 두대로 넉넉히 사용하고 있어요.

리눅스 방식이라서 처음에는 셋팅이 힘들었지만, 이제는 익숙해져서 근방 처리 합니다.

이 사이트도 직접 로컬AI 로 만들고 관리하고 운영하고 있습니다.

로컬 AI 운영에 자유롭게 글을 나누었으면 좋겠습니다.