搜索到
188
篇与
的结果
-
Linux || Docker 部署 llama.cpp 文档(硬件 A100 40G显卡 + 256G ECC内存 + 双路6348 CPU) Docker 部署 llama.cpp 文档(硬件 A100 40G显卡 + 256G ECC内存 + 双路6348 CPU)适用硬件：NVIDIA A100 SXM4 40GB系统：Ubuntu 22.04镜像：ghcr.io/ggml-org/llama.cpp:server-cuda场景：Qwen3.6-35B MoE 超大上下文推理，单人独占优化方案前置条件：服务器全新Ubuntu22.04系统，拥有root/sudo权限；模型GGUF文件提前放置 /home/wangyu/Models/一、宿主机基础环境部署1.1 更新系统软件源sudo apt update && sudo apt upgrade -y1.2 安装A100 NVIDIA数据中心驱动A100仅支持数据中心驱动，推荐595版本，兼容CUDA12.4# 安装内核依赖 sudo apt install linux-headers-$(uname -r) build-essential -y # 添加NVIDIA容器软件源 curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list sudo apt update # 安装驱动 sudo apt install nvidia-driver-595安装完成重启服务器sudo reboot重启后验证驱动：nvidia-smi正常输出A100显卡信息代表驱动部署成功。1.3 安装Docker与NVIDIA容器工具链# 安装docker sudo apt install docker.io -y sudo systemctl enable --now docker sudo usermod -aG docker $USER # 重新登录终端，用户docker组权限生效 # 安装GPU容器透传组件 sudo apt install nvidia-container-toolkit -y # 配置Docker默认GPU运行时 sudo nvidia-ctk runtime configure --runtime=docker sudo systemctl restart dockerGPU透传验证docker run --rm --gpus all nvidia/cuda:12.4-base nvidia-smi命令正常打印A100信息，代表容器可以正常调用显卡。1.4 宿主机内核&GPU调优（推荐执行，提升推理稳定性）作用说明：vm.swappiness=10：降低系统使用swap交换分区积极性，尽量把模型保留在物理内存，避免swap磁盘读写造成推理卡顿；不建议设置0，防止触发系统OOM机制。vm.min_free_kbytes=4194304：强制预留4GB空闲内存，抑制系统突发内存回收引发性能抖动，适配大内存服务器长文本连续推理场景。nvidia-smi -pm 1：开启A100持久模式，驱动常驻GPU不卸载，消除空闲后再次推理的CUDA硬件初始化延迟；重启服务器后失效。临时生效命令：sudo sysctl -w vm.swappiness=10 sudo sysctl -w vm.min_free_kbytes=4194304 sudo nvidia-smi -pm 1永久写入内核配置（重启保留）：echo "vm.swappiness=10" | sudo tee -a /etc/sysctl.conf echo "vm.min_free_kbytes=4194304" | sudo tee -a /etc/sysctl.conf sudo sysctl -p备注：nvidia-smi -pm 1 重启失效，如需永久生效可配置开机自启任务；内存小于64GB服务器建议下调vm.min_free_kbytes。二、Docker启动脚本新建启动脚本 start_llama.sh#!/bin/bash docker rm -f llama-cpp docker run -d \ --gpus all \ --ulimit memlock=-1:-1 \ -p 11534:11534 \ -v /home/wangyu/Models:/models \ --name llama-cpp \ --restart unless-stopped \ ghcr.io/ggml-org/llama.cpp:server-cuda \ -m /models/Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled-APEX-MTP-I-Balanced.gguf \ --port 11534 \ --host 0.0.0.0 \ --n-gpu-layers 99 \ --ctx-size 262144 \ --cache-type-k q4_0 \ --cache-type-v q4_0 \ --batch-size 1024 \ --parallel 1 \ --threads 40 \ --threads-batch 20 \ --load-mode mlock \ --flash-attn on赋予执行权限并启动服务chmod +x start_llama.sh ./start_llama.sh三、基础运维命令# 实时查看运行日志 docker logs -f llama-cpp # 停止服务 docker stop llama-cpp # 重启服务 docker restart llama-cpp # 销毁容器 docker rm -f llama-cpp✅ 启动成功标志：日志输出 server listening on http://0.0.0.0:11534访问地址：http://服务器IP:11534四、全部参数详细解释4.1 Docker容器层参数--gpus all 将宿主机全部NVIDIA显卡透传至容器；可选：--gpus 0 仅使用0号显卡。--ulimit memlock=-1:-1 解除容器内存锁定上限，保证--load-mode mlock正常工作，消除failed to mlock警告；环境不支持该参数时删除此条，同时加载模式切换为none。-p 11534:11534 端口映射，格式：宿主机端口:容器内部端口，用于WebUI与OpenAI兼容API访问。-v /home/wangyu/Models:/models 目录挂载，宿主机模型文件夹映射到容器内/models；模型路径变更时同步修改。--name llama-cpp 自定义容器名称，简化运维操作。--restart unless-stopped 容器重启策略：手动停止容器不会自动重启；服务器意外断电、崩溃自动拉起推理服务。ghcr.io/ggml-org/llama.cpp:server-cuda llama.cpp官方预编译CUDA镜像，提供GPU硬件加速推理后端。4.2 llama.cpp 推理核心参数-m /models/xxx.gguf 指定GGUF模型文件路径，必填参数。--port 11534 服务监听端口，必须与Docker端口映射保持一致。--host 0.0.0.0 网络监听地址0.0.0.0：允许局域网/外部IP访问127.0.0.1：仅本机访问，安全性更高--n-gpu-layers 99 GPU卸载层数，数值大于模型总层数=全部网络层加载至A100显存； 调小参数可将部分网络层放入内存，降低显存占用（代价：推理速度下降）。--ctx-size 262144 上下文窗口大小，单位token；数值越大KV缓存显存占用越高，A100 40GB存在显存上限，显存溢出时按需下调。--cache-type-k q4_0 K键缓存量化方案；可选：f16 / q8_0 / q5_1 / q4_0；q4_0显存占用最低，长上下文场景首选。--cache-type-v q4_0 V值缓存量化方案，建议与K缓存保持一致。--batch-size 1024 Prefill预填充批大小；大批量导入长文本、文档时，更大batch可以提升文本灌入速度。--parallel 1 最大并发会话数量；超大上下文场景，多会话极易耗尽40GB显存，固定1适配单人独占场景。--threads 40 CPU主线程数，用于文本预处理、采样、任务调度；可测试40/48两组线程对比性能。--threads-batch 20 Prefill阶段专用线程池，优化长文本编码速度。--load-mode mlock 模型加载模式，可选值：mmap：内存映射懒加载，启动快，运行中可能触发磁盘缺页卡顿（默认模式）none：一次性完整读取模型，不使用mmap，不尝试锁定内存mlock：一次性完整读取模型，尝试锁定物理内存（本文档使用方案）mmap+mlock：mmap映射 + 锁定内存dio：DirectIO直读磁盘模式容器ulimit不支持锁内存时，切换为none消除警告。--flash-attn on FlashAttention优化开关；可选值：on / off / auto；开启后大幅降低超长上下文KV显存占用，A100环境推荐启用。4.3 可选安全增强参数（公网暴露务必添加）在启动命令末尾追加：--api-key 自定义高强度密钥开启身份校验，WebUI、API请求必须携带密钥，防止算力被他人滥用。4.4 当前镜像不支持参数（禁止添加）--cuda-stream、--pin-mem、--graph-pool、--kv-cache-prealloc加入会触发参数解析错误、容器启动失败，属于新版本主干新增特性，当前官方镜像未内置。五、常见故障排查警告 failed to mlock 方案：保留--ulimit memlock=-1:-1；无法修改ulimit时，--load-mode mlock改为--load-mode none。CUDA out of memory 显存溢出 方案①：下调--ctx-size；方案②：降低--n-gpu-layers，少量网络层放到内存运行。网页无法访问 放行防火墙端口：sudo ufw allow 11534/tcpGPU利用率持续为0 属于正常空闲状态；发送对话请求后，负载会立刻上升。六、性能调优建议线程两组对比测试：threads=40 threads-batch=20 VS threads=48 threads-batch=24，保留token生成速度更高的配置；性能观测指标：长文本灌入看 prompt eval tokens/sec；回答生成看 eval tokens/sec；显存压力大时，优先缩小上下文ctx-size，其次降低GPU卸载层数。 -
-
LabVIEW || LabVIEW 2017~2025 下载链接 LabVIEW 2017~2025下载链接说明：全部为Windows 32位简体中文离线安装包，下载时若弹出人机验证，完成验证后即可正常下载LabVIEW版本（Win32 简体中文）官方下载地址LabVIEW 2025https://download.ni.com/support/nipkg/products/ni-l/ni-labview-2025-x86-zh-cn/25.1/offline/ni-labview-2025-x86-zh-cn_25.1.0_offline.isoLabVIEW 2024https://download.ni.com/support/nipkg/products/ni-l/ni-labview-2024-x86-zh-cn/24.3/offline/ni-labview-2024-x86-zh-cn_24.3.0_offline.isoLabVIEW 2023https://download.ni.com/support/nipkg/products/ni-l/ni-labview-2023-x86-zh-cn/23.1/offline/ni-labview-2023-x86-zh-cn_23.1.0_offline.isoLabVIEW 2022https://download.ni.com/support/nipkg/products/ni-l/ni-labview-2022-x86-zh-cn/22.3/offline/ni-labview-2022-x86-zh-cn_22.3.0_offline.isoLabVIEW 2021https://download.ni.com/support/nipkg/products/ni-l/ni-labview-2021-x86-zh-cn/21.0/offline/ni-labview-2021-x86-zh-cn_21.0.0_offline.isoLabVIEW 2020 SP1https://download.ni.com/support/nipkg/products/ni-l/ni-labview-2020-x86-zh-cn/20.1/offline/ni-labview-2020-x86-zh-cn_20.1.1_offline.isoLabVIEW 2020https://download.ni.com/support/nipkg/products/ni-l/ni-labview-2020-x86-zh-cn/20.0/offline/ni-labview-2020-x86-zh-cn_20.0.0_offline.isoLabVIEW 2019 SP1https://download.ni.com/support/nipkg/products/ni-l/ni-labview-2019-x86-zh-cn/19.1/offline/ni-labview-2019-x86-zh-cn_19.1.2_offline.isoLabVIEW 2019https://download.ni.com/support/nipkg/products/ni-l/ni-labview-2019-x86-zh-cn/19.0/offline/ni-labview-2019-x86-zh-cn_19.0.2_offline.isoLabVIEW 2018 SP1https://download.ni.com/support/softlib/labview/labview_development_system/2018%20SP1/f0/2018SP1LV-WinChn.zipLabVIEW 2018 原版https://download.ni.com/support/softlib/labview/labview_development_system/2018/2018LV-WinEng.zipLabVIEW 2017 SP1https://download.ni.com/support/softlib/labview/labview_development_system/2017%20SP1/2017sp1LV-WinChn_VIPMfix.zip补充提示你的项目匹配版本：LabVIEW 2018 SP1，对应上表链接为完整整合压缩包，可直接安装无需先装原版2018；文件格式区分：2021及更新版本为.iso镜像文件，2017、2018版本为.zip压缩包；本表仅收录32位简体中文安装包，你的项目依赖LabSQL数据库控件，64位LabVIEW无法兼容使用；所有链接均为NI官方download.ni.com源，下载中断可复制链接至多线程下载工具加速。
-
Claude Code | 更换魔塔社区API 1.需要提前安装 node ，推荐使用 nvm 进行安装 nodewindows 安装 nvm 查看教程：https://blog.1okk.com/archives/131.htmllinux 安装 nvm 查看教程：https://blog.1okk.com/archives/131.htmlmacos 安装 nvm 查看教程：https://blog.1okk.com/archives/131.html2.安装 ClaudeCodeCLI 和 ClaudeCodeRouter ：安装 ClaudeCodeCLI：npm i -g @anthropic-ai/claude-code安装 ClaudeCodeRouter ：npm i -g @musistudio/claude-code-router3.配置 ClaudeCodeRouter ：配置文件路径：C:\Users\<用户名>\.claude-code-router\config.json如果配置文件不存在，先执行一次ccr start就会生成魔塔社区参照如下配置文件填写，自行获取魔塔社区 apikey，替换下文 api_key 字段。{ "LOG": false, "OPENAI_API_KEY": "", "OPENAI_BASE_URL": "", "OPENAI_MODEL": "", "Providers": [ { "name": "modelscope", "api_base_url": "https://api-inference.modelscope.cn/v1/chat/completions", "api_key": "your-api-key这里是你自己的key", "models": ["Qwen/Qwen3-Coder-480B-A35B-Instruct", "Qwen/Qwen3-235B-A22B-Thinking-2507"], "transformer": { "use": [ [ "maxtoken", { "max_tokens": 65536 } ], "enhancetool" ], "Qwen/Qwen3-235B-A22B-Thinking-2507": { "use": ["reasoning"] } } } ], "Router": { "default": "modelscope,Qwen/Qwen3-Coder-480B-A35B-Instruct", "background": "modelscope,Qwen/Qwen3-Coder-480B-A35B-Instruct", "think": "modelscope,Qwen/Qwen3-235B-A22B-Thinking-2507", "longContext": "modelscope,Qwen/Qwen3-Coder-480B-A35B-Instruct", "longContextThreshold": 60000, "webSearch": "gemini,gemini-2.5-flash" } }4.运行ccr start,初始化配置并启动服务5.运行 claude，不再使用 claude 换成 ccr code 启动。
-
