岗位分支 · 国产化

CUDA → CANN
├── cudaMalloc → aclrtMalloc
├── cudaFree → aclrtFree
├── cudaMemcpy → aclrtMemcpy
├── cudaLaunchKernel → aclrtLaunchKernel
└── cudaStream → aclrtStream

NCCL → HCCL
├── ncclAllReduce → hcclAllReduce
├── ncclBroadcast → hcclBroadcast
├── ncclSend → hcclSend
└── ncclRecv → hcclRecv

# DeepSeek-V4 昇腾推理
vllm serve deepseek-ai/DeepSeek-V4 \
  --tensor-parallel-size 8 \
  --trust-remote-code \
  --device npu

# MindIE（华为官方推理引擎）
# 2026 全面支持 vLLM/SGLang 接口
# 0day 首发主流模型（DeepSeek-V4/Qwen3.6 等）

# SGLang 的昇腾适配（2026 新增）
python -m sglang.launch_server \
    --model-path /models/DeepSeek-V4 \
    --device npu \
    --tp-size 8

1. 算子兼容性检查 → 确认所有算子有国产对等实现
2. 框架适配 → PyTorch + torch_npu（或 MindSpore）
3. 通信适配 → NCCL → HCCL 环境变量映射
4. 精度验证 → 同一批 prompt 对比输出
5. 性能调优 → Profiling → 瓶颈优化 → 迭代

Step 1: 环境准备
├── 安装 CANN Toolkit（昇腾驱动 + 开发库）
├── 安装 torch_npu（PyTorch 昇腾适配）
└── 配置 HCCL 环境变量

Step 2: 模型加载验证
├── from transformers import AutoModel
├── model = AutoModel.from_pretrained(..., device_map="npu")
└── 单 prompt 推理验证输出正确

Step 3: 分布式验证
├── torchrun --nproc_per_node=8 train.py
├── 验证 HCCL 通信正常
└── 验证多卡一致性

Step 4: 性能调优
├── Profiling（msprof 工具）
├── 定位瓶颈算子
└── kernel 优化或算子替换

Step 5: 生产部署
├── vllm-ascend 或 MindIE 部署
├── 监控接入（DCGM → 昇腾 msnpureport）
└── 灰度上线

统一 API（OpenAI Compatible）
    ↓
多芯路由层（按模型可用性 + 成本路由）
    ├─ 英伟达 GPU 池（vLLM）
    └─ 昇腾 NPU 池（vllm-ascend）

基础（必备）
├── CUDA/NCCL 经验（迁移基础）
├── PyTorch 深入
├── Linux / Docker
└── K8s（异构集群调度）

昇腾专项
├── CANN Toolkit（计算框架）
├── HCCL（集合通信）
├── torch_npu（PyTorch 适配）
├── MindIE（推理引擎）
├── MindSpeed（训练加速）
└── msprof（性能分析）

推理部署
├── vllm-ascend（vLLM 昇腾版）
├── MindIE（华为官方引擎）
├── SGLang 昇腾适配
└── 多芯路由层

迁移与适配
├── 算子兼容性检查
├── 精度对齐测试
├── 性能 Profiling
└── 自定义算子开发

其他国产芯片（加分）
├── 海光 DCU（ROCm 兼容）
├── 昆仑芯（XPU SDK）
├── 燧原（TopsRider）
└── 多芯混部

1. 先掌握 CUDA/NCCL 基础（英伟达经验是迁移前提）
2. 再学昇腾栈：CANN / HCCL / torch_npu / MindIE
3. 然后实践迁移：选一个模型从 GPU 迁到昇腾
4. 最后学多芯混部：统一 API + 多芯路由
5. 加分：其他国产芯片（海光/昆仑/燧原）、自定义算子开发

大模型国产化推理平台建设，实现英伟达 → 昇腾自主闭环：
- DeepSeek-V4 / Qwen3.6 在昇腾 950PR 上的推理部署（vllm-ascend + MindIE）
- 模型迁移：算子兼容性检查 + 精度对齐 + 性能调优，迁移后性能达英伟达 80%
- HCCL 多卡分布式推理（TP=8），AllReduce 带宽利用率 75%
- 多芯混部：英伟达 + 昇腾统一路由，按成本和可用性智能调度
- FP4 量化（昇腾 950PR 原生），显存减半，吞吐提升 1.8x