7 篇博文 含有标签「NPU」

边缘 AI 的选型逻辑与数据中心完全相反：不看峰值算力，看瓦数、体积、温度与断电恢复。2026 年的边缘盒子市场已经足够成熟，从 15W 到 1000W 都有对应产品，关键是把场景需求映射到正确的梯队。

一、四个梯队的产品地图​

梯队一：NPU 微型机（100 至 500 美元）。 代表是 Jetson Orin Nano Super（约 249 至 499 美元，40 TOPS，7 至 15W）和各类 RK3588 方案（约 6 TOPS NPU，千元人民币以内）。适合跑 3B 以下量化模型、单路至四路视频结构化、轻量目标检测。Orin Nano 能在 4-bit 下运行 7B 模型（约 3.5GB 权重），但带宽所限生成速度仅够"能用"而非"流畅"。

梯队二：性能边缘主机（600 至 2,000 美元）。 Jetson Orin NX（100 TOPS，16GB，约 699 美元）与 AGX Orin（275 TOPS，64GB 统一内存，约 1,999 美元）。AGX Orin 的 64GB 统一内存是亮点：可以容纳 70B 模型的 4-bit 权重加 32K 上下文的 KV cache，是"盒子跑大模型"的实用上限。

梯队三：桌面 GPU 小主机（2,000 至 5,000 美元）。 RTX 5090（32GB，约 900 TOPS INT8，约 2,000 美元）装入准系统，功耗 450W 起。适合需要 30B 级模型 FP16 推理或多路视频流的边缘机房、门店服务器机柜场景。

梯队四：国产工控级（1 万至 5 万元人民币）。 昇腾 Atlas 500 系列智能小站、Atlas 300I Duo 卡加工控机箱的组合，以及算能 BM1684X 方案（约 32 TOPS INT8，功耗典型 25W 左右）。国产方案在政企、电网、交通等有信创要求的场景几乎是默认选项。

场景	关键约束	推荐方案	预算区间	理由
零售门店客流分析	静音、低功耗、断电恢复	Orin Nano 或 RK3588 盒子	1,000 至 4,000 元	检测模型 4 TOPS 内即可，15W 长期运行
工厂单产线质检	环境温度、防尘	AGX Orin 或 Atlas 500	1.5 万至 4 万元	275 TOPS 余量与工业级宽温认证
园区多路视频结构化	并发路数	Atlas 500 加 300I Duo 或 5090 小主机	2 万至 8 万元	单盒承载 16 至 64 路视频流
车载与移动设备	抗震、宽温、体积	Orin NX 加定制外壳	1 万至 2 万元	35W 功耗与成熟供应链
离网大模型问答	显存上限	AGX Orin 64GB	约 1.5 万元	70B Q4 是盒子级上限
信创/政企部署	国产化合规	Atlas 系列、BM1684X	1 万至 5 万元	满足国产化验收要求

二、三个容易忽视的选型维度​

第一是功耗墙。 边缘部署常常没有机房条件，Orin Nano 15W 与 5090 主机 500W 是两个世界：后者需要独立空调甚至专线电路。选型前先确认部署点的供电上限，这往往比预算更早淘汰方案。

第二是软件栈锁定。 Jetson 绑 CUDA 生态、BM1684X 用自家 SDK、昇腾用 CANN。模型迁移成本远高于硬件差价——如果你的检测模型基于 PyTorch 加 TensorRT 训练管线，迁到非 NVIDIA 平台通常要 2 至 6 周的适配工作。新项目建议在立项时就锁定平台。

第三是远程运维能力。 边缘盒子散布在几十个网点后，OTA 升级、远程日志、异常重启是真正的运营成本。采购时确认厂商是否提供设备管理平台（NVIDIA 有 Allxon 等方案，昇腾有 Atlas 管理套件），自建运维队伍的隐性成本常被低估。

三、结尾建议​

边缘 AI 盒子的选型公式可以概括为：算力需求（TOPS）决定梯队，环境约束决定形态，合规要求决定品牌。 90% 的边缘视觉场景，一台 Orin Nano 或 RK3588 就够，别为"可能用得上的大模型"买 AGX Orin；真要跑大模型，先算清楚 70B Q4 加 KV cache 的显存账，再决定是盒子加量化还是退一步用边缘小服务器。采购前务必拿真实业务视频流做两周实测——边缘场景的光照、角度、遮挡差异，会让实验室里 99% 准确率的模型在现场跌到 85%，这个差距要靠数据回灌和模型迭代补，而不是靠换更贵的盒子。

工业质检场景的算力账很好算：一条产线的节拍是每分钟几十到几百件，检测窗口以百毫秒计，硬件必须 7 乘 24 小时在粉尘、油污、高温里稳定运行。这套约束下，"算力够用加皮实耐用"压倒一切性能指标。

一、负载分级：你的质检属于哪一档​

轻量级（单帧检测）：缺陷分类、有无检测、二维码识别，YOLO 系列或 ResNet 级模型，单帧推理 10 至 50 毫秒，算力需求 10 至 40 TOPS。一颗 Orin Nano（40 TOPS）就能支撑单相机产线，国产对应方案是算能 BM1684X（约 32 TOPS INT8）与各类 RK3588 盒子。

中量级（多相机、分割与细粒度缺陷）：表面缺陷分割、装配错漏检测，通常 4 至 8 路相机并发，需要 100 至 275 TOPS。Orin NX 加 AGX Orin 是主流选择；高路数场景直接上工控机插 RTX 4060 Ti 16GB 或 4090。

重量级（大模型质检）：少样本缺陷检测、多模态质检（图像加工艺参数）、自然语言交互的质检报告生成，涉及 7B 至 30B 级 VLM。这类负载单帧推理超过 1 秒，通常部署在车间边缘服务器（双卡 4090 或单卡 A100）上，产线端只做采集与预筛。

产线场景	节拍要求	推荐方案	单点预算	理由
单相机缺陷分类	每件 100 毫秒以上	Orin Nano 或 BM1684X 盒子	2,000 至 6,000 元	40 TOPS 内即可，15 至 25W 低功耗
多相机装配检测	每件 200 毫秒以上	AGX Orin 或工控机加 4060 Ti	1.5 万至 3 万元	16GB 显存承载分割模型与多路流
高速产线全检	每件 50 毫秒以内	工控机加 RTX 4090	3 万至 5 万元	高带宽保障单帧低延迟
车间级多产线汇聚	汇聚 8 条线以上	双卡 4090 边缘服务器或 Atlas 500 加 300I Duo	6 万至 15 万元	集中推理摊薄单线成本
信创/政企产线	合规优先	昇腾 Atlas 系列、BM1684X	1 万至 5 万元	满足国产化验收与宽温认证

二、三个阵营怎么选​

NVIDIA Jetson 阵营：生态最成熟。TensorRT 加 DeepStream 的工具链覆盖了从训练到多路视频流部署的全流程，社区案例海量，招人容易。代价是海外供应链风险——出口管制与价格波动是真实存在的采购变量，2026 年 Orin 系列在部分渠道出现过供货紧张。

国产边缘卡阵营：昇腾 Atlas 与算能方案在信创要求场景几乎是必选项。Atlas 300I Duo 单卡约 2 万至 4 万元，低功耗高密度适合机柜式部署；BM1684X 盒子在视频结构化场景性价比较高。主要成本在软件适配：模型要从 PyTorch 转换到各家工具链，部分自定义算子需要原厂支持，预留 2 至 6 周适配期。

桌面 GPU 阵营：4060 Ti 16GB、4090 加工控机箱的方案性能密度最高，适合部署在有人值守的机房或车间控制室。缺点是工业环境适应性弱（风扇散热、防尘要求高），需要额外做机柜防护，且功耗明显高于嵌入式方案。

三、别忽视的工程账​

第一，检测成本要摊到每件产品上算。 一条年检 500 万件的产线，3 万元的盒子三年摊销每件不到 0.3 分钱，加上电费与运维仍然可忽略——所以工业质检的选型矛盾从来不是硬件贵，而是误检与漏检的平衡：漏检成本是召回，误检成本是人工复检的人力。算力选型要为"多模型集成投票"这类提升精度的方案留出余量，而不是贴着最低 TOPS 选型。

第二，数据回灌通道比算力更重要。 现场光照、角度、来料批次变化会让模型性能衰减，边缘设备必须预留把疑似缺陷样本回传云端的能力。规划上建议"边缘推理加云端迭代"：云端一张训练卡（4090 级即可）支撑月度模型更新，通过 OTA 下发。

第三，宽温与认证别省钱。 产线环境温度 0 至 45 摄氏度以上、粉尘、电磁干扰，消费级设备直接上架的故障率很高。工控级外壳、无风扇设计、宽温认证的溢价（通常多 30% 至 50%）是值得花的。

四、结尾建议​

工业视觉质检的选型公式：先定检测延迟与路数，再定梯队；先看合规要求，再定品牌。 单线轻量检测用盒子（Orin Nano 或 BM1684X），多线汇聚用工控机加桌面 GPU 或 Atlas 方案，大模型质检上边缘服务器。给传统制造企业的最后一条建议：第一个产线项目强烈建议与设备商或集成商合作落地，把算力选型交给做过同类场景的人——工业 AI 的失败案例里，八成不是算法不行，而是工程集成与现场运维没做好。

一个供应着全球大部分 HBM 内存的国家，却长期缺少自己的 AI 芯片设计力量。Rebellions 正试图补上这块拼图——用并购、融资与一条清晰的产品路线。

从合并到独角兽：韩国 AI 芯片业的首次整合​

2024 年 12 月 2 日，Rebellions 与 SK 电信旗下芯片公司 Sapeon Korea 完成合并，这是韩国本土 AI 芯片公司之间的首次整合，合并后实体估值约 1.3 万亿韩元，保留 Rebellions 品牌与管理层，SK 电信与 SK 海力士随之成为战略股东。这次合并让韩国第一次拥有了 AI 芯片独角兽，也把三星、SK 海力士与 Arm 同时拉进了股东名单。

资本层面的推进在 2026 年明显提速。2026 年 3 月 30 日，Rebellions 宣布完成 4 亿美元 Pre-IPO 轮融资，由未来资产金融集团与韩国国家增长基金共同领投，其中国家增长基金出资约 2500 亿韩元，成为该基金成立以来对 AI 芯片的最大单笔直接投资，也是韩国政府打造"K-NVIDIA"战略的核心落子。本轮融资将公司估值推升至约 23.4 亿美元，较 2025 年 9 月 C 轮的 14 亿美元估值上涨近七成，累计融资约 8.5 亿美元。公司已将韩国交易所 IPO 目标锁定在 2026 年底或 2027 年初。

发展节点	时间	关键数据
与 Sapeon Korea 合并完成	2024 年 12 月	合并估值约 1.3 万亿韩元
C 轮融资	2025 年 9 月	2.5 亿美元，估值 14 亿美元
Pre-IPO 轮	2026 年 3 月	4 亿美元，估值 23.4 亿美元
收购 SqueezeBits	2026 年 6 月	补齐推理优化软件能力
IPO 目标	2026 年底至 2027 年初	韩国交易所

产品路线：从 ATOM 到 Rebel100 机架级方案​

Rebellions 的产品线专注推理。第一代 ATOM 基于三星 5 纳米工艺与 GDDR6 显存，2023 年 5 月交付 KT 云并商用，FP16 峰值算力 32 TFLOPS；第二代转向 UCIe 芯粒架构，REBEL-Quad 采用三星 4 纳米工艺并集成 144GB HBM3E 显存，在 Hot Chips 2025 亮相后现已归入 Rebel100 产品体系。公司在 ISSCC 2026 公布的技术细节中声称，该设计能以更低功耗逼近英伟达 H200 的性能表现。

伴随 Pre-IPO 轮融资，公司同步发布了 RebelRack 机架与 RebelPOD 集群级产品，从卖芯片升级为卖整套基础设施。2026 年 6 月 30 日，Rebellions 又宣布收购 AI 推理优化公司 SqueezeBits，后者与英特尔、英伟达均有深度合作，此次收购让 Rebellions 把从硬件、软件优化到推理服务的全栈能力收入囊中。海外扩张同样在推进：日本子公司于 2025 年 2 月设立，沙特阿拉伯子公司于同年 8 月落地，北美业务也已展开。

小结​

Rebellions 的路径揭示了中等体量半导体国家发展 AI 芯片的现实打法：不与英伟达在训练市场正面交锋，而是锁定推理这一确定性最高的负载；用政府基金与产业资本（三星、SK 海力士既是供应商又是股东）构筑护城河；用并购快速补齐软件短板。若 IPO 与 Rebel100 量产如期落地，韩国将在亚洲 AI 推理芯片市场拥有第一个真正意义上的全国产替代选项。

手机 NPU 的峰值算力九年间从 0.6 TOPS 涨到 80 TOPS，但一个 3B 模型在端侧的流畅运行，靠的早已不是 TOPS 数字。当云端推理进入万亿参数时代，端与云的分工边界在哪里，正在被重新谈判。

移动 NPU 的进化与瓶颈​

从 2017 年麒麟 970 与苹果 A11 首次引入移动 NPU，到 2026 年的旗舰平台，端侧 AI 算力完成了百倍跨越：

平台	NPU 算力	主要特点
骁龙 8 Elite Gen 5	约 75 至 80 TOPS	融合 AI 加速器架构，支持 INT2 与 FP8 混合精度
天玑 9500	50 TOPS 以上	强调能效，宣称性能翻倍、功耗降约四成
苹果 A19 Pro	约 38 TOPS	凭借统一内存与 Core ML 优化实现实际竞争力
苹果 A11（2017 年）	0.6 TOPS	移动 NPU 的起点

但 TOPS 从未是真实体验的保证。第三方评测显示，骁龙 8 Elite Gen 5 在运行 8B 量化模型时会因 LPDDR5X 总线带宽（约 85GB/s）饱和而跌到每秒 12 个 tokens 附近——内存带宽而非算力，才是端侧推理的第一瓶颈。峰值 80 TOPS 跑不快一个 8B 模型，这就是移动 AI 的现实：算力年年翻倍，带宽却受制于手机内存的功耗与体积约束，增速远远掉队。

端云分工：三层负载的清晰分层​

2026 年旗舰机型的实践已形成相对稳定的分工范式：

• 端侧必留：唤醒词、拍照语义处理、实时转写、通话翻译等常驻功能——低延迟、离线可用、隐私敏感，且可在微瓦级功耗下待机运行；
• 端侧可选：3B 到 8B 级量化小模型承担的摘要、改写、本地图像生成，牺牲部分质量换取零网络依赖；
• 云端包办：前沿推理模型、视频生成、复杂智能体编排——端侧算力与显存天花板决定了这些负载短期内无可下沉。

三星宣称到 2026 年底将 Galaxy AI 覆盖 8 亿台设备，其策略正是典型的混合路由：个人数据本地处理，复杂推理按需上云。谷歌 Tensor G5 的思路则提供了另一个注脚——它不在原始算力上争第一，而是专为 Gemini Nano 做软硬协同优化，用更低的 TOPS 跑出更好的实际效果。

边界正在向哪里移动​

三个变量将决定端云边界的走向。其一是内存技术：移动内存带宽的持续爬升与更大容量封装的普及，可能把端侧可流畅运行的模型推到 10B 以上；其二是模型效率：蒸馏与量化每前进一代，端侧可承载的能力就上移一档；其三是隐私监管：数据出境与个人信息保护要求趋严，会持续把更多推理"推"回设备内部。综合业界普遍预期，端侧将稳态承接约七成的推理调用次数，但按算力消耗总量计，云端仍将占据绝对大头——调用次数的多，不等于算力的大。

结语：端云不是对手，而是流水线的两站​

把端云关系理解为竞争，是对这场变革最大的误读。手机 NPU 的角色是"常驻的感官与反射"，云端大模型是"按需调用的大脑"，两者通过意图路由与模型分级协同工作。对芯片产业而言，这意味着两端将长期并行增长：云端拼每瓦 tokens，端侧拼每毫安时 tokens——两个优化方向，同样残酷，也同样机会巨大。真正的赢家，是那些把"什么时候在端、什么时候上云"做成无感体验的厂商。

在 AI 芯片的舆论场里，云端训练卡占据九成话题，但真正以百万级数量铺进街道、园区、工厂和交通路口的，是另一类低功耗边缘芯片。算能科技的 BM1684X 就是其中的隐形冠军：它很少出现在发布会头条，却是安防集成商选型清单上的常客。

规格：把"够用"做到极致​

BM1684X 属于算能第四代自研 TPU（张量处理器），基于 Bernoulli 架构，采用台积电 12nm 工艺。它的高度集成是最大特色——一颗 SoC 同时集成 8 核 ARM Cortex-A53 处理器、TPU 计算单元与视频编解码引擎：

参数	BM1684（第三代）	BM1684X（第四代）
发布时间	2019 年	2022 年
INT8 算力	17.6 TOPS	32 TOPS（INT4 可达 64 TOPS）
FP16 算力	未公开	16 TFLOPS
FP32 算力	2.2 TFLOPS	2 TFLOPS
内存	12GB LPDDR4X	6 至 16GB LPDDR4/LPDDR4X
内存带宽	未公开	约 68.3 GB/s（16GB 配置）
整卡/整机功耗	约 16W	满载约 18 至 20W，被动无风扇
视频解码	32 路 1080P	32 路 1080P 25FPS（H.264/H.265）

为什么集成商爱它​

边缘 AI 的交付逻辑与云端完全不同：客户要的不是峰值算力，而是每瓦性能、每路视频成本和开发周期。BM1684X 在这三点上都有硬通货。

首先是视频能力。32 路 1080P 硬解码加上 AI 推理再编码回流的全流程能力，让一台巴掌大的盒子就能完成一个路口的人脸识别、车牌识别与视频结构化，无需额外服务器。其次是功耗与散热：满载不到 20 瓦、被动无风扇设计、支持宽温运行，意味着它可以装在户外机箱里常年免维护。第三是软件成熟度：SOPHON SDK 提供从模型编译到部署的一站式工具链，支持 PyTorch、TensorFlow、ONNX、PaddlePaddle 等主流框架一键转换，Docker 容器化部署让算法上线如同拷贝文件。

值得一提的是，随着开源小模型成熟，BM1684X 还解锁了新玩法：据公开报道，它已可本地运行 LLaMA2、Qwen、ChatGLM、Whisper 等轻量化模型，把边缘盒子从"视频分析器"升级为"本地小脑"。

形态与生态位​

BM1684X 的落地形态极为丰富：既可以是独立运行的边缘计算盒子（SoC 模式），也可以作为 PCIe 加速卡插入边缘服务器（PCIe 模式）。英码、天启等大量方案商基于它推出标准品与行业定制机，覆盖智能安防、智慧交通、智慧工地、智慧零售、工业质检等场景。在其之上，算能还有更低功耗的 BM1688（16 TOPS）承接成本敏感型需求，形成高配与低配的完整梯度。

从公司背景看，算能由比特大陆的 AI 芯片业务发展而来，继承了多年 TPUNB 自研架构积累；据公开报道，其边缘 AI 产品在国内安防市场占有重要份额，前代 BM1684 的累计出货已达相当规模。

小结：边缘市场没有新闻，只有交付​

BM1684X 的故事没有惊心动魄的转折，只有对真实需求的持续打磨：20 瓦功耗、32 路解码、成熟的 SDK、透明的价格。当行业目光都聚焦在云端大芯片的军备竞赛时，正是这类产品在支撑 AI 的最后一公里。对于需要大规模部署视频分析与边缘推理的团队，BM1684X 仍是当下验证最充分、生态最完善的国产选择之一。

AI 加速芯片领域有三大主流架构：GPU、NPU 和 TPU。再加上近年出现的 LPU（语言处理器），很多开发者搞不清它们之间的区别。

本文从架构设计理念、生态成熟度、实际性能表现、部署成本四个维度进行对比。

AI 加速卡市场在 2025 年已经变得前所未有的丰富。从 NVIDIA 的 Blackwell 到华为的昇腾 910B，从 Google 的 TPU v6 到 Groq 的 LPU，开发者面对的选择比以往任何时候都多。

但这既是好事，也是难题——选错了卡，要么多花冤枉钱，要么性能不达标。

本文从实际工作负载出发，帮你梳理选型逻辑。