7 posts tagged with "NPU"

边缘 AI 的选型逻辑与数据中心完全相反：不看峰值算力，看瓦数、体积、温度与断电恢复。2026 年的边缘盒子市场已经足够成熟，从 15W 到 1000W 都有对应产品，关键是把场景需求映射到正确的梯队。

一、四个梯队的产品地图​

梯队一：NPU 微型机（100 至 500 美元）。 代表是 Jetson Orin Nano Super（约 249 至 499 美元，40 TOPS，7 至 15W）和各类 RK3588 方案（约 6 TOPS NPU，千元人民币以内）。适合跑 3B 以下量化模型、单路至四路视频结构化、轻量目标检测。Orin Nano 能在 4-bit 下运行 7B 模型（约 3.5GB 权重），但带宽所限生成速度仅够"能用"而非"流畅"。

梯队二：性能边缘主机（600 至 2,000 美元）。 Jetson Orin NX（100 TOPS，16GB，约 699 美元）与 AGX Orin（275 TOPS，64GB 统一内存，约 1,999 美元）。AGX Orin 的 64GB 统一内存是亮点：可以容纳 70B 模型的 4-bit 权重加 32K 上下文的 KV cache，是"盒子跑大模型"的实用上限。

梯队三：桌面 GPU 小主机（2,000 至 5,000 美元）。 RTX 5090（32GB，约 900 TOPS INT8，约 2,000 美元）装入准系统，功耗 450W 起。适合需要 30B 级模型 FP16 推理或多路视频流的边缘机房、门店服务器机柜场景。

梯队四：国产工控级（1 万至 5 万元人民币）。 昇腾 Atlas 500 系列智能小站、Atlas 300I Duo 卡加工控机箱的组合，以及算能 BM1684X 方案（约 32 TOPS INT8，功耗典型 25W 左右）。国产方案在政企、电网、交通等有信创要求的场景几乎是默认选项。

场景	关键约束	推荐方案	预算区间	理由
零售门店客流分析	静音、低功耗、断电恢复	Orin Nano 或 RK3588 盒子	1,000 至 4,000 元	检测模型 4 TOPS 内即可，15W 长期运行
工厂单产线质检	环境温度、防尘	AGX Orin 或 Atlas 500	1.5 万至 4 万元	275 TOPS 余量与工业级宽温认证
园区多路视频结构化	并发路数	Atlas 500 加 300I Duo 或 5090 小主机	2 万至 8 万元	单盒承载 16 至 64 路视频流
车载与移动设备	抗震、宽温、体积	Orin NX 加定制外壳	1 万至 2 万元	35W 功耗与成熟供应链
离网大模型问答	显存上限	AGX Orin 64GB	约 1.5 万元	70B Q4 是盒子级上限
信创/政企部署	国产化合规	Atlas 系列、BM1684X	1 万至 5 万元	满足国产化验收要求

二、三个容易忽视的选型维度​

第一是功耗墙。 边缘部署常常没有机房条件，Orin Nano 15W 与 5090 主机 500W 是两个世界：后者需要独立空调甚至专线电路。选型前先确认部署点的供电上限，这往往比预算更早淘汰方案。

第二是软件栈锁定。 Jetson 绑 CUDA 生态、BM1684X 用自家 SDK、昇腾用 CANN。模型迁移成本远高于硬件差价——如果你的检测模型基于 PyTorch 加 TensorRT 训练管线，迁到非 NVIDIA 平台通常要 2 至 6 周的适配工作。新项目建议在立项时就锁定平台。

第三是远程运维能力。 边缘盒子散布在几十个网点后，OTA 升级、远程日志、异常重启是真正的运营成本。采购时确认厂商是否提供设备管理平台（NVIDIA 有 Allxon 等方案，昇腾有 Atlas 管理套件），自建运维队伍的隐性成本常被低估。

三、结尾建议​

边缘 AI 盒子的选型公式可以概括为：算力需求（TOPS）决定梯队，环境约束决定形态，合规要求决定品牌。 90% 的边缘视觉场景，一台 Orin Nano 或 RK3588 就够，别为"可能用得上的大模型"买 AGX Orin；真要跑大模型，先算清楚 70B Q4 加 KV cache 的显存账，再决定是盒子加量化还是退一步用边缘小服务器。采购前务必拿真实业务视频流做两周实测——边缘场景的光照、角度、遮挡差异，会让实验室里 99% 准确率的模型在现场跌到 85%，这个差距要靠数据回灌和模型迭代补，而不是靠换更贵的盒子。

工业质检场景的算力账很好算：一条产线的节拍是每分钟几十到几百件，检测窗口以百毫秒计，硬件必须 7 乘 24 小时在粉尘、油污、高温里稳定运行。这套约束下，"算力够用加皮实耐用"压倒一切性能指标。

一、负载分级：你的质检属于哪一档​

轻量级（单帧检测）：缺陷分类、有无检测、二维码识别，YOLO 系列或 ResNet 级模型，单帧推理 10 至 50 毫秒，算力需求 10 至 40 TOPS。一颗 Orin Nano（40 TOPS）就能支撑单相机产线，国产对应方案是算能 BM1684X（约 32 TOPS INT8）与各类 RK3588 盒子。

中量级（多相机、分割与细粒度缺陷）：表面缺陷分割、装配错漏检测，通常 4 至 8 路相机并发，需要 100 至 275 TOPS。Orin NX 加 AGX Orin 是主流选择；高路数场景直接上工控机插 RTX 4060 Ti 16GB 或 4090。

重量级（大模型质检）：少样本缺陷检测、多模态质检（图像加工艺参数）、自然语言交互的质检报告生成，涉及 7B 至 30B 级 VLM。这类负载单帧推理超过 1 秒，通常部署在车间边缘服务器（双卡 4090 或单卡 A100）上，产线端只做采集与预筛。

产线场景	节拍要求	推荐方案	单点预算	理由
单相机缺陷分类	每件 100 毫秒以上	Orin Nano 或 BM1684X 盒子	2,000 至 6,000 元	40 TOPS 内即可，15 至 25W 低功耗
多相机装配检测	每件 200 毫秒以上	AGX Orin 或工控机加 4060 Ti	1.5 万至 3 万元	16GB 显存承载分割模型与多路流
高速产线全检	每件 50 毫秒以内	工控机加 RTX 4090	3 万至 5 万元	高带宽保障单帧低延迟
车间级多产线汇聚	汇聚 8 条线以上	双卡 4090 边缘服务器或 Atlas 500 加 300I Duo	6 万至 15 万元	集中推理摊薄单线成本
信创/政企产线	合规优先	昇腾 Atlas 系列、BM1684X	1 万至 5 万元	满足国产化验收与宽温认证

二、三个阵营怎么选​

NVIDIA Jetson 阵营：生态最成熟。TensorRT 加 DeepStream 的工具链覆盖了从训练到多路视频流部署的全流程，社区案例海量，招人容易。代价是海外供应链风险——出口管制与价格波动是真实存在的采购变量，2026 年 Orin 系列在部分渠道出现过供货紧张。

国产边缘卡阵营：昇腾 Atlas 与算能方案在信创要求场景几乎是必选项。Atlas 300I Duo 单卡约 2 万至 4 万元，低功耗高密度适合机柜式部署；BM1684X 盒子在视频结构化场景性价比较高。主要成本在软件适配：模型要从 PyTorch 转换到各家工具链，部分自定义算子需要原厂支持，预留 2 至 6 周适配期。

桌面 GPU 阵营：4060 Ti 16GB、4090 加工控机箱的方案性能密度最高，适合部署在有人值守的机房或车间控制室。缺点是工业环境适应性弱（风扇散热、防尘要求高），需要额外做机柜防护，且功耗明显高于嵌入式方案。

三、别忽视的工程账​

第一，检测成本要摊到每件产品上算。 一条年检 500 万件的产线，3 万元的盒子三年摊销每件不到 0.3 分钱，加上电费与运维仍然可忽略——所以工业质检的选型矛盾从来不是硬件贵，而是误检与漏检的平衡：漏检成本是召回，误检成本是人工复检的人力。算力选型要为"多模型集成投票"这类提升精度的方案留出余量，而不是贴着最低 TOPS 选型。

第二，数据回灌通道比算力更重要。 现场光照、角度、来料批次变化会让模型性能衰减，边缘设备必须预留把疑似缺陷样本回传云端的能力。规划上建议"边缘推理加云端迭代"：云端一张训练卡（4090 级即可）支撑月度模型更新，通过 OTA 下发。

第三，宽温与认证别省钱。 产线环境温度 0 至 45 摄氏度以上、粉尘、电磁干扰，消费级设备直接上架的故障率很高。工控级外壳、无风扇设计、宽温认证的溢价（通常多 30% 至 50%）是值得花的。

四、结尾建议​

工业视觉质检的选型公式：先定检测延迟与路数，再定梯队；先看合规要求，再定品牌。 单线轻量检测用盒子（Orin Nano 或 BM1684X），多线汇聚用工控机加桌面 GPU 或 Atlas 方案，大模型质检上边缘服务器。给传统制造企业的最后一条建议：第一个产线项目强烈建议与设备商或集成商合作落地，把算力选型交给做过同类场景的人——工业 AI 的失败案例里，八成不是算法不行，而是工程集成与现场运维没做好。

一个供应着全球大部分 HBM 内存的国家，却长期缺少自己的 AI 芯片设计力量。Rebellions 正试图补上这块拼图——用并购、融资与一条清晰的产品路线。

从合并到独角兽：韩国 AI 芯片业的首次整合​

2024 年 12 月 2 日，Rebellions 与 SK 电信旗下芯片公司 Sapeon Korea 完成合并，这是韩国本土 AI 芯片公司之间的首次整合，合并后实体估值约 1.3 万亿韩元，保留 Rebellions 品牌与管理层，SK 电信与 SK 海力士随之成为战略股东。这次合并让韩国第一次拥有了 AI 芯片独角兽，也把三星、SK 海力士与 Arm 同时拉进了股东名单。

资本层面的推进在 2026 年明显提速。2026 年 3 月 30 日，Rebellions 宣布完成 4 亿美元 Pre-IPO 轮融资，由未来资产金融集团与韩国国家增长基金共同领投，其中国家增长基金出资约 2500 亿韩元，成为该基金成立以来对 AI 芯片的最大单笔直接投资，也是韩国政府打造"K-NVIDIA"战略的核心落子。本轮融资将公司估值推升至约 23.4 亿美元，较 2025 年 9 月 C 轮的 14 亿美元估值上涨近七成，累计融资约 8.5 亿美元。公司已将韩国交易所 IPO 目标锁定在 2026 年底或 2027 年初。

发展节点	时间	关键数据
与 Sapeon Korea 合并完成	2024 年 12 月	合并估值约 1.3 万亿韩元
C 轮融资	2025 年 9 月	2.5 亿美元，估值 14 亿美元
Pre-IPO 轮	2026 年 3 月	4 亿美元，估值 23.4 亿美元
收购 SqueezeBits	2026 年 6 月	补齐推理优化软件能力
IPO 目标	2026 年底至 2027 年初	韩国交易所

产品路线：从 ATOM 到 Rebel100 机架级方案​

Rebellions 的产品线专注推理。第一代 ATOM 基于三星 5 纳米工艺与 GDDR6 显存，2023 年 5 月交付 KT 云并商用，FP16 峰值算力 32 TFLOPS；第二代转向 UCIe 芯粒架构，REBEL-Quad 采用三星 4 纳米工艺并集成 144GB HBM3E 显存，在 Hot Chips 2025 亮相后现已归入 Rebel100 产品体系。公司在 ISSCC 2026 公布的技术细节中声称，该设计能以更低功耗逼近英伟达 H200 的性能表现。

伴随 Pre-IPO 轮融资，公司同步发布了 RebelRack 机架与 RebelPOD 集群级产品，从卖芯片升级为卖整套基础设施。2026 年 6 月 30 日，Rebellions 又宣布收购 AI 推理优化公司 SqueezeBits，后者与英特尔、英伟达均有深度合作，此次收购让 Rebellions 把从硬件、软件优化到推理服务的全栈能力收入囊中。海外扩张同样在推进：日本子公司于 2025 年 2 月设立，沙特阿拉伯子公司于同年 8 月落地，北美业务也已展开。

小结​

Rebellions 的路径揭示了中等体量半导体国家发展 AI 芯片的现实打法：不与英伟达在训练市场正面交锋，而是锁定推理这一确定性最高的负载；用政府基金与产业资本（三星、SK 海力士既是供应商又是股东）构筑护城河；用并购快速补齐软件短板。若 IPO 与 Rebel100 量产如期落地，韩国将在亚洲 AI 推理芯片市场拥有第一个真正意义上的全国产替代选项。

手机 NPU 的峰值算力九年间从 0.6 TOPS 涨到 80 TOPS，但一个 3B 模型在端侧的流畅运行，靠的早已不是 TOPS 数字。当云端推理进入万亿参数时代，端与云的分工边界在哪里，正在被重新谈判。

移动 NPU 的进化与瓶颈​

从 2017 年麒麟 970 与苹果 A11 首次引入移动 NPU，到 2026 年的旗舰平台，端侧 AI 算力完成了百倍跨越：

平台	NPU 算力	主要特点
骁龙 8 Elite Gen 5	约 75 至 80 TOPS	融合 AI 加速器架构，支持 INT2 与 FP8 混合精度
天玑 9500	50 TOPS 以上	强调能效，宣称性能翻倍、功耗降约四成
苹果 A19 Pro	约 38 TOPS	凭借统一内存与 Core ML 优化实现实际竞争力
苹果 A11（2017 年）	0.6 TOPS	移动 NPU 的起点

但 TOPS 从未是真实体验的保证。第三方评测显示，骁龙 8 Elite Gen 5 在运行 8B 量化模型时会因 LPDDR5X 总线带宽（约 85GB/s）饱和而跌到每秒 12 个 tokens 附近——内存带宽而非算力，才是端侧推理的第一瓶颈。峰值 80 TOPS 跑不快一个 8B 模型，这就是移动 AI 的现实：算力年年翻倍，带宽却受制于手机内存的功耗与体积约束，增速远远掉队。

端云分工：三层负载的清晰分层​

2026 年旗舰机型的实践已形成相对稳定的分工范式：

• 端侧必留：唤醒词、拍照语义处理、实时转写、通话翻译等常驻功能——低延迟、离线可用、隐私敏感，且可在微瓦级功耗下待机运行；
• 端侧可选：3B 到 8B 级量化小模型承担的摘要、改写、本地图像生成，牺牲部分质量换取零网络依赖；
• 云端包办：前沿推理模型、视频生成、复杂智能体编排——端侧算力与显存天花板决定了这些负载短期内无可下沉。

三星宣称到 2026 年底将 Galaxy AI 覆盖 8 亿台设备，其策略正是典型的混合路由：个人数据本地处理，复杂推理按需上云。谷歌 Tensor G5 的思路则提供了另一个注脚——它不在原始算力上争第一，而是专为 Gemini Nano 做软硬协同优化，用更低的 TOPS 跑出更好的实际效果。

边界正在向哪里移动​

三个变量将决定端云边界的走向。其一是内存技术：移动内存带宽的持续爬升与更大容量封装的普及，可能把端侧可流畅运行的模型推到 10B 以上；其二是模型效率：蒸馏与量化每前进一代，端侧可承载的能力就上移一档；其三是隐私监管：数据出境与个人信息保护要求趋严，会持续把更多推理"推"回设备内部。综合业界普遍预期，端侧将稳态承接约七成的推理调用次数，但按算力消耗总量计，云端仍将占据绝对大头——调用次数的多，不等于算力的大。

结语：端云不是对手，而是流水线的两站​

把端云关系理解为竞争，是对这场变革最大的误读。手机 NPU 的角色是"常驻的感官与反射"，云端大模型是"按需调用的大脑"，两者通过意图路由与模型分级协同工作。对芯片产业而言，这意味着两端将长期并行增长：云端拼每瓦 tokens，端侧拼每毫安时 tokens——两个优化方向，同样残酷，也同样机会巨大。真正的赢家，是那些把"什么时候在端、什么时候上云"做成无感体验的厂商。

在 AI 芯片的舆论场里，云端训练卡占据九成话题，但真正以百万级数量铺进街道、园区、工厂和交通路口的，是另一类低功耗边缘芯片。算能科技的 BM1684X 就是其中的隐形冠军：它很少出现在发布会头条，却是安防集成商选型清单上的常客。

规格：把"够用"做到极致​

BM1684X 属于算能第四代自研 TPU（张量处理器），基于 Bernoulli 架构，采用台积电 12nm 工艺。它的高度集成是最大特色——一颗 SoC 同时集成 8 核 ARM Cortex-A53 处理器、TPU 计算单元与视频编解码引擎：

参数	BM1684（第三代）	BM1684X（第四代）
发布时间	2019 年	2022 年
INT8 算力	17.6 TOPS	32 TOPS（INT4 可达 64 TOPS）
FP16 算力	未公开	16 TFLOPS
FP32 算力	2.2 TFLOPS	2 TFLOPS
内存	12GB LPDDR4X	6 至 16GB LPDDR4/LPDDR4X
内存带宽	未公开	约 68.3 GB/s（16GB 配置）
整卡/整机功耗	约 16W	满载约 18 至 20W，被动无风扇
视频解码	32 路 1080P	32 路 1080P 25FPS（H.264/H.265）

为什么集成商爱它​

边缘 AI 的交付逻辑与云端完全不同：客户要的不是峰值算力，而是每瓦性能、每路视频成本和开发周期。BM1684X 在这三点上都有硬通货。

首先是视频能力。32 路 1080P 硬解码加上 AI 推理再编码回流的全流程能力，让一台巴掌大的盒子就能完成一个路口的人脸识别、车牌识别与视频结构化，无需额外服务器。其次是功耗与散热：满载不到 20 瓦、被动无风扇设计、支持宽温运行，意味着它可以装在户外机箱里常年免维护。第三是软件成熟度：SOPHON SDK 提供从模型编译到部署的一站式工具链，支持 PyTorch、TensorFlow、ONNX、PaddlePaddle 等主流框架一键转换，Docker 容器化部署让算法上线如同拷贝文件。

值得一提的是，随着开源小模型成熟，BM1684X 还解锁了新玩法：据公开报道，它已可本地运行 LLaMA2、Qwen、ChatGLM、Whisper 等轻量化模型，把边缘盒子从"视频分析器"升级为"本地小脑"。

形态与生态位​

BM1684X 的落地形态极为丰富：既可以是独立运行的边缘计算盒子（SoC 模式），也可以作为 PCIe 加速卡插入边缘服务器（PCIe 模式）。英码、天启等大量方案商基于它推出标准品与行业定制机，覆盖智能安防、智慧交通、智慧工地、智慧零售、工业质检等场景。在其之上，算能还有更低功耗的 BM1688（16 TOPS）承接成本敏感型需求，形成高配与低配的完整梯度。

从公司背景看，算能由比特大陆的 AI 芯片业务发展而来，继承了多年 TPUNB 自研架构积累；据公开报道，其边缘 AI 产品在国内安防市场占有重要份额，前代 BM1684 的累计出货已达相当规模。

小结：边缘市场没有新闻，只有交付​

BM1684X 的故事没有惊心动魄的转折，只有对真实需求的持续打磨：20 瓦功耗、32 路解码、成熟的 SDK、透明的价格。当行业目光都聚焦在云端大芯片的军备竞赛时，正是这类产品在支撑 AI 的最后一公里。对于需要大规模部署视频分析与边缘推理的团队，BM1684X 仍是当下验证最充分、生态最完善的国产选择之一。

The AI accelerator chip space has three major mainstream architectures: GPU, NPU, and TPU. Add the recently emerging LPU (Language Processing Unit), and many developers find it hard to tell them apart.

This article compares them across four dimensions: architectural design philosophy, ecosystem maturity, real-world performance, and deployment cost.

In 2025, the AI accelerator market has become unprecedentedly rich. From NVIDIA's Blackwell to Huawei Ascend 910B, from Google TPU v6 to Groq LPU, developers face more choices than ever before.

But this is both a blessing and a challenge — picking the wrong card means either wasting money or falling short on performance.

This article helps you sort out the selection logic starting from actual workloads.