Edge Benchmark · 2026Q3

Jetson 边缘推理性能基准报告

覆盖 Jetson Orin Nano / NX / AGX Thor 路径,对照 genie-ai-runtime、llama.cpp、TensorRT-LLM 在 Prefill、Decode、TTFT 等指标上的示意表现,服务硬件选型与 Runtime 选型。

发布:2026-07 发布方:Chainfir 性质:示意 · 非 SLA
邮件索取完整报告 产品与试用

一句话结论(可引用)

在 Jetson 统一内存与有限功耗预算下,端侧 LLM 选型应先写清机型、并存进程、模型与量化、Prefill/Decode/TTFT 分列 KPI;任何吞吐或时延数字仅在约定条件下复测后进入 SOW,公网不挂载跑分表。

Define SKU, co-resident workload, and split Prefill/Decode/TTFT KPIs first—publish no public score tables.

测试范围(方法摘要 · 无具体分数)

平台关注点
Orin Nano 8GB紧内存 · Prefill / Cold TTFT
Orin NX 16GB边缘对话与视觉辅助常见档
AGX Thor 64GB更高算力边缘节点(按需)
发布边界:完整对照表、脚本版本与原始分数属售前/NDA 材料,不在公网页披露。需要报告请邮件索取。示意方法 ≠ SLA。

适合 / 不适合

相关页面