Edge Benchmark · 2026Q3
覆盖 Jetson Orin Nano / NX / AGX Thor 路径,对照 genie-ai-runtime、llama.cpp、TensorRT-LLM 在 Prefill、Decode、TTFT 等指标上的示意表现,服务硬件选型与 Runtime 选型。
在 Jetson 统一内存与有限功耗预算下,端侧 LLM 选型应先写清机型、并存进程、模型与量化、Prefill/Decode/TTFT 分列 KPI;任何吞吐或时延数字仅在约定条件下复测后进入 SOW,公网不挂载跑分表。
Define SKU, co-resident workload, and split Prefill/Decode/TTFT KPIs first—publish no public score tables.
| 平台 | 关注点 |
|---|---|
| Orin Nano 8GB | 紧内存 · Prefill / Cold TTFT |
| Orin NX 16GB | 边缘对话与视觉辅助常见档 |
| AGX Thor 64GB | 更高算力边缘节点(按需) |