边缘 AI 概述
漫谈人工智能边缘硬件(作者:铁云, 微信公众号:铁云文摘)
主流AI应用边缘计算平台综合对比(作者知乎账号:GPUS开发者)
边缘 AI 硬件平台
华为
Atlas 200I DK A2
华为“小藤”开发者套件 Atlas 200I DK A2。
官方网站:https://www.hiascend.com/hardware/developer-kit-a2
官方文档:https://www.hiascend.com/document/detail/zh/Atlas200IDKA2DeveloperKit/
英伟达
NVIDIA Jstson 系列
NVIDIA 机器人和边缘 AI 官网:https://www.nvidia.cn/autonomous-machines/
知乎专栏:NVIDIA Jetson开发者
树莓派
Raspberry Pi AI Kit
官网介绍:https://www.raspberrypi.com/products/ai-kit/
官方文档:https://www.raspberrypi.com/documentation/accessories/ai-kit.html
中文文档:https://pidoc.cn/docs/accessories/ai-kit/
STM32
STM32边缘AI官网:https://stm32ai.st.com/zh/
NanoEdge AI Studio: https://stm32ai.st.com/zh/nanoedge-ai/
STM32Cube.AI: https://stm32ai.st.com/zh/stm32-cube-ai/
边缘AI硬件: https://stm32ai.st.com/zh/edge-ai-hardware/
ST Edge AI 开发人员云(在线): https://stm32ai.st.com/zh/bian-yuan-ai-kai-fa-zhe-yun/
适用于OpenSTLinux的AI: https://stm32ai.st.com/zh/ai-for-linux/
Intel
Intel 边缘AI官网:https://www.intel.cn/content/www/cn/zh/edge-computing/edge-ai.html
边缘 AI 软件工具
CMSIS-NN
ARM公司推出的神经网络加速库,专为Cortex-M系列处理器优化。
https://arm-software.github.io/CMSIS_5/latest/NN/html/index.html
RKNN
Rockchip NPU模型-RKNN
技术帖——飞凌嵌入式RK3588开发板推理模型转换及测试
NVIDIA Dynamo
NVIDIA Dynamo 是一个开源、低延迟的模块化推理框架,用于在分布式环境中服务生成式 AI 模型。
https://developer.nvidia.cn/dynamo
揭秘 NVIDIA Dynamo:分布式AI推理的高效引擎
https://cloud.tencent.com/developer/article/2508888
TensorFlow Lite
TensorFlow Lite 是一组工具,可帮助开发者在移动设备、嵌入式设备和 loT 设备上运行模型,以便实现设备端机器学习。
主要特性 :
- 通过解决以下 5 项约束条件,针对设备端机器学习进行了优化:延时(数据无需往返服务器)、隐私(没有任何个人数据离开设备)、连接性(无需连接互联网)、大小(缩减了模型和二进制文件的大小)和功耗(高效推断,且无需网络连接)。
- 支持多种平台,涵盖 Android 和 iOS 设备、嵌入式 Linux 和微控制器。
- 支持多种语言,包括 Java、Swift、Objective-C、C++ 和 Python。
- 高性能,支持硬件加速和模型优化。
- 提供多种平台上的常见机器学习任务的端到端示例,例如图像分类、对象检测、姿势估计、问题回答、文本分类等。
https://www.tensorflow.org/lite/guide?hl=zh-cn
https://github.com/tensorflow/tflite-micro
ExecuTorch (PyTorch Mobile)
ExecuTorch is PyTorch’s solution to training and inference on the Edge.
https://docs.pytorch.org/executorch/stable/index.html
https://github.com/pytorch/executorch
Edge Impulse
Build datasets, train models, and optimize libraries to run directly on device; from the smallest microcontrollers to gateways with the latest neural accelerators (and anything in between).
https://edgeimpulse.com/





