邊緣AI實(shí)戰(zhàn)：飛凌OK1126B開發(fā)板3TOPS算力，在終端跑2B大模型是什么體驗(yàn)？

原創(chuàng) 作者 電子開發(fā)學(xué)習(xí) 2026-01-19 09:20:00 國產(chǎn)邊緣AI開發(fā)板
邊緣AI開發(fā)板推薦：飛凌OK1126B-S開發(fā)板
最近群里很多朋友都在討論給自己部署AI助手的事，有的為此購買了價值不菲的顯卡，有些直接把Deepseek部署在了自己的開發(fā)板上，有的索性直接租服務(wù)器在上面部署。照我說，這些操作都只是工程師通過這個部署的過程滿足自己的成就感，至于實(shí)用性，我覺得還未必有我直接打開網(wǎng)頁使用Deepseek或者通義千問或者豆包來的更實(shí)在。

當(dāng)然，如果對AI輔助編程有很強(qiáng)的依賴性，還不如直接使用Cursor或者Copilot。但是話說回來，工程師自己實(shí)現(xiàn)這個部署過程真的沒用嗎？我并不這么認(rèn)為。實(shí)際上通過這樣的嘗試，可以讓工程師具備本地部署AI的能力，而這個能力在什么地方會用到呢？那就是 邊緣AI這個應(yīng)用領(lǐng)域。

邊緣AI典型應(yīng)用場景

邊緣AI項(xiàng)目往往要求工程師在資源受限、成本要求較高的邊緣終端設(shè)備中部署AI來實(shí)現(xiàn)對應(yīng)的功能。舉幾個例子：

智能監(jiān)控場景

在攝像頭上通過本地部署的AI來實(shí)現(xiàn)人員跌倒、入侵、打架、聚集等異常行為的識別。無需上傳大量視頻流，僅在本地完成識別后，將異?，F(xiàn)象和處理結(jié)果上傳服務(wù)器即可。

車載計算單元

實(shí)時處理攝像頭、線掃雷達(dá)、激光雷達(dá)等數(shù)據(jù)，識別車輛、行人等交通環(huán)境。要求在終端側(cè)完成識別、處理，確保實(shí)時性和數(shù)據(jù)安全性。

工業(yè)設(shè)備預(yù)測性維護(hù)

工廠通過邊緣AI來實(shí)時分析設(shè)備的振動、聲音、溫度數(shù)據(jù)是否異常，進(jìn)而實(shí)現(xiàn)故障的預(yù)測、避免非計劃性停機(jī)。

飛凌OK1126B-S開發(fā)板推薦

特惠活動提醒：飛凌嵌入式基于RV1126B打造的OK1126B-S開發(fā)板正在做 低價特惠，活動詳情請咨詢在線客服。
飛凌OK1126B-S開發(fā)板 - 高性能邊緣AI解決方案

核心性能參數(shù)

這個板子大概是個什么性能參數(shù)呢，這里簡單說一下：

3TOPS
RV1126B獨(dú)立NPU INT8運(yùn)算性能
  • RV1126B自帶的 獨(dú)立NPU性能挺強(qiáng)的，INT8運(yùn)算能到 3TOPS，比上一代提升了差不多50%左右
  • 支持 混合精度計算，也對Transformer模型做了專門優(yōu)化
  • 像 2B參數(shù)的大語言模型、多模態(tài)模型，在設(shè)備端也能順暢運(yùn)行
  • 對于需要在端側(cè)部署的項(xiàng)目，這個算力已經(jīng)相當(dāng)充裕了

    • 模型運(yùn)行測試數(shù)據(jù)

    大語言模型和多模態(tài)模型測試

    測試指標(biāo)說明：Dtype-數(shù)據(jù)類型；Seqlen-輸入序列長度；New_tokens-生成新token數(shù)量；TTFT(ms)-首token時間；Tokens/s-每秒生成token數(shù)；Memory(MB)-最大運(yùn)行內(nèi)存。
    Model Model Size Seqlen New_tokens TTFT(ms) Memory(MB) Dtype Tokens/s
    Qwen2 0.5B 128 64 655.3 655.78 w8a8 14.95
    Qwen2 0.5B 128 64 381.12 1104 fp 8.59
    Qwen2.5 1.5B 128 64 669.94 1660 w8a8 5.55
    DeepSeek-Distill-Qwen1.5B 1.5B 128 64 838.75 1692.8 w8a8 5.57
    Lllava-onevision-Qwen2-0.5B 0.5B 128 64 969.68 619 w8a8 14.89
    Qwen2-VL 2B 128 64 692.73 16360 w8a8 5.14

    目標(biāo)檢測模型測試

    Model name Inputs_shape Dtype RV1126 RV1126B
    yolov6n [1,3,640,640] INT8 56.8 68.68
    yolov6s [1,3,640,640] INT8 16.3 25.43
    yolov6m [1,3,640,640] INT8 8.3 12.84
    yolov8n [1,3,640,640] INT8 35.4 50.24
    yolov8s [1,3,640,640] INT8 13.1 25.96
    yolov8m [1,3,640,640] INT8 5.8 11.8
    yolov10n [1,3,640,640] INT8 / 45.1
    yolov10s [1,3,640,640] INT8 24.84 17
    yolo11n [1,3,640,640] INT8 42.84 7.3
    yolo11s [1,3,640,640] INT8 23.72 10.59

    圖像分割模型測試

    Model name Inputs_shape Dtype RV1126 RV1126B
    yolov5n-seg [1,3,640,640] INT8 42.2 51.67
    yolov5s-seg [1,3,640,640] INT8 14 27.22
    yolov8n-seg [1,3,640,640] INT8 39.79 27.6
    yolov8s-seg [1,3,640,640] INT8 9.8 19.71
    mobilesam_encoder_tiny [1,3,448,448] FP16 / 8.66
    mobilesam_decoder [1,1,112,112] FP16 61.76 /

    專用AI-ISP技術(shù)亮點(diǎn)

    核心優(yōu)勢：RV1126B集成了專用 AI-ISP，這在處理圖像類應(yīng)用的時候就很厲害了！

    AI-ISP直接把AI算法融入到ISP的原始數(shù)據(jù)處理鏈路中， 一邊提升畫質(zhì)，一邊用AI進(jìn)行分析優(yōu)化，這樣既不會讓輸出圖像失真，也不會導(dǎo)致NPU無法準(zhǔn)確分析。

    而且運(yùn)行AI-ISP完全不占用NPU資源，比傳統(tǒng)方案省帶寬、省功耗。

    AI-ISP技術(shù)：將AI算法融入ISP處理鏈路，實(shí)現(xiàn)畫質(zhì)增強(qiáng)與智能分析并行

    工業(yè)級與寬溫級支持

    環(huán)境適應(yīng)性提示：眾所周知，端側(cè)運(yùn)行環(huán)境大多比較惡劣，OK1126B-S開發(fā)板提供了多種等級選擇。
    工業(yè)級核心板

    工作溫度：-40℃ ~ +85℃

    型號：FET1126BJ-S

    適用于極端惡劣的工業(yè)環(huán)境，確保設(shè)備穩(wěn)定運(yùn)行。

    寬溫級核心板

    工作溫度：-20℃ ~ +85℃

    型號：FET1126B-S

    滿足大部分工業(yè)和商業(yè)場景的溫度要求，性價比更高。

    根據(jù)項(xiàng)目需求選擇適合的核心板等級

    開發(fā)支持與快速落地 · 咨詢立即獲得專屬報價

    技術(shù)支持包含

    • 完整的硬件設(shè)計參考
    • 詳細(xì)的軟件開發(fā)手冊
    • AI模型部署優(yōu)化指南
    • 專業(yè)的在線技術(shù)支持團(tuán)隊

    立即咨詢

    華北區(qū)負(fù)責(zé)人二維碼

    華北區(qū)

    華東區(qū)負(fù)責(zé)人二維碼

    華東區(qū)

    華南區(qū)負(fù)責(zé)人二維碼

    華南區(qū)

    中西區(qū)負(fù)責(zé)人二維碼

    中西區(qū)

    相關(guān)產(chǎn)品 >

    • FET1126BJ-S核心板

      FET1126BJ-S核心板是飛凌嵌入式基于瑞芯微RV1126BJ處理器開發(fā)的國產(chǎn)化邊緣AI計算平臺。該處理器專為端側(cè)及邊緣側(cè)AI應(yīng)用場景打造，集成4核ARM Cortex-A53架構(gòu)，提供高達(dá)3TOPS@INT8的AI算力，是智慧工業(yè)、智慧園區(qū)、智慧工地等場景實(shí)現(xiàn)視頻分析與目標(biāo)識別的優(yōu)選方案 了解詳情
      FET1126BJ-S核心板

    • OK1126BJ-S開發(fā)板

      RV1126B開發(fā)板（型號：OK1126B-S）是飛凌嵌入式基于瑞芯微RV1126B處理器打造的國產(chǎn)化邊緣AI計算平臺。集成4核A53 CPU與3TOPS@INT8獨(dú)立NPU，支持Linux 6.1系統(tǒng)，提供完整BSP與RKNN工具鏈，兼容TensorFlow/PyTorch主流框架。核心板采用郵票孔+LGA設(shè)計，支持-40℃~+85℃工業(yè)級寬溫，配備MIPI-DSI、雙網(wǎng)口、CAN-FD及樹莓派兼容40Pin GPIO接口。尺寸僅120mm×75mm，專為智慧工業(yè)質(zhì)檢、園區(qū)安防、工地安全監(jiān)測等端側(cè)AI場景設(shè)計，提供10年供應(yīng)保障與7×24小時技術(shù)支持。 了解詳情
      OK1126BJ-S開發(fā)板
    上一篇：飛凌嵌入式啟動LPDDR5升級戰(zhàn)略，破局供應(yīng)難題 下一篇：瑞芯微 RV1126B 值得入手嗎？從參數(shù)到實(shí)測，一文看懂這款 AI 視覺開發(fā)板

    推薦閱讀 換一批 換一批