邊緣AI實(shí)戰(zhàn)：飛凌OK1126B開發(fā)板3TOPS算力，在終端跑2B大模型是什么體驗(yàn)？

原創(chuàng) 作者 電子開發(fā)學(xué)習(xí) 2026-01-19 09:20:00 國產(chǎn)邊緣AI開發(fā)板
邊緣AI開發(fā)板推薦：飛凌OK1126B-S開發(fā)板
最近群里很多朋友都在討論給自己部署AI助手的事，有的為此購買了價(jià)值不菲的顯卡，有些直接把Deepseek部署在了自己的開發(fā)板上，有的索性直接租服務(wù)器在上面部署。照我說，這些操作都只是工程師通過這個(gè)部署的過程滿足自己的成就感，至于實(shí)用性，我覺得還未必有我直接打開網(wǎng)頁使用Deepseek或者通義千問或者豆包來的更實(shí)在。

當(dāng)然，如果對(duì)AI輔助編程有很強(qiáng)的依賴性，還不如直接使用Cursor或者Copilot。但是話說回來，工程師自己實(shí)現(xiàn)這個(gè)部署過程真的沒用嗎？我并不這么認(rèn)為。實(shí)際上通過這樣的嘗試，可以讓工程師具備本地部署AI的能力，而這個(gè)能力在什么地方會(huì)用到呢？那就是 邊緣AI這個(gè)應(yīng)用領(lǐng)域。

邊緣AI典型應(yīng)用場(chǎng)景

邊緣AI項(xiàng)目往往要求工程師在資源受限、成本要求較高的邊緣終端設(shè)備中部署AI來實(shí)現(xiàn)對(duì)應(yīng)的功能。舉幾個(gè)例子：

智能監(jiān)控場(chǎng)景

在攝像頭上通過本地部署的AI來實(shí)現(xiàn)人員跌倒、入侵、打架、聚集等異常行為的識(shí)別。無需上傳大量視頻流，僅在本地完成識(shí)別后，將異?，F(xiàn)象和處理結(jié)果上傳服務(wù)器即可。

車載計(jì)算單元

實(shí)時(shí)處理攝像頭、線掃雷達(dá)、激光雷達(dá)等數(shù)據(jù)，識(shí)別車輛、行人等交通環(huán)境。要求在終端側(cè)完成識(shí)別、處理，確保實(shí)時(shí)性和數(shù)據(jù)安全性。

工業(yè)設(shè)備預(yù)測(cè)性維護(hù)

工廠通過邊緣AI來實(shí)時(shí)分析設(shè)備的振動(dòng)、聲音、溫度數(shù)據(jù)是否異常，進(jìn)而實(shí)現(xiàn)故障的預(yù)測(cè)、避免非計(jì)劃性停機(jī)。

飛凌OK1126B-S開發(fā)板推薦

特惠活動(dòng)提醒：飛凌嵌入式基于RV1126B打造的OK1126B-S開發(fā)板正在做 低價(jià)特惠，活動(dòng)詳情請(qǐng)咨詢?cè)诰€客服。
飛凌OK1126B-S開發(fā)板 - 高性能邊緣AI解決方案

核心性能參數(shù)

這個(gè)板子大概是個(gè)什么性能參數(shù)呢，這里簡(jiǎn)單說一下：

3TOPS
RV1126B獨(dú)立NPU INT8運(yùn)算性能
  • RV1126B自帶的 獨(dú)立NPU性能挺強(qiáng)的，INT8運(yùn)算能到 3TOPS，比上一代提升了差不多50%左右
  • 支持 混合精度計(jì)算，也對(duì)Transformer模型做了專門優(yōu)化
  • 像 2B參數(shù)的大語言模型、多模態(tài)模型，在設(shè)備端也能順暢運(yùn)行
  • 對(duì)于需要在端側(cè)部署的項(xiàng)目，這個(gè)算力已經(jīng)相當(dāng)充裕了

    • 模型運(yùn)行測(cè)試數(shù)據(jù)

    大語言模型和多模態(tài)模型測(cè)試

    測(cè)試指標(biāo)說明：Dtype-數(shù)據(jù)類型；Seqlen-輸入序列長(zhǎng)度；New_tokens-生成新token數(shù)量；TTFT(ms)-首token時(shí)間；Tokens/s-每秒生成token數(shù)；Memory(MB)-最大運(yùn)行內(nèi)存。
    Model Model Size Seqlen New_tokens TTFT(ms) Memory(MB) Dtype Tokens/s
    Qwen2 0.5B 128 64 655.3 655.78 w8a8 14.95
    Qwen2 0.5B 128 64 381.12 1104 fp 8.59
    Qwen2.5 1.5B 128 64 669.94 1660 w8a8 5.55
    DeepSeek-Distill-Qwen1.5B 1.5B 128 64 838.75 1692.8 w8a8 5.57
    Lllava-onevision-Qwen2-0.5B 0.5B 128 64 969.68 619 w8a8 14.89
    Qwen2-VL 2B 128 64 692.73 16360 w8a8 5.14

    目標(biāo)檢測(cè)模型測(cè)試

    Model name Inputs_shape Dtype RV1126 RV1126B
    yolov6n [1,3,640,640] INT8 56.8 68.68
    yolov6s [1,3,640,640] INT8 16.3 25.43
    yolov6m [1,3,640,640] INT8 8.3 12.84
    yolov8n [1,3,640,640] INT8 35.4 50.24
    yolov8s [1,3,640,640] INT8 13.1 25.96
    yolov8m [1,3,640,640] INT8 5.8 11.8
    yolov10n [1,3,640,640] INT8 / 45.1
    yolov10s [1,3,640,640] INT8 24.84 17
    yolo11n [1,3,640,640] INT8 42.84 7.3
    yolo11s [1,3,640,640] INT8 23.72 10.59

    圖像分割模型測(cè)試

    Model name Inputs_shape Dtype RV1126 RV1126B
    yolov5n-seg [1,3,640,640] INT8 42.2 51.67
    yolov5s-seg [1,3,640,640] INT8 14 27.22
    yolov8n-seg [1,3,640,640] INT8 39.79 27.6
    yolov8s-seg [1,3,640,640] INT8 9.8 19.71
    mobilesam_encoder_tiny [1,3,448,448] FP16 / 8.66
    mobilesam_decoder [1,1,112,112] FP16 61.76 /

    專用AI-ISP技術(shù)亮點(diǎn)

    核心優(yōu)勢(shì)：RV1126B集成了專用 AI-ISP，這在處理圖像類應(yīng)用的時(shí)候就很厲害了！

    AI-ISP直接把AI算法融入到ISP的原始數(shù)據(jù)處理鏈路中， 一邊提升畫質(zhì)，一邊用AI進(jìn)行分析優(yōu)化，這樣既不會(huì)讓輸出圖像失真，也不會(huì)導(dǎo)致NPU無法準(zhǔn)確分析。

    而且運(yùn)行AI-ISP完全不占用NPU資源，比傳統(tǒng)方案省帶寬、省功耗。

    AI-ISP技術(shù)：將AI算法融入ISP處理鏈路，實(shí)現(xiàn)畫質(zhì)增強(qiáng)與智能分析并行

    工業(yè)級(jí)與寬溫級(jí)支持

    環(huán)境適應(yīng)性提示：眾所周知，端側(cè)運(yùn)行環(huán)境大多比較惡劣，OK1126B-S開發(fā)板提供了多種等級(jí)選擇。
    工業(yè)級(jí)核心板

    工作溫度：-40℃ ~ +85℃

    型號(hào)：FET1126BJ-S

    適用于極端惡劣的工業(yè)環(huán)境，確保設(shè)備穩(wěn)定運(yùn)行。

    寬溫級(jí)核心板

    工作溫度：-20℃ ~ +85℃

    型號(hào)：FET1126B-S

    滿足大部分工業(yè)和商業(yè)場(chǎng)景的溫度要求，性價(jià)比更高。

    根據(jù)項(xiàng)目需求選擇適合的核心板等級(jí)

    開發(fā)支持與快速落地 · 咨詢立即獲得專屬報(bào)價(jià)

    技術(shù)支持包含

    • 完整的硬件設(shè)計(jì)參考
    • 詳細(xì)的軟件開發(fā)手冊(cè)
    • AI模型部署優(yōu)化指南
    • 專業(yè)的在線技術(shù)支持團(tuán)隊(duì)

    立即咨詢

    華北區(qū)負(fù)責(zé)人二維碼

    華北區(qū)

    華東區(qū)負(fù)責(zé)人二維碼

    華東區(qū)

    華南區(qū)負(fù)責(zé)人二維碼

    華南區(qū)

    中西區(qū)負(fù)責(zé)人二維碼

    中西區(qū)

    相關(guān)產(chǎn)品 >

    • FET1126BJ-S核心板

      FET1126BJ-S核心板是飛凌嵌入式基于瑞芯微RV1126BJ處理器開發(fā)的國產(chǎn)化邊緣AI計(jì)算平臺(tái)。該處理器專為端側(cè)及邊緣側(cè)AI應(yīng)用場(chǎng)景打造，集成4核ARM Cortex-A53架構(gòu)，提供高達(dá)3TOPS@INT8的AI算力，是智慧工業(yè)、智慧園區(qū)、智慧工地等場(chǎng)景實(shí)現(xiàn)視頻分析與目標(biāo)識(shí)別的優(yōu)選方案 了解詳情
      FET1126BJ-S核心板

    • OK1126BJ-S開發(fā)板

      RV1126B開發(fā)板（型號(hào)：OK1126B-S）是飛凌嵌入式基于瑞芯微RV1126B處理器打造的國產(chǎn)化邊緣AI計(jì)算平臺(tái)。集成4核A53 CPU與3TOPS@INT8獨(dú)立NPU，支持Linux 6.1系統(tǒng)，提供完整BSP與RKNN工具鏈，兼容TensorFlow/PyTorch主流框架。核心板采用郵票孔+LGA設(shè)計(jì)，支持-40℃~+85℃工業(yè)級(jí)寬溫，配備MIPI-DSI、雙網(wǎng)口、CAN-FD及樹莓派兼容40Pin GPIO接口。尺寸僅120mm×75mm，專為智慧工業(yè)質(zhì)檢、園區(qū)安防、工地安全監(jiān)測(cè)等端側(cè)AI場(chǎng)景設(shè)計(jì)，提供10年供應(yīng)保障與7×24小時(shí)技術(shù)支持。 了解詳情
      OK1126BJ-S開發(fā)板
    上一篇：飛凌嵌入式啟動(dòng)LPDDR5升級(jí)戰(zhàn)略，破局供應(yīng)難題 下一篇：瑞芯微 RV1126B 值得入手嗎？從參數(shù)到實(shí)測(cè)，一文看懂這款 AI 視覺開發(fā)板

    推薦閱讀 換一批 換一批