隨著越來越多的物聯網終端設備在各個行業加速部署 邊緣計算的重要性日益凸顯 AI算法也正在逐步從云端下沉到邊緣節點中去運行。據IDC預計 到2025年 全球將有1500億個終端設備接入網絡 其中超過70%的數據將在網絡邊緣側被結構化處理。
36氪近期接觸到的OPEN AI LAB（開放智能）成立于2016年 專注邊緣智能計算及應用 提供邊緣AI推理框架Tengine和AI應用開發及部署平臺OmniMaster等軟件產品 并以此為基礎 為行業客戶提供完整軟硬件解決方案 加速AI產業化部署。
聚焦邊緣端部署痛點 推出邊緣AI推理框架Tengine
由于邊緣計算相較于過去單純的云計算來說成本低、實時性好 大量邊緣計算節點開始部署 邊緣節點也在逐步實現智能化。但在推進過程中 AI算法模型從云端到邊緣端的遷移部署環節過程繁雜 痛點具體表現為：
芯片及硬件多樣性使得前端適配兼容問題凸顯：由于對性能、接口、功耗、價格、可靠性、環境適應性等因素的要求千差萬別 大量AI芯片及硬件開始涌現 特別是NPU及RISC-V架構的推進 生態日益碎片化 但目前缺乏合適的中間層和計算庫及統一的平臺和穩定接口 使得跨硬件向上兼容成為難點；
軟件層面的訓練框架多樣性使得模型遷移效率問題顯現：在把云端上訓練好的AI算法模型遷移到算力有限的前端硬件過程中 算法開發人員需要做大量模型量化、優化甚至算子層面的調整工作 過程繁雜 更非其擅長的領域。
這些問題一方面使得芯片公司不僅需要在硬件層面提升算力 還需要向上延伸提供各種配套AI應用開發的SDK工具 幫助AI算法開發者有效利用芯片的算力 另一方面導致算法公司為了避免云端模型遷移到前端出現性能差、精度低的問題 需要花費大量成本投入到邊緣側底層的適配優化中去。
于是大量AI科技初創公司在尋找到算法應用場景后做全棧工程化 包含了底層芯片及硬件的選型甚至自研數據采集、算法訓練、優化、部署 甚至業務SaaS開發 從芯片到云 形成煙囪式的垂直化 這種模式兼容性差、開發成本高。
因此從行業整體上來看 問題就體現為產業鏈分工并不清晰。解決好這一行業痛點是實現AI在各行業規模應用的關鍵突破口。由此可見 邊緣AI計算產業鏈亟需可將算法和芯片連接、開放兼容的中間件 以細化行業分工程度。
基于此 OPEN AI LAB自2017年開始設計開發邊緣AI計算框架Tengine 并對Tengine進行了項目開源 其GitHub Star 已超過4300枚 目前也面向企業客戶提供商業化的Tengine產品及服務。
目前Tengine向下兼容幾乎所有主流國產智能芯片 向上支撐主流訓練框架及網絡模型。Tengine在產品架構上主要具有以下特點：
算力兼容：跨芯片統一API接口 解決應用程序在不同開發平臺上切換底層硬件接口的問題 用戶使用Tengine可同時調用CPU、NPU、GPU等不同計算單元來完成AI異構計算。
框架兼容：Tengine兼容支持TensorFlow、Caffe、MXNet 、PyTorch、ONNX等業內主流框架。實際開發過程中 Tengine會將其訓練框架轉換為適配底層的Tengine模型 降低不同訓練框架在面對不同硬件及場景的遷移成本。
遷移加速：針對AIoT應用開發流程中的算法量化重訓練及前處理、后處理等繁瑣環節 Tengine配置了相應的圖編譯、圖優化、模型量化、精度調優及算法庫等一系列工具包 簡化和加速AI算法從云端到嵌入式邊緣設備的遷移過程。
OPEN AI LAB創始人兼CEO金勇斌向36氪表示 Tengine之于AIoT 猶如Android之于移動互聯網。Tengine使得上層應用程序與底層硬件基于中間的開發平臺實現適配兼容 從此 開發算法應用不需要再關心底層芯片 如同開發App可以不必關心APP將在哪款手機上運行。
OmniMaster：降低開發門檻 幫助企業實現AI算法的云端訓練及邊緣部署
AI算法邊緣端部署痛點通過Tengine得以解決 但在算法模型在部署到前端之前 一方面先要在服務器端完成數據標注清洗、模型訓練、針對邊緣節點上的芯片做精度量化優化、性能評測等一系列流程后 再將算法向前端邊緣設備部署。
另一方面 算法的訓練數據通常分布在私有化業務場景中 終端企業客戶希望保證數據的私密性和安全性 而終端企業客戶又往往不具備相應的技術開發能力 所以AI算法應用推進較為緩慢 成本較高。
基于此 公司進一步推出了AI應用開發及部署平臺OmniMaster OmniMaster可作為自動化工具幫助客戶實現場景確認、數據清洗標注、模型訓練、量化優化、邊緣部署等開發環節 幫助AI技術基礎薄弱的企業快速實現AI場景應用 為企業節省開發成本 提高開發效率 方便企業將算法模型從云端部署至邊緣端。
如此一來 企業的基于Tengine的邊緣節點可像手機上安裝、升級App一樣不斷后裝第三方算法 算法運行后與OmniMaster聯動基于現場數據迭代學習、持續提升精度。
舉例來說 過去設備制造與方案商陸續將人臉、車牌等目標類別相對固定的算法固化到IPC（網絡攝像機）或邊緣盒子中 實現硬件與軟件一體化。這種事先預置固化算法的方式很難實現算法的快速升級 而部署Tengine的邊緣節點則可以更加靈活地配置、升級算法。
與芯片廠商、集成商等深度合作 加速業務在多行業落地
公司基于開放的邊緣AI計算框架Tengine建立廣泛的合作伙伴及開發者生態 以AI應用開發及部署平臺OmniMaster幫助行業客戶加速AI應用。
目前 已有近30家智能芯片廠商與OPEN AI LAB在Tengine上深度合作 包括紫光展銳、晶晨半導體、瑞芯微、全志科技、地平線、寒武紀、飛騰、龍芯、恒玄、賽昉科技、芯來科技、芯馳等等 實現在ArmMIPS RISC-V等各類CPU及NPU上對上層算法的兼容。計算機視覺上 Tengine支持Yolo等多種網絡模型的各種版本 也與OpenCV社區形成戰略合作關系。
商業模式方面 目前Tengine和OmniMaster主要以軟件授權或訂閱模式向芯片公司、集成商或終端客戶收取服務費 交付內容基于客戶需求可包含工具、源碼及商業服務。
公司已經在交通、能源、農牧、制造、家居等多個行業領域形成完整解決方案。例如交通出行領域 車輛配備的DMS需要通過攝像頭獲取車內和車外的視覺數據 實時監控駕駛員和乘客的狀態 并識別是否有闖紅燈、壓線等違章行為。為了實現智能化識別 讓各類AI算法實時運行在低功耗AI算力有限的車載DMS（Driver Monitor System 駕駛員監控系統）盒子上 并實現跑得上（兼容性高）、跑得動（實時性好）、跑得準（精度損失小） 某出行服務企業選用Tengine作為DMS的底層框架 兼容多種芯片 性能方面平均提升50%以上 部分硬件的能效比提升100%以上。
智能穿戴和家居領域 基于Tengine加速的本地命令字識別算法可在極小的微控制器（MCU）上運行 客戶可以通過OmniMaster基于自身需求采集針對性的語音數據、自動化訓練 一鍵下發 快速賦予MCU以差異化語音命令功能 部分智能家電品牌企業正基于此技術將本地語音命令應用在智能穿戴、智能家居、陪伴玩具等產品上。
業務落地方面 針對能源、農牧、制造等領域的頭部客戶 OPEN AI LAB通常與其系統集成商合作 為企業客戶提供包括前端邊緣智能化升級改造、Tengine和OmniMaster邊、云聯動的私有化部署解決方案 幫助企業在生產安全、質量監控等方面快速實現智能化 提高生產效率。例如在鋼鐵冶金行業 基于Tengine的邊緣AI服務器實現對鋼包的紅外熱成像檢測、潔凈度判斷 和對天車掛鉤進行監測以及對鑄坯缺陷識別等。
此外 為了讓未來的AI開發者通過使用Tengine/OmniMaster 學習、理解、掌握計算機視覺與語音識別技術的開發和應用創新 OPEN AI LAB還向教育行業推出了EAIP（Edge AI Innovation Platform） EAIP將行業真實案例引入教學 學生通過EAIP理解與掌握行業+AI應用實踐。
談及AI在各行業的應用 金勇斌表示 從2018年開始 他和團隊跑過油田、下過鋼廠、蹲過豬圈、飄過海洋 去過的現場越多 越覺得AI需要“接地氣” 產業鏈必須要有更加清晰的分工 通過上下游分工協作來滿足客戶的多樣性需求 而不是家家都要成為華為或Nvidia。
OPEN AI LAB聚焦邊緣AI計算框架與AI應用開發與部署平臺 將與上下游的芯片、算法、方案、系統集成與部署的伙伴一起構建良好的產業生態。
發展規劃
OPEN AI LAB目前有100余人 70%以上為產品研發人員 公司創始人兼CEO金勇斌曾任Arm中國市場營銷與生態發展副總裁 擁有近20年邊緣計算軟、硬件技術與產品研發、產品管理、市場營銷、大客戶銷售、新業務拓展經驗。團隊核心成員來自Arm、Broadcom、華為、中興等芯片與系統公司。
公司曾相繼獲得普華資本、耀圖資本、紅杉資本、晨山資本的投資。目前正致力于進一步加強開源生態建設 完善產品研發 拓展方案伙伴及行業落地。 責任編輯:tzh