說到AR應用,你第一個想到的可能就是神奇寶貝Go,這兩年讓人在街上抓精靈。
然而,如今的AR應用并不像預期的那樣受歡迎。原因之一是市場上的AR應用相對簡單,大部分集中在游戲和娛樂領域。
從神奇寶貝Go到蘋果的ARKit、支付寶AR紅包等。這些應用產生了許多短命的AR在線名人,但高頻實用的工具AR功能卻很少見到。
其實,AR應用場景還有很大的發展空間。有道最近上線了直播AR翻譯功能,可以在有道翻譯器App免費使用,支持中、英、日、韓四國語言的線下翻譯。這是中國第一個真正的AR翻譯。之前其他廠商推廣的AR翻譯其實是圖片翻譯。
現實生活中的AR翻譯和照片翻譯最大的區別在于,它不需要通過拍照來識別圖片內容,而是在相機中實時翻譯文本內容,這涉及到動態跟蹤、神經網絡翻譯、OCR片段分析、AR渲染等復雜技術。
一般來說,翻譯App最常用的場景是海外旅行和海淘購物。AR翻譯能否提高這些場景的翻譯效率?
過去谷歌翻譯也推出了手機攝像頭即時翻譯的功能。一個譯者的現實生活AR翻譯體驗和它相比如何?O AppSo從一些常見場景入手,看看有道翻譯器中現實生活中的AR翻譯好不好。
外國媒體新聞翻譯。
出國旅游時,想了解當地的新聞,尤其是遇到一些突發事件后,最好的辦法就是直接閱讀國外媒體的新聞。
在這里,我們將借助有道AR翻譯和谷歌圖片翻譯,對BBC 4月23日在多倫多發生的一起嚴重交通事故的報道進行測試。以下是原始報告:
翻譯結果如下:
(左邊是翻譯的真人AR翻譯,右邊是谷歌照片的實時翻譯。)
新聞翻譯是翻譯App最好的試金石之一,因為結構復雜的長句經常出現,要想翻譯好,需要考慮詞義、句法、語境等多個方面。
從翻譯結果來看,現實生活中AR的翻譯是相當令人滿意的。基本上,我可以直接從翻譯結果中了解這條新聞的主要信息,我也可以準確地翻譯像“與…僵持”這樣的短語。
相比之下,谷歌對語境的理解要差得多。中文難讀,通過翻譯結果很難直接理解原文內容。而且,譯文的排版也很混亂。
海濤商品說明
無論是出國購物還是上網,都需要了解商品的相關信息,如成分說明、注意事項、退換貨說明等。
AppSo這次發現了一瓶韓國護膚品。在這里,產品描述由有道真人AR翻譯和谷歌圖片翻譯再次翻譯。總的想法是護膚產品如何使用深層清潔泡沫來去除毛孔中的污垢。
讓我們看看最終的翻譯結果:
(左邊是翻譯的真人AR翻譯,右邊是谷歌照片的實時翻譯。)
有句話說,譯者現實生活中的AR翻譯再一次打敗了谷歌,谷歌基本上可以準確流暢地翻譯這個相對較長的解釋,也更容易理解。但是谷歌的實時翻譯結果有點混亂,似乎只有每個單詞翻譯成中文,沒有上下文語義。
為什么會這樣?這也是有道的一個秘密武器,那就是OCR的分割分析技術。通過百萬語料庫訓練,機器可以理解人的說話風格和切分風格,直接用上下文翻譯,而不是逐字翻譯后粗略組裝。
車站路標
走在國外城市,陌生地名和街名的翻譯也是一個非常高頻的需求。AR翻譯比過去人工輸入方便多了。我們來看看實際的體驗。
地鐵車站
地標建筑
商店業務信息
從幾個場景的測試來看,相機從對齊文本到翻譯成目標語言的響應速度更快,可以實現實時翻譯。而且,在完全保留文本背景的同時,將原始文本替換為目標語言,比使用PS更快。
菜名翻譯
雖然一些國家的餐廳已經開始為中國游客推出中式菜單,但在國外就餐時經常會遇到困惑,看看翻譯的真人AR翻譯是如何理解菜單的。
如你所見,這道菜的名字。
翻譯也比較到位。 總結
能將 AR 技術成熟應用到翻譯上的 App 目前在市場上鳳毛麟角,因為背后的技術難度較大,只有有道和 Google 兩家公司能實現這一技術。除了 AR 技術,還對離線神經網絡翻譯(NMT)、運動跟蹤(Tracking)、圖像識別(OCR) 等人工智能技術有非常高的要求。
最后來總結一下有道實景AR翻譯的實測體驗:
有道翻譯官的實景AR 翻譯,能處理好比較復雜的長句翻譯,尤其在商品包裝、路標、菜單等海外常用的場景,翻譯準確度較高。 有道 AR 翻譯明顯比 Google 翻譯更懂中文,這得益于有道的 OCR的組段技術,能看懂分段,自然也能「說人話」,這個測試,在文章段落的時候,好的非常明顯。 翻譯速度能做到實時翻譯,對被攝物體的跟隨基本無肉眼可見的延遲。 AR 翻譯的視覺交互體驗不錯,平面文字與背景的融合效果較好,每次翻譯結果相當于自動 PS 一遍。 容易上手,支持中英日韓免費離線互譯,沒有網絡也沒關系,更省流量。
據有道介紹,有道翻譯官還會繼續提升實景 AR 翻譯的體驗,比如很快就會開放全屏的 AR 翻譯,并更新自動識別語言的功能。
現在普通人對翻譯的需求越來越大,有道翻譯官 App 中對于文本、語音、對話、拍照等翻譯等需求基本都能翻譯的很準了。如果對海外游、商務出差和海淘購物需求較高的朋友,這次有道翻譯官新推出的實景 AR 翻譯功能不妨一試。
原標題:實景 AR 翻譯是什么?居然秒殺 Google本文就為大家講解到這里。