2019年9月18日，英國知名AI公司Emotech 聯合華爲，在HUAWEI CONNECT 2019全球大會上首發全球第一款多模態AI英語口語教評解決方案，用人工智慧技術在多模態領域的突破性成果，賦能英語口語教育，助力教育產業良性發展。
根植於領先的多模態技術及深度學習演算法，Emotech開創了更接近人類自然互動模式的AI口語教學及測評解決方案。透過影片及音檔等多個模態的整合機器學習，爲未來的教學和測評帶來變革的契機。本次發佈成果在多模識別、評測、反饋及糾錯功能突破了現有AI測評精準度及傳統英語教學標準化的壁壘，實現了全天候、一對一個性化、精準化教學及測評。
「英語學習重在實際溝通能力，而口語卻一直是中國人學習英語的難點。傳統的口語教育依賴於外教，但有限的外教資源讓企業與消費者不得不付出高昂的金錢和時間成本。今天，英語學習者渴望更高智慧、更低成本的口語學習方式，衆多教育機構也希望獲得更具標準化的知識傳授助手」，Emotech創辦人莊宏斌表示。
Emotech作爲一家領先的AI公司，首次嘗試將人工智慧中的多模態與主動互動技術應用於英語口語教學及測評。莊宏斌說：「多模態英語助教方案可透過更真實地還原教學測互動場景，從而更高效地協助老師、學生以及教育機構提升學習效果。我們希望透過多模態人工智慧與教育的碰撞，和業內各個夥伴一起爲提升教學質量，緩解教育焦慮，促進教育公平盡一份力。」
在談到此次和華爲合作時，莊宏斌表示，這是一次非常振奮人心的合作。
「我們第一次接觸時雙方就非常相信多模態技術會給各個行業帶來的變化並確定了合作方向，很榮幸可以跟華爲合作，華爲雲領先的自然語言處理能力跟我們的多模態技術在教育應用場景有很好的結合，華爲雲首創的AI實踐「ABCD模型」： 即演算法（Algorithm）、大數據（Big Data）、算力（Computing）和行業智慧（Domain），對這次合作落地有強大的推動力」。
華爲雲通用AI服務總經理、語音語義創新Lab主任、首席科學家袁晶博士表示，這是一次AI技術領域的強強聯合。
「Emotech在語音和多模態AI方面有先進的技術，華爲雲擁有全棧的AI平臺，並在自然語言處理領域有深厚的積累和實踐，雙方聯合研發並取得一定突破，這是個非常好的開始。同時，Emotech對技術的追求和對客戶的負責任的態度跟華爲是一致的，Emotech對中國和全球市場都有著深入的研究和積累。非常期待我們的產品能夠幫助數以千萬計的英文學習者，也希望我們能夠一起開拓更廣闊的國際市場，」袁晶博士說。
Emotech在多模態技術上的領先性也得到了聯合國科教文組織（UNESCO）人工智慧主席、倫敦大學學院計算統計學和機器學習中心主任John Shawe-Taylor教授的高度評價，他說：「多模態是一種可以接收來自多種感官系統的資訊流後進行處理分析的技術，從而讓人工智慧對周圍的世界獲得更深入，更真實，也更準確的理解。事實上，調用多個感官來構建對世界的認知，增加對事物的理解，是讓人類在出生後能夠更快速學習新事物和技能的關鍵。Emotech巧妙地利用了這個原理，在對話分析中引入了聲音和視覺等多個感官維度，有效地分離了噪音等其他環境干擾因素，從而大幅提升了語音的質量。我認爲這是非常重要的一項技術，也祝賀Emotech能夠給教育應用帶來這樣有效的機器學習方法。」
超越真人教學，AI比老師更懂你
讀出句子，用戶就能得到每句話、每個單詞、甚至每個音素的發音評分結果；透過影片與音檔抓取、回放自讀影片，每個不標準的發音都能被精確識別並鎖定原因；觀看AI助教提供的標準發音示範以及比對，電腦視覺能實時追蹤重點強化口型變化，加速口音改進；每一次的學習過程都能被記錄下來，並且利用深度學習功能實時獲得AI測評報告，為後續個性化針對教育提供基礎與動態參考。Emotech的多模態AI英語口語教評解決方案覆蓋了英語口語從學習、練習、測評到改進的方方面面。
「作爲傳統單一模態（語音、視覺）的升級性底層技術，多模態技術能整合語音、文字、空間等多重數據與分析，並結合深度學習，提供更還原人類自然互動的演算法與應用」，莊宏斌介紹說。
現有技術純語音和文字的反饋往往有理解偏差而且效率不高，而多模技術能提供音影片混合的錯誤點回放和正確發音示例，如真人老師一對一教學，提升學習效率。尤其是在強化學習記憶方面，多模態比單一模態有效性提高了60%以上。
並且，多模態技術徹底解決了傳統的純語音技術對於安靜環境的嚴苛要求、雜音造成的理解偏差、音軌比對效率低等突出問題。它有效提高了發音評測系統（PA）、語音識別（ ASR）的準確率，在給定噪音環境下，與單模態產品相比，它的準確率提高了30%以上。
「如此強大的抗噪能力讓機器評測與識別能力將會應用於更多複雜場景，相信該技術對於語言的總結性評估及形成性評估的智慧評分精準性會起到強有力的促進作用」，莊宏斌說。
AI賦能英語教育 科技升級美好生活
2015年創立於英國倫敦的Emotech是全球首家致力於多模態與主動互動的AI公司。集合了全球30餘名頂尖人工智慧領域的科學家、工程師和設計師，以及牛津大學、劍橋大學、倫敦大學學院、帝國理工等頂級院校的優秀博士生和博士後，Emotech被世界權威科技媒體 Techcrunch 選爲歐洲最佳創業團隊，被英國發展署列爲倫敦最佳 AI 公司 。
「Emotech一直致力於改善人類與科技的關係，讓科技變得更有溫度，」莊宏斌說，「Emotech的多模態技術可以爲更多教育機構提供智慧化教學升級的軟、硬體綜合解決方案、降低重複性教學成本、有助於學校、老師、培訓機構更好地應對人力、教師發音水準的挑戰、降低重複性教學成本。」
袁晶博士（華爲雲）表示，隨著5G以及AI晶片的發展，未來越來越多的場景中可以用到多模態技術。「在口語評測這個場景做深做紮實後，我們接下來也會在一些行業中進行多感官綜合應用的探索和嘗試，一起打造有競爭力的解決方案，爲客戶創造價值」。
先前，Emotech的旗艦型產品 OLLY 曾獲 4 項 CES 大獎並打破 51 年以來的歷史記錄。 2019年，Emotech憑藉領先的技術、全球軟體授權的靈活商業方式榮獲由倫敦市長親授的首屆London Business Award。創辦人莊宏斌入選 2018 英國最佳亞洲科技之星，同年被授予倫敦最佳華人企業家 。
目前，聯合國人工智慧主席、倫敦大學學院電腦統計學和機器學習中心的總負責人、歐洲最負盛名的電腦學教授John Shawe-Taylor以及被譽爲腦神經領域愛因斯坦的Karl Friston 均爲Emotech團隊顧問。