技術這個事情，很多時候不是一蹴而就的。
更多時候，是大家先看到了一個東西非常美好，結果左發展右發展也發展不起來，在吃瓜群眾們興奮地送上一首《涼涼》之后，搞不好哪天卻突然一個勝負手拋出來，一切又都不一樣了。
曾經的移動通訊、觸屏交互莫不如是，今天的3D打印、VR說不定也在重復這個套路。更明顯的可能是物聯網。這個我們念叨了好多年，雖然也一直在發展，但始終沒有大熱的技術，到底在等待什么呢？
等待AI？但是音箱刮過一陣語音交互的風潮之后，IoT設備搭載語音控制模塊也火了起來。可是直到今天，我們好像發現物聯網還是那個物聯網，基本沒什么變化。
讓我們往更深層開個腦洞，“AI of Things”在等待的，可能不僅是語音交互，而是耳目鼻口耳協同工作的多模態AI交互。
你不溫柔，我不主動：為什么我們始終遠離IoT？
首先我們要搞懂一件事：為什么給設備聯網的方案推行了這么多年，我們身邊，包括工業和工程領域，真正用到的物聯網設備還是沒有多少？
答案在于，光給機器設備聯網是沒用的。你家的桌椅板凳又不想聊微信逛淘寶看快手，它們要網作甚？
人***終需要的是服務，所以設備僅僅聯網是沒用的，聯網之后必須能干點什么才行。這就需要兩件事情：
1、人與設備可交互；
2、設備能夠感知到人的需求。
在觸屏、鍵盤和手機集成遙控模式，都被證明太麻煩之后，物聯網開始把目光投向了能夠提供自然交互與感知能力的AI。
機器能夠聽懂人類說話，并且產生對話并提供服務，似乎某種意義上從源頭解決了物聯網設備缺乏實際價值的尷尬。于是我們見到了越來越多搭載語音交互平臺，能夠實現對話的物聯網設備。從電視、冰箱到家居設備，再到各種終端不勝枚舉。
 
 
但實踐下來發現，這種模式問題還是不少：
比如語言控制不如屏幕控制那么**，很多時候會誤判指令和錯誤喚醒，比較語言充滿了不確定性；
再比如，語音交互的物聯網設備還是缺乏主動服務的能力，只是換了操作方式而已，用戶體驗沒有本質提升。
僅僅是“能聽”，并且還經常聽錯的物聯網設備，就像是兩個人談戀愛，其中一方從來不看你，不會知冷知熱、噓寒問暖，還經常搞錯對方的意思，那另一方當然表示我懶得理你……
目前來看，把按鈕換成了語音命令平臺，隱藏的不確定性太多，而實際價值太少，很難成為物聯網爆發的真正依托。
這種“你不溫柔我不主動”的人機關系究竟怎么改變呢？
答案也許是讓機器能夠聽和說之外，還要能看，能感覺，甚至能將五感聯系到一起進行思考。
感知到交互：機器的五感俱全
所謂“模態modality”，是德國生理學家赫爾姆霍茨提出一種生物學概念。即生物憑借感知器官與經驗來接受信息的通道，比如人類有視覺模態、聽覺模態等等。
后來這個概念引申到人文科學領域，成為哲學和文學上的一種話語批評方式；而來到機器人和計算機科學領域，就成了機器與物理世界聯系的通道。
假如我們把“模態”通俗地理解為感官，那么智能音箱就是只具備聽覺模態的物聯網設備，而加載AI分析能力的攝像頭可以視為視覺模態的物聯網設備。把聽覺、視覺甚至更多模態組合到一起，多模態物聯網也就誕生了。
 
事實上，在AI研究當中多模態轉換是非常普遍的課題。比如一個很出名的AI研究方向是讓智能體根據看到的某張圖片來生成文字（也有看到文字生成圖片和視頻的），這就是讓AI模型完成在視覺和語義之間的模態轉換。
運用到物聯網設備當中，今天主要的AI感知模態有三種：
1、語音交互，包括語音指令控制、語義理解、多輪對話、NLP、語音**識別等領域；
2、機器視覺，包括自然物體識別、人臉識別、肢體動作識別等；
3、傳感器智能，包括AI對熱量、紅外捕捉信號、空間信號的閱讀與理解。
把這三種東西融合在一起，物聯網設備就可以在單純的能聽會說之外，同時還用攝像頭觀察、用傳感器判斷。而比較前沿的多模態感知研究當中，還包括機器嗅覺，機器觸覺和情緒理解等內容。
我們在等待的下一代物聯網設備，很可能訣竅就是把這些模態給揉在一起，完成從多模態感知到多模態交互的體驗。用一句我們十分熟悉的話說，就是要讓機器身上的五感“生態化反”……
今天讓人樂觀的多模態交互型IoT
又能聽，又能看，又有傳感器的設備，聽上去似乎有點過分樂觀了。但好在綜合了較多采訪與觀察之后，我們發現今年確實是值得為多模態物聯網設備樂觀一下的時候。
可以看到，很多雙模態交互，甚至多模態混合交互的解決方案都在從實驗室里走出來，甚至已經可以在我們生活中看到。這些解決方案更重要價值是作為案例，可以讓更多企業、開發者和垂直行業看到多模態物聯網的可復制價值。
舉例來說，離我們***近的多模態AI交互技術投射在物聯網設備上，大概就是用機器視覺技術進行嘴唇識別，來分離語音交互指令。我們可以看到很多實驗室和科技公司，都在嘗試用機器視覺來讀取說話人的唇語和動作，從而判斷每個聲音指令的來源。
這種技術已經在國內被運用到地鐵售票解決方案中，通過機器視覺來識別買票人，從而在地鐵站的嘈雜環境中完成語音售票。
 
 
另一個我們能看到的例子是空調。在一些新的智能空調解決方案中，空調會在語音交互的基礎上通過機器視覺來判斷用戶的位置，提供智能送冷，并且會結合傳感器判斷屋內溫度和濕度，提供更**的環境方案。
同樣是在家電上，今年電視背后的AI平臺戰打得風生水起，把機器視覺技術引入電視成為了新的趨勢。通過機器視覺來讓電視觀察屋內照明情況、用戶與電視的距離，電視可以主動調節屏幕光線強度，輸出比較護眼的模式。還有的AI應用是讓電視在觀察到兒童看電視后主動開啟童鎖。
在日常生活之外，多模態交互設備也在應用于工業設備中。比如通過給機器設備搭載機器視覺+傳感器提供安全警告，以及利用機器視覺+故障信號的方式判斷設備問題等。
把不同信號模態整合在一起，實現設備的多維感知，今天正在以比較快的速度來到應用市場。
高精度判斷用戶命令，輸出主動服務；提供實時化、彈性化的體驗，可以說是AI帶來的多模態交互技術放進物聯網世界中的一張鬼牌。
當然了，還是有幾道難關……
按照慣例，**我們還是要正視任何技術都存在不足。剛剛有一點萌芽的多模態交互+物聯網當然也不例外。
***核心的一個問題，是我們到底靠什么實現多模態協同？
目前來看，無論是家電還是工業設備，實現多模態混合的主要方式還是把不同的傳感源輸入到設備處理中心，啟動一定程序來開啟相應服務。
換句話說，AI模型本身是沒法理解多模態信號的，只是不同的算法啟動不同的開關而已。這種“偽AI多模態”的設備也不是不行，只是在實時化和復雜的推理判斷上會有心無力。
解決方案可能是一種叫做“多模態深度學習”的技術，讓AI智能體本身能夠理解多模態信號，從算法本身就容納聽覺、視覺、傳感信號進行統一思考。這樣可以保證設備高度實時化，并且可以讓設備進行多模態協同學習，真正地“聰明”起來。
這要求在算法上對多維度數據的各自表示、融合、對齊有新的突破，今天我們還只能等待學術界的好消息。
另外一個問題，是今天的多模態交互缺少有效的開發平臺，開發者和企業很難復制這一模式，來進行獨立的物聯網解決方案開發。當然，目前來看這應該僅僅是個時間問題。
與之相對應的，是在缺乏行業標準、開發基礎的前提下，今天開發一個多模態物聯網項目需要大量的人才成本和綜合開發成本。并且缺少芯片、專用傳感器等后端硬件的支撐。這個領域國內有一些芯片和算法公司，但似乎大部分處在做PPT的畫餅階段。
綜合來看，AI帶來的多模態想象力，大概確實可以完成一些物聯網很早就希望實現的東西。但方興未艾的產業局勢，還需要巨頭搭建平臺、優質案例出現、開發者路徑明確等幾個環節才能開啟下一輪風口。
但無論如何，耳聰目明的機器，已經在跑步過來的路上了……
2018年人工智能的發展趨勢：
趨勢1：大公司穩贏
Amazon，Google，Facebook和IBM將會在人工智能行業中居于***地位。這些大公司擁有完整的搜集數據渠道，因此他們在數據量上具有很大的優勢。
Amazon在AI領域投資超過20年；Google全球**的數據庫之一，擁有10-15 百京字節的數據；Facebook每天處理25億則信息和超過500 兆字節的數據。
關于將機器學習融入應用程序和產品開發服務這一方面，Google***有可能領跑。
趨勢2：算法和技術的合并將會發生
所有投資AI領域的第二梯隊的公司，比如說Intel, Salesforce 和 Twitter, 都會追隨擁有數據的大公司，開始用大公司的算法和AI。行業中公司之間會出現數據的交易，并且很大概率會出現算法和技術合并。數據交易和算法技術合并會提高AI的效率。
Google和Facebook這樣的大公司會并購小公司，并將算法整合到他們的核心平臺/解決方法中。為了搶占先機，取得競爭優勢，Google收購了AI公司DeepMind。這家公司總部在倫敦，主營業務是開發通用學習算法。另一方面，Facebook并購了Wit.ai公司，借此提高語音識別和語音接口的水平。Facebook還并購了另一家AI創業公司Ozlo來提升虛擬助手M的水平。
趨勢3：大量通過眾包獲取數據
所有的AI公司都會追求大數據，然后找尋方式方法來實現他們自己的AI目標。這些公司都會開始采用眾包(Crowdsource, 眾包，個人或組織可以利用大量的網絡用戶來獲取需要的服務和想法)的方法來獲取數據。很多公司已經找到眾包獲取數據的不同方法，這些方法不僅可以讓公司獲益，還可以提供給消費者一個表達觀點的渠道。
趨勢4：并購和更多的并購
CBInsights有統計數據顯示，收購AI公司的競賽已經開始/ 2018年將是當公司競爭智力資本和人才時產生越來越多的兼并和收購的一年。機器學習/ AI空間中的所有較小的玩家將被大型公司收購。有兩個原因：
1、AI不能在沒有數據集的情況下孤立工作。由于較大的公司擁有大量的數據集，所以對于較小的企業來說，這些數據將具有非常大的競爭力。
2、沒有數據的算法沒有任何用處。沒有算法，數據幾乎沒有用。數據是算法的核心，獲取大量數據是至關重要的。
趨勢5：獲取市場份額的工具民主化
較大的公司將開始開源其算法和其他工具集，以獲得市場份額。基于市場的數據和算法訪問障礙將會減少，AI的新應用將會增加。通過民主化，獲得有限或無法獲得AI工具的小型公司將可以獲得大量數據進行訓練和使用復雜的AI算法。
趨勢6：人機交互將會改善
Siri和Alexa可能是兩個**的人機交互工具。與這些相似的更多基于機器人的解決方案將成為AI公司的入門級別的東西。例如，雖然機器已被編程用于語音分析和面部識別，但機器將能夠基于您的聲音的語調來識別您的心情，這叫做情感分析。
趨勢7：AI將開始緩慢但一定會影響所有的垂直領域
制造業、客戶服務、金融，醫療保健和交通運輸已經受到AI的影響。自動駕駛汽車已經預計到2018年上市。明年AI將影響更多的垂直行業。行業的簡要示例以及人工智能將如何影響他們包括：
保險—— AI將通過自動化改進索賠流程
法律—— 自然語言處理可以在幾分鐘內總結數千頁的法律文件，從而縮短時間并提高效率效率
公關與媒體—— AI將幫助快速處理數據
教育—— 虛擬導師的發展; AI輔助判卷; 適應性學習計劃，游戲和軟件; 由AI推動的個性化教育課程將改變學生和教師的互動方式
健康 —— 機器學習可用于創建更復雜，準確的方法來預測患者出現癥狀之前的疾病年數
趨勢8：安全，隱私，倫理和道德問題
人工智能的分支，如機器學習和大數據，都容易受到新興的安全和隱私問題的影響。有時候在關鍵的基礎設施起到重要作用。或者是一些與隱私問題有關的安全需求，如將銀行帳戶和健康信息保密，這些都將會對安全性研究產生更大的需求。2018年將是安全和隱私問題一定會得到解決的一年，未來，也可能會有新的發展。