湖北軟件之窗
鄔賀銓:中國信息化百人會(huì)顧問、中國工程院院士、中國互聯(lián)網(wǎng)協(xié)會(huì)理事長
一般來說,數(shù)據(jù)來源主要有三個(gè)層面:第一個(gè)層面是網(wǎng)絡(luò)數(shù)據(jù);第二個(gè)層面是網(wǎng)絡(luò)傳感器上面的數(shù)據(jù);還有一些既不是網(wǎng)絡(luò)也不是傳感器的數(shù)據(jù),比如政府以及企業(yè)部門所收集的數(shù)據(jù),就屬于第三個(gè)層面,即社會(huì)層面的數(shù)據(jù)?;跀?shù)據(jù)庫,我們在應(yīng)用的時(shí)候可以根據(jù)需要選擇有用的數(shù)據(jù),然后通過變換、利用,最終融合出來需要的東西。
誰在支持大數(shù)據(jù)
大數(shù)據(jù)產(chǎn)業(yè)涉及到很多方面,首先需要有一個(gè)大數(shù)據(jù)平臺,還需要有寬帶的存儲設(shè)施、云計(jì)算等平臺。
上世紀(jì)80年代以前國內(nèi)主要是在電纜上面的傳輸系統(tǒng),是模擬的。隨后光纖通信技術(shù)進(jìn)入了市場,在上世紀(jì)90年代初是一根光纖傳2.5G,實(shí)際可以把很多波長利用起來,我們叫波分復(fù)用,進(jìn)而通過多種技術(shù)可以把光纖傳輸能力再進(jìn)一步提高,現(xiàn)在一對光纖在實(shí)驗(yàn)室可以傳到16TP。除了光系統(tǒng)以外,移動(dòng)通信也在飛速地發(fā)展,上世紀(jì)90年代以前的通信方式主要是打電話;后來第二代移動(dòng)通信出現(xiàn)了,現(xiàn)在大家大部分使用的還是第二代移動(dòng)通信,它是數(shù)字的交換,帶寬比較窄;2009年中國發(fā)放3家3G牌照。在去年年底國務(wù)院批準(zhǔn)發(fā)放了4G牌照,現(xiàn)在LET在中國很多地方布網(wǎng)和商用,實(shí)際上國際上已經(jīng)啟動(dòng)了第五代通信網(wǎng)絡(luò)應(yīng)用,在家里不用網(wǎng)線就可以下載峰值達(dá)到50G,光纖的發(fā)展為大數(shù)據(jù)提供了很好的平臺。
除了光纖和通信以外,計(jì)算機(jī)也是少不了的,上世紀(jì)50年代大型計(jì)算機(jī),上世紀(jì)60年代小型計(jì)算機(jī),上世紀(jì)80年代個(gè)人計(jì)算機(jī),上世紀(jì)90年代筆記本電腦,到現(xiàn)在的智能型手機(jī)。全世界第一臺計(jì)算機(jī)是1946年出現(xiàn)的,當(dāng)時(shí)占地面積170平方米,那時(shí)候計(jì)算機(jī)的能力相當(dāng)于會(huì)計(jì)手上拿的計(jì)算器;1975年美國國防部拿了500萬美元買一臺當(dāng)時(shí)最先進(jìn)的超級計(jì)算機(jī),相當(dāng)于我們現(xiàn)在的iphone4;1985年美國防部更新了超級計(jì)算機(jī),相當(dāng)于IPaD2;上世紀(jì)90年代買1G的閃存要1800美元,而現(xiàn)在只要0.25美分,所以隨著計(jì)算機(jī)能力提升,大數(shù)據(jù)處理能力也相應(yīng)提升。
另外,大數(shù)據(jù)也離不開軟件,軟件發(fā)展從單機(jī)到網(wǎng)絡(luò)。早期的阿波羅登月飛行器軟件只有4000行代碼,現(xiàn)在波音飛機(jī)的軟件有2萬行,高鐵有十幾億的行代碼,我們用的智能手機(jī)操作系統(tǒng)也有上百萬行的代碼。軟件能力的提升也方便了對大數(shù)據(jù)的挖掘。
除了軟件以外,云計(jì)算是大數(shù)據(jù)里重要的基礎(chǔ)設(shè)施。云計(jì)算下面有基礎(chǔ)設(shè)施,提供服務(wù)器、存儲器和網(wǎng)絡(luò)?,F(xiàn)在,每個(gè)單位可能都會(huì)有信息化系統(tǒng),自建信息化系統(tǒng)很不經(jīng)濟(jì)且利用率不高。因此,委托第三方進(jìn)行系統(tǒng)建設(shè),就構(gòu)成了云計(jì)算的基礎(chǔ)設(shè)施服務(wù),僅有基礎(chǔ)設(shè)施服務(wù)是不夠的,所以在云計(jì)算里通常都會(huì)增加平臺服務(wù),提供很多工具,有利于用戶利用這些工具開發(fā)所需要的軟件。盡管提供了工具,但是對于一些中小企業(yè)來講,仍然沒有能力利用這些工具開發(fā)軟件。因此,云計(jì)算可以向更多公司提供租用軟件,如客戶關(guān)系管理、HR人力資源管理等等,另外,一些更大的企業(yè)可以自己在云計(jì)算開發(fā)事務(wù)性的企業(yè)管理軟件。
有了寬帶化、軟件、計(jì)算機(jī)和云計(jì)算,是不是就一定能完全處理大數(shù)據(jù)呢?大數(shù)據(jù)比較難處理的是實(shí)現(xiàn)語義的分析,我們可以收集很多數(shù)據(jù),但是如何讓計(jì)算機(jī)來理解還有一定的困難。像Google與斯坦福的合作,用很多張圖讓計(jì)算機(jī)去看貓,計(jì)算機(jī)看了10天以后就發(fā)現(xiàn)很多圖片里面都有一只動(dòng)物,盡管樣子不一樣,但是基本是一個(gè)類型,所以計(jì)算機(jī)學(xué)會(huì)了這是貓,然后再把2萬張從來沒有看過的照片給它看,它的識別率是15%,從應(yīng)用上來說這還是遠(yuǎn)遠(yuǎn)不夠的,但這也表明訓(xùn)練計(jì)算機(jī)識別圖像仍然是有可能的,未來大數(shù)據(jù)分析就是要訓(xùn)練計(jì)算能力能夠代替人去處理需要理解的一些文字、照片、圖片、視頻。大數(shù)據(jù)需要實(shí)現(xiàn)虛擬化和可視化,因?yàn)殡m然收集了很多數(shù)據(jù),只有通過可視化、虛擬化方式才能被大多數(shù)人理解。
大數(shù)據(jù)帶來新財(cái)富
大數(shù)據(jù)的產(chǎn)品包括了軟硬件服務(wù)、關(guān)系數(shù)據(jù)庫的軟件、數(shù)據(jù)集成和數(shù)據(jù)資料服務(wù),大數(shù)據(jù)開發(fā)平臺、數(shù)據(jù)可視化平臺、應(yīng)用分析和應(yīng)用視頻服務(wù)以及一些視頻軟件和大數(shù)據(jù)專業(yè)咨詢培訓(xùn)服務(wù)。各種各樣應(yīng)用設(shè)施以及軟件、服務(wù),構(gòu)成了大數(shù)據(jù)設(shè)施產(chǎn)業(yè)基礎(chǔ)。
大數(shù)據(jù)的產(chǎn)業(yè)設(shè)施有多大呢?2017年硬件可能占1/3,軟件占1/3,服務(wù)占1/3還多一些,按咨詢公司估計(jì),到2017年全世界大數(shù)據(jù)市場大概超過500億美元。到2016年,中國大數(shù)據(jù)應(yīng)用的市場大概是100多億元,當(dāng)然這主要是應(yīng)用,還沒有完全包括所有的產(chǎn)品設(shè)施。
廣義的大數(shù)據(jù)產(chǎn)業(yè)更廣泛,包括大數(shù)據(jù)硬件,網(wǎng)絡(luò)設(shè)備、存儲器,關(guān)系數(shù)據(jù)庫、非關(guān)系數(shù)據(jù)庫一些分析軟件,還有跟大數(shù)據(jù)有關(guān)的服務(wù),但是廣義大數(shù)據(jù)產(chǎn)業(yè)還要再拓展,如傳統(tǒng)產(chǎn)業(yè)利用大數(shù)據(jù)應(yīng)用而增值,用于工業(yè)、農(nóng)業(yè)、商貿(mào)、交通、建筑、教育、環(huán)保、制造業(yè)等等。
大數(shù)據(jù)在風(fēng)電行業(yè)就有很好的應(yīng)用,通過風(fēng)電檢測可以發(fā)現(xiàn)風(fēng)資源狀況以及怎么樣更好地利用;另外大數(shù)據(jù)在零售業(yè)也有很好的利用,沃爾瑪通過大數(shù)據(jù)分析知道買A商品的用戶和買B商品的用戶分別有多少,而這些大數(shù)據(jù)開發(fā)有助于零售業(yè)的開發(fā)。大數(shù)據(jù)也可以應(yīng)用到醫(yī)療領(lǐng)域,從而在醫(yī)療研發(fā)上一年可以減少200億美元的開支,在醫(yī)療商業(yè)模式上也會(huì)節(jié)省幾十億美元。據(jù)麥肯錫公司統(tǒng)計(jì),大數(shù)據(jù)可以給美國醫(yī)療保健每年提供3000億美元的價(jià)值,給歐洲公共管理提供2500億美元管理上的價(jià)值,給服務(wù)提供商帶來6000億美元年度盈余,給零售商帶來60%的利潤增加,給制造業(yè)帶來50%成本的下降。大數(shù)據(jù)是新財(cái)富,價(jià)值堪比石油。
誰將從大數(shù)據(jù)里面受益呢,首先是制造業(yè),因?yàn)槠髽I(yè)多;第二是政府,大數(shù)據(jù)的一個(gè)特征就是開放,如果政府能夠適當(dāng)開放政府所掌控的數(shù)據(jù),全世界都會(huì)從政府開放的數(shù)據(jù)當(dāng)中受益,麥肯錫公司認(rèn)為這大概會(huì)給全球經(jīng)濟(jì)每年帶來23000億美元到53000億美元的紅利。
總之,現(xiàn)在網(wǎng)絡(luò)通信發(fā)展進(jìn)入了大數(shù)據(jù)、智慧城市、物聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)和云計(jì)算時(shí)代。大數(shù)據(jù)提升了決策智能化水平,大數(shù)據(jù)成為兩化融合的抓手,大數(shù)據(jù)用于社會(huì)管理和民生服務(wù)將創(chuàng)造出顯著社會(huì)效應(yīng),大數(shù)據(jù)對中國既是機(jī)遇也是挑戰(zhàn),全社會(huì)都需要重視和挖掘大數(shù)據(jù)的應(yīng)用。