淺析大數據與人工智能
時(shi)間:2017-08-22 16:43:00 閱讀:3969 整理:廣州市場調查公司
01、大數據產生的背景與概念
今天分享的(de)(de)(de)主題是大數(shu)據(ju)和(he)人工智能(neng)方(fang)面的(de)(de)(de)知識(shi)。技(ji)術層面的(de)(de)(de)知識(shi)不(bu)詳細講解,我們主要講解什(shen)么大數(shu)據(ju)的(de)(de)(de)相關基本(ben)概(gai)念和(he)基本(ben)應用,簡單講解一(yi)(yi)下(xia)涉及到的(de)(de)(de)核心技(ji)術,最后總體概(gai)述一(yi)(yi)下(xia)人工智能(neng)領域的(de)(de)(de)一(yi)(yi)些發(fa)展戰(zhan)略和(he)國際和(he)國家的(de)(de)(de)整體形勢。
首先(xian)分(fen)享(xiang)大(da)數據(ju)相關內容:大(da)數據(ju)和人工智能是(shi)近(jin)期國(guo)際上最火的(de)(de)兩個(ge)詞,涉及(ji)各(ge)行各(ge)業。從大(da)數據(ju)出(chu)現的(de)(de)背景來看(kan),每(mei)隔十(shi)五(wu)年左右都(dou)會有(you)一次(ci)比(bi)較大(da)的(de)(de)變革,表現在(zai):
第一次浪潮(chao)在80年(nian)左(zuo)右(you),PC機(ji)盛行時期(qi)。PC機(ji)階段(duan)每個人都用計算(suan)機(ji)來(lai)信息處理,蘋果、微軟(ruan)、聯(lian)想(xiang)、戴爾、惠普、IBM都是典(dian)型(xing)的代(dai)表(biao);
第二次浪潮是在(zai)互聯網(wang)出現以后,在(zai)95年(nian)前后的(de)(de)時期。每個(ge)計(ji)算機(ji)即可以處(chu)理個(ge)人(ren)的(de)(de)信(xin)(xin)息(xi),而且把計(ji)算機(ji)鏈接起(qi)來進行(xing)相互溝(gou)通和(he)交流形成互聯網(wang),使得計(ji)算機(ji)不僅能夠處(chu)理信(xin)(xin)息(xi),而且還能通過互聯網(wang)進行(xing)信(xin)(xin)息(xi)的(de)(de)共享。代表性的(de)(de)企業如雅(ya)虎、谷歌、百度、騰(teng)訊等;
第三次浪潮是(shi)在(zai)(zai)互(hu)聯網出現后到現在(zai)(zai),這(zhe)個階段的(de)典型特征是(shi)數(shu)據(ju)量急劇增加,對計算能力以及數(shu)據(ju)的(de)深度挖掘分析需求日益迫(po)切,代(dai)表性的(de)企(qi)業有谷歌、百度、騰訊、阿里等,他(ta)們都從傳統的(de)互(hu)聯網企(qi)業轉(zhuan)型成大數(shu)據(ju)和人工智能企(qi)業。
02、大數據管理與分析主要技術
那么數(shu)據的產生和管理經歷什(shen)么樣(yang)的發展(zhan)呢?可(ke)分為如(ru)下三個(ge)階段:
第(di)一階段是企業數據(ju)產生之后(hou),數據(ju)通(tong)過人工輸入(ru)的方式(shi)輸入(ru)到數據(ju)庫(ku)里面,進行統計查(cha)詢分析(xi);
第二階(jie)段是(shi)web 2.0階(jie)段,亦稱(cheng)之(zhi)為自媒(mei)體階(jie)段,以微(wei)信、微(wei)博(bo)等(deng)社交媒(mei)體為代表。用戶自身即是(shi)信息(xi)的(de)生產者,也是(shi)信息(xi)的(de)分享者,信息(xi)量非(fei)常大;
第三個階段(duan)屬于物聯網(wang)階段(duan)。這(zhe)個階段(duan)中會有(you)大量的(de)傳感器自(zi)動(dong)采(cai)集(ji)數據(ju)(ju),把這(zhe)些數據(ju)(ju)通過設(she)備與(yu)設(she)備、設(she)備與(yu)人相連,形成一個互聯網(wang)系(xi)統。例如城市監控系(xi)統自(zi)動(dong)產生的(de)數據(ju)(ju)等。這(zhe)個階段(duan)機器自(zi)動(dong)采(cai)集(ji)和分享(xiang)數據(ju)(ju),數據(ju)(ju)量會進一步劇增(zeng)。
其(qi)實(shi),不管是(shi)(shi)web 2.0階段(duan),還是(shi)(shi)馬(ma)上來到(dao)物聯網階段(duan),我們(men)已經進入了(le)一(yi)個數據的(de)爆(bao)發期。這么多海量(liang)的(de)數據如何存儲呢?
從(cong)(cong)存(cun)儲(chu)(chu)(chu)的(de)(de)角度來(lai)說(shuo)(shuo),雖然數(shu)據的(de)(de)變化兩年翻一倍,但從(cong)(cong)硬件(jian)發(fa)展的(de)(de)角度來(lai)說(shuo)(shuo)也(ye)遵循這樣的(de)(de)規律。隨著(zhu)存(cun)儲(chu)(chu)(chu)技(ji)術(shu)的(de)(de)發(fa)展存(cun)儲(chu)(chu)(chu)介質也(ye)越來(lai)越便(bian)宜,存(cun)儲(chu)(chu)(chu)的(de)(de)容(rong)量(liang)越來(lai)越大,雖然數(shu)據的(de)(de)暴增(zeng),但存(cun)儲(chu)(chu)(chu)的(de)(de)容(rong)量(liang)和價格(ge)也(ye)降低(di)的(de)(de)非(fei)常快,能(neng)夠(gou)適(shi)應當(dang)前數(shu)據海量(liang)增(zeng)長的(de)(de)需(xu)求。
03、大數據技術在各領域的應用
大(da)數據已經在各個(ge)領(ling)域(yu)發揮了(le)顯著的(de)(de)(de)作用(yong)。比如互聯網領(ling)域(yu)的(de)(de)(de)推薦系統(tong)(tong),城市管(guan)理方面(mian)的(de)(de)(de)智能交通系統(tong)(tong)、環保監測系統(tong)(tong)等(deng)。另(ling)外,金(jin)融、電(dian)信(xin)、餐飲、政府、安全等(deng)領(ling)域(yu)都(dou)積累了(le)非常大(da)的(de)(de)(de)數據,這些數據已經為(wei)企業的(de)(de)(de)日常管(guan)理和決策(ce)發揮了(le)非常大(da)的(de)(de)(de)作用(yong)。
國際(ji)上(shang)對大數(shu)據(ju)也非常重視,美國奧巴(ba)馬時(shi)期把大數(shu)據(ju)認為是一(yi)(yi)個(ge)國家(jia)未來(lai)發展的(de)石油(you),把它(ta)當做一(yi)(yi)個(ge)國家(jia)的(de)核(he)心資(zi)產來(lai)看待(dai),國家(jia)投入(ru)了(le)很大的(de)經費(fei)來(lai)支持大數(shu)據(ju)的(de)研究(jiu);我們(men)國家(jia)也把大數(shu)據(ju)作(zuo)為我們(men)重要的(de)國家(jia)資(zi)產來(lai)盤活、應用(yong),并且作(zuo)為國民經濟的(de)一(yi)(yi)個(ge)重要產業(ye)來(lai)發揮它(ta)的(de)作(zuo)用(yong)。近年來(lai),國家(jia)對大數(shu)據(ju)項目的(de)支持力度非常大,已經把人(ren)工(gong)智能上(shang)升為國家(jia)的(de)一(yi)(yi)個(ge)戰略。
什么是大數據(ju)(ju)?大數據(ju)(ju)的定義很多,但有一(yi)個基本、大家(jia)還相對來說(shuo)(shuo)比較(jiao)公(gong)認的一(yi)個說(shuo)(shuo)法(fa)(fa),指無(wu)法(fa)(fa)在一(yi)定時間內(nei)用傳統(tong)數據(ju)(ju)庫軟件工具對其(qi)內(nei)容(rong)進(jin)行(xing)抓取(qu)、管理和處理的數據(ju)(ju)集合。這種說(shuo)(shuo)法(fa)(fa)還比較(jiao)籠統(tong),還有大家(jia)公(gong)認的4V的說(shuo)(shuo)法(fa)(fa),它滿足四個特征:
第一個特(te)征是量大,數(shu)據量要足夠(gou)大;
第二個特(te)征(zheng)是形式很多,不(bu)單(dan)單(dan)是我們傳統關(guan)系數據庫里面(mian)的數據;
第三(san)個特征是實時性(xing),就是要求數據(ju)到來(lai)之后,能夠(gou)實時在線進(jin)行分(fen)析處理(li);
最后一個(ge)特征是(shi)(shi)價值(zhi),并(bing)不(bu)能簡單(dan)地理(li)解為它是(shi)(shi)有價值(zhi)的(de)(de),因為現在的(de)(de)數(shu)據量非常的(de)(de)大(da),但在數(shu)據中蘊藏有價值(zhi)的(de)(de)東西(xi),相對(dui)來說比較少,需(xu)要細加甄別。
從大數據(ju)的(de)價值來說,它(ta)能發揮怎樣的(de)作用?
第(di)一(yi)(yi),最重要的(de)作用是引起了整(zheng)個(ge)社會對數(shu)據的(de)重視。近年來,企(qi)業(ye)里(li)從(cong)領導到員工,對數(shu)據在(zai)企(qi)業(ye)的(de)發展(zhan)中作用都提(ti)上了一(yi)(yi)個(ge)很高的(de)高度,這就(jiu)是思維模式的(de)一(yi)(yi)個(ge)變革。
第(di)二,以前由于信(xin)息系統不發達,存(cun)儲的(de)(de)(de)數(shu)(shu)據(ju)(ju)是(shi)(shi)(shi)對(dui)歷(li)史(shi)(shi)比(bi)較片面的(de)(de)(de)記(ji)錄和展現(xian)。現(xian)在(zai)在(zai)大(da)數(shu)(shu)據(ju)(ju)時代,信(xin)息采集的(de)(de)(de)手段越來(lai)(lai)(lai)越多,能(neng)(neng)夠(gou)把(ba)日常的(de)(de)(de)行為(wei)(wei)信(xin)息都保存(cun)下來(lai)(lai)(lai),相當于記(ji)錄了一個人(ren)(ren)、一個組織、一個社(she)(she)會(hui)(hui)的(de)(de)(de)歷(li)史(shi)(shi)行為(wei)(wei)。我們(men)說(shuo)要學(xue)習(xi)歷(li)史(shi)(shi),學(xue)習(xi)歷(li)史(shi)(shi)的(de)(de)(de)目的(de)(de)(de)是(shi)(shi)(shi)為(wei)(wei)對(dui)將來(lai)(lai)(lai)社(she)(she)會(hui)(hui)、組織和個人(ren)(ren)的(de)(de)(de)發展提(ti)供(gong)(gong)指導。如果說(shuo)數(shu)(shu)據(ju)(ju)已經把(ba)社(she)(she)會(hui)(hui)、企(qi)業和個人(ren)(ren)的(de)(de)(de)行為(wei)(wei)數(shu)(shu)據(ju)(ju)客觀、全面的(de)(de)(de)記(ji)錄了下來(lai)(lai)(lai),我們(men)就可以做通過大(da)數(shu)(shu)據(ju)(ju)建模(mo)(mo)的(de)(de)(de)方(fang)式(shi)把(ba)它(ta)給抽(chou)象出(chu)來(lai)(lai)(lai),可以為(wei)(wei)企(qi)業、個人(ren)(ren)、乃至(zhi)社(she)(she)會(hui)(hui)的(de)(de)(de)運轉提(ti)供(gong)(gong)支撐(cheng)。大(da)數(shu)(shu)據(ju)(ju)最(zui)重(zhong)要的(de)(de)(de)功能(neng)(neng)就是(shi)(shi)(shi)做預(yu)(yu)測,它(ta)憑(ping)什么能(neng)(neng)夠(gou)預(yu)(yu)測?就是(shi)(shi)(shi)因為(wei)(wei)他(ta)能(neng)(neng)夠(gou)從大(da)數(shu)(shu)據(ju)(ju)中把(ba)蘊含的(de)(de)(de)模(mo)(mo)式(shi)以模(mo)(mo)型的(de)(de)(de)方(fang)式(shi)抽(chou)象出(chu)來(lai)(lai)(lai),為(wei)(wei)將來(lai)(lai)(lai)的(de)(de)(de)社(she)(she)會(hui)(hui)、企(qi)業、個人(ren)(ren)或者是(shi)(shi)(shi)各種需求來(lai)(lai)(lai)提(ti)供(gong)(gong)預(yu)(yu)測,提(ti)供(gong)(gong)幫助,這(zhe)就是(shi)(shi)(shi)大(da)數(shu)(shu)據(ju)(ju)最(zui)本質(zhi)的(de)(de)(de)東(dong)西(xi)。
說到大數據,我們再探討一下云計(ji)算。
云計(ji)算的核心(xin)技(ji)術包括:
第一是虛擬化;
第二(er)是分布(bu)式計算;
第三是分布式存儲;
第(di)四是多租戶。
云(yun)(yun)(yun)計算包含(han)公(gong)有云(yun)(yun)(yun)、混合云(yun)(yun)(yun)、私(si)有云(yun)(yun)(yun),公(gong)有云(yun)(yun)(yun)是每個用戶都(dou)可以來申請,比(bi)如說(shuo)谷(gu)歌(ge)、百度、騰訊等企業的云(yun)(yun)(yun)系統;
混合(he)云(yun)就(jiu)是(shi)說(shuo)既有(you)(you)私有(you)(you)云(yun),也(ye)有(you)(you)對公服(fu)務的;
私有云就(jiu)是指我們的(de)數(shu)據只有自己的(de)企業(ye)用戶進(jin)行分享,外部用戶限制使(shi)用。
總的來(lai)說(shuo),云計算的主要目的是通過對硬件系統復用或(huo)者虛擬(ni)化的方式來(lai)提高數據的處理能力,這(zhe)是云計算的一個基本得出發點。
最后一(yi)個概念(nian)是物聯網(wang)。企業(ye)里(li)面有很多(duo)物聯網(wang)的(de)(de)形態存在,比(bi)如ID、二維(wei)碼、攝(she)像頭、音(yin)頻(pin)終端等(deng),主要這些具(ju)有感知能(neng)(neng)力的(de)(de)智(zhi)能(neng)(neng)終端,能(neng)(neng)夠(gou)自動(dong)的(de)(de)采(cai)集數據(ju),并把(ba)采(cai)集到的(de)(de)數據(ju)進(jin)行(xing)傳(chuan)輸,進(jin)行(xing)分享,進(jin)而進(jin)行(xing)上層的(de)(de)處理。物聯網(wang)在現實(shi)生(sheng)活中的(de)(de)應用還是非常多(duo)的(de)(de), 比(bi)如智(zhi)能(neng)(neng)交(jiao)通的(de)(de)感知器、城(cheng)市里(li)的(de)(de)攝(she)像頭、微(wei)博(bo)、雷達等(deng)。
云計算、大數(shu)據和物(wu)聯網(wang)代表了IT領域最新的技術發展趨勢,三(san)者(zhe)既有區別(bie)又有聯系,可以概(gai)括(kuo)為:
(1)從大數據(ju)與云計(ji)算(suan)(suan)的關系來說(shuo),云計(ji)算(suan)(suan)為大數據(ju)提供(gong)了技術基礎,大數據(ju)為云計(ji)算(suan)(suan)提供(gong)了用武之地;
(2)從云(yun)計算(suan)與物聯(lian)網的角度來(lai)說,云(yun)計算(suan)為物聯(lian)網提供(gong)了(le)海(hai)量的數據存儲能力,而(er)物聯(lian)網為云(yun)計算(suan)技(ji)術提供(gong)了(le)廣闊(kuo)的應(ying)用空間;
(3)從大(da)數據(ju)與物(wu)聯(lian)網(wang)的角度(du)來看,物(wu)聯(lian)網(wang)是大(da)數據(ju)的重要(yao)來源,而(er)大(da)數據(ju)技(ji)術為(wei)物(wu)聯(lian)網(wang)數據(ju)分析提(ti)供(gong)了(le)支撐。
作(zuo)為企(qi)業(ye)來說(shuo),應該有兩點(dian)認識:
第一,企業(ye)數據(ju)就是企業(ye)的(de)(de)資產:企業(ye)有很多現有的(de)(de)信(xin)息化(hua)系統(tong),每天(tian)在產生很多數據(ju)。這(zhe)些(xie)數據(ju)要(yao)想辦法(fa)合理(li)的(de)(de)把它組織和管理(li)起來,要(yao)挖掘這(zhe)些(xie)數據(ju)當中蘊含的(de)(de)價(jia)值(zhi),要(yao)發揮(hui)這(zhe)些(xie)數據(ju)的(de)(de)價(jia)值(zhi);
第二,開(kai)辟新的(de)(de)數據(ju)(ju)(ju)(ju)(ju)源(yuan):在一(yi)些業(ye)務(wu)領域建造一(yi)些新的(de)(de)數據(ju)(ju)(ju)(ju)(ju)源(yuan),這些采(cai)集的(de)(de)數據(ju)(ju)(ju)(ju)(ju)一(yi)方(fang)面支(zhi)撐日(ri)常業(ye)務(wu)運(yun)(yun)營,同時也積累更多的(de)(de)企(qi)(qi)(qi)業(ye)運(yun)(yun)營數據(ju)(ju)(ju)(ju)(ju)。這些企(qi)(qi)(qi)業(ye)數據(ju)(ju)(ju)(ju)(ju)涵蓋(gai)各(ge)個(ge)方(fang)面和流程(cheng)(cheng),數據(ju)(ju)(ju)(ju)(ju)越豐富(fu),越能反映企(qi)(qi)(qi)業(ye)運(yun)(yun)轉(zhuan)的(de)(de)軌(gui)跡,記錄企(qi)(qi)(qi)業(ye)運(yun)(yun)營發(fa)展(zhan)的(de)(de)規律。可以通過大數據(ju)(ju)(ju)(ju)(ju)分(fen)析(xi)的(de)(de)手段,探查(cha)企(qi)(qi)(qi)業(ye)運(yun)(yun)轉(zhuan)的(de)(de)流程(cheng)(cheng),看(kan)是不是最優的(de)(de)運(yun)(yun)行方(fang)式(shi);也可以挖掘企(qi)(qi)(qi)業(ye)運(yun)(yun)轉(zhuan)的(de)(de)模式(shi),為(wei)將來企(qi)(qi)(qi)業(ye)的(de)(de)進一(yi)步發(fa)展(zhan)和有效的(de)(de)運(yun)(yun)轉(zhuan)提供決(jue)策支(zhi)持。
所以,第一個點告訴我們(men)要樹立數(shu)(shu)據即資產的認(ren)識,想(xiang)辦(ban)法盤活現有數(shu)(shu)據;第二點強調開辟更多的數(shu)(shu)據采集渠道(dao)和(he)來源,盡(jin)可能的挖掘(jue)、發揮大數(shu)(shu)據蘊含的商業價值,為企業發展所用。
04、新一代國家人工智能發展規劃
新一代(dai)人(ren)工(gong)智能(neng),是國(guo)家(jia)剛剛發布的《新一代(dai)人(ren)工(gong)智能(neng)白皮書(2017)》。對物流企業(ye)來說,掌握國(guo)家(jia)的人(ren)工(gong)智能(neng)發展趨勢,也是非常(chang)必要的。
人(ren)工智能的發展(zhan),經歷(li)了(le)三次(ci)浪潮:
第一次浪潮最早在50年代到60年代中間,人工智(zhi)能剛剛興起,但(dan)由于當時的(de)技術不(bu)(bu)足以支持人工智(zhi)能的(de)發展與(yu)實(shi)際(ji)應用,后來停滯不(bu)(bu)前進入了低(di)谷;
80年代以后,人(ren)工智(zhi)能(neng)又熱起來,這一(yi)次(ci)熱的原因是技(ji)術(shu)(shu)得到(dao)了解決,在這個階段大家耳熟能(neng)詳(xiang)的一(yi)些(xie)技(ji)術(shu)(shu),如BP神(shen)經(jing)網絡等;
第三次(ci)浪潮出現很(hen)多新的技(ji)術(shu)(shu),如深度學習(xi)等。在(zai)這(zhe)一(yi)(yi)時期,技(ji)術(shu)(shu)得到了一(yi)(yi)個很(hen)大的發展,很(hen)多企業把(ba)這(zhe)種技(ji)術(shu)(shu)投(tou)入(ru)應(ying)用,解(jie)決一(yi)(yi)些社(she)會的實際問題,產(chan)生了顯著的經濟價值。
總的(de)來說,這(zhe)次(ci)浪(lang)潮要比前(qian)(qian)兩次(ci)的(de)生命周(zhou)期要長一些。為什么人工智能(neng)的(de)第三次(ci)浪(lang)潮不像(xiang)前(qian)(qian)兩次(ci)很快就過去(qu)了?主要得益于三方面(mian)的(de)驅動因素:
第(di)一方面(mian)的驅動因素是大數(shu)據,現(xian)在數(shu)據采(cai)集的手段積累了大量的數(shu)據,這(zhe)種數(shu)據為人工智能的發展提(ti)供了一個很好(hao)的基礎(chu);
第(di)二個方面的驅動(dong)因素是計(ji)算平臺(tai)運算能(neng)(neng)力的不斷提升,促進了人工智能(neng)(neng)的落(luo)地;
第三個方面的(de)驅動因素(su)是應用場(chang)景的(de)不斷擴(kuo)充(chong)。總的(de)來說,國(guo)際人(ren)工智(zhi)能產業預計仍(reng)然(ran)保持一個爆發式(shi)的(de)增長,我國(guo)人(ren)工智(zhi)能對(dui)全球人(ren)工智(zhi)能產業發展起(qi)到一個重要(yao)(yao)的(de)推動作用。我們的(de)企業要(yao)(yao)抓住大數據(ju)與人(ren)工智(zhi)能的(de)機(ji)遇(yu)。
關注公眾號:
華夏經緯數據科技
更多調研資訊>>
本站文章內容以及所涉數據、圖片等資料來源于網絡,轉載目的在于傳遞更多信息。版權歸作者所有,文章僅代表作者觀點,不代表華夏經緯立場。 如涉及侵權,請聯系管理員刪除。在法律許可的范圍內,華夏經緯(廣州)數據科技股份有限公司享有最終解釋權。