大數(shù)據(jù)是最近最為火爆的技術(shù)概念，尤其是在貴陽召開的大數(shù)據(jù)博覽會之后，大數(shù)據(jù)已經(jīng)成為國家和各個城市在IT基礎(chǔ)領(lǐng)域下一步的重點發(fā)展方向。不論政府、企業(yè)還是個人，都在關(guān)注如何采集數(shù)據(jù)，以及如何從數(shù)據(jù)中挖掘出有用的信息，進而創(chuàng)造社會價值、商業(yè)價值?；ヂ?lián)網(wǎng)是大數(shù)據(jù)最早發(fā)揮效用的行業(yè)，淘寶、京東、亞馬遜等電商企業(yè)通過對海量數(shù)據(jù)的掌握和分析,為用戶提供更加專業(yè)化和個性化的服務(wù)。大數(shù)據(jù)也在重構(gòu)很多傳統(tǒng)行業(yè)，通過收集、整理生活中方方面面的數(shù)據(jù)，進行分析挖掘，從中獲得有價值信息，并衍化出新的商業(yè)模式。麥當勞、肯德基以及蘋果公司等旗艦專賣店的位置都是建立在數(shù)據(jù)分析基礎(chǔ)之上的精準選址。

　　隨著平安城市、智慧城市、工業(yè)4.0等項目和技術(shù)的推進，物聯(lián)網(wǎng)大數(shù)據(jù)逐步成為大數(shù)據(jù)發(fā)展的新方向。對遍布大街小巷的攝像頭、各類傳感器和工業(yè)生產(chǎn)數(shù)據(jù)等新的大數(shù)據(jù)來源進行分析挖掘的物聯(lián)網(wǎng)技術(shù)蓬勃發(fā)展。安防行業(yè)隨著高清化、智能化、網(wǎng)絡(luò)化、數(shù)字化的要求，數(shù)據(jù)量也迅速增加，早在幾年前就已踏入大數(shù)據(jù)的門檻。安防領(lǐng)域的“大數(shù)據(jù)”一般具有幾個特點：首先，數(shù)據(jù)量巨大，一個地級市30天的視頻錄像數(shù)據(jù)就已經(jīng)是PB級;其次，區(qū)別于傳統(tǒng)的數(shù)據(jù)結(jié)構(gòu)，安防領(lǐng)域的數(shù)據(jù)結(jié)構(gòu)比較復雜，超過 80% 都是非結(jié)構(gòu)化數(shù)據(jù)，比如智慧型平安城市建設(shè)中的視頻監(jiān)控數(shù)據(jù)、卡口的抓拍照片、智能分析輸出的特征數(shù)據(jù)等;再次，數(shù)據(jù)更新快，視頻監(jiān)控每秒鐘都在進行;最后，這些更個性化的數(shù)據(jù)在存儲后被要求能隨機訪問，這就要求新的物聯(lián)網(wǎng)大數(shù)據(jù)系統(tǒng)更加快捷地處理數(shù)據(jù)，更具智能地保存和管理數(shù)據(jù)。

　　二 、 大數(shù)據(jù) 技術(shù) 發(fā)展創(chuàng)新

　　基于大數(shù)據(jù)的智慧安防在技術(shù)方面重點應(yīng)關(guān)注大數(shù)據(jù)處理技術(shù)和智能分析技術(shù)。大數(shù)據(jù)處理技術(shù)主要解決數(shù)據(jù)的采集、存儲和分析挖掘問題，而智能分析技術(shù)是為了實現(xiàn)對視頻的分析和理解，解決視頻結(jié)構(gòu)化問題，推動視頻數(shù)據(jù)向視頻信息的轉(zhuǎn)變。

　　大數(shù)據(jù)應(yīng)用主要涉及數(shù)據(jù)整合、數(shù)據(jù)存儲、挖掘應(yīng)用等多方面和多層次。其中，大數(shù)據(jù)技術(shù)作為大數(shù)據(jù)應(yīng)用的基礎(chǔ)設(shè)施保障至關(guān)重要。主要內(nèi)容包括：

　　• 大數(shù)據(jù)采集 和 管理技術(shù)

　　(1)可擴展的數(shù)據(jù)描述規(guī)范

　　數(shù)據(jù)的快速增長迫切需要一套可擴展的數(shù)據(jù)描述規(guī)范，實現(xiàn)數(shù)據(jù)描述、數(shù)據(jù)存儲、共享和交換?，F(xiàn)階段，數(shù)據(jù)的形式主要有源自攝像頭采集的視頻數(shù)據(jù)和其他各類復雜結(jié)構(gòu)數(shù)據(jù)。設(shè)計面向多維數(shù)據(jù)的本體描述框架,可以較全面地描述多維語義內(nèi)容。

　　(2)多維數(shù)據(jù)集成共性技術(shù)

　　數(shù)據(jù)抽取、轉(zhuǎn)換和加載(ETL)是解決異構(gòu)多維數(shù)據(jù)一致性和集成化的有效方案，利用工具將數(shù)據(jù)按照統(tǒng)一的規(guī)則進行集成，完成數(shù)據(jù)從多數(shù)據(jù)源向統(tǒng)一目標數(shù)據(jù)庫的轉(zhuǎn)化。

　　• 大數(shù)據(jù)存儲技術(shù)

　　規(guī)模龐大的感知設(shè)備、繁多的業(yè)務(wù)系統(tǒng)每天產(chǎn)生海量的數(shù)據(jù)，這些數(shù)據(jù)既有結(jié)構(gòu)化的，也有半結(jié)構(gòu)化和非結(jié)構(gòu)化的，這為數(shù)據(jù)的統(tǒng)一描述和存儲帶來了困難。

　　(1)資源描述元數(shù)據(jù)管理技術(shù)

　　資源描述元數(shù)據(jù)是海量異構(gòu)數(shù)據(jù)實現(xiàn)透明訪問的基礎(chǔ)。通過擴充現(xiàn)有的數(shù)據(jù)對象和存儲資源描述方法，從多個方面描述數(shù)據(jù)的內(nèi)在屬性(關(guān)鍵字、數(shù)據(jù)編碼格式等)、應(yīng)用需求(性能、可用性、安全性、持久性等)和資源特性(位置、訪問方式、服務(wù)能力等)，以支持智能分級的存儲虛擬化及存儲服務(wù)。

　　(2)基于時空域的視頻數(shù)據(jù)管理技術(shù)

　　根據(jù)視頻數(shù)據(jù)的時空域?qū)傩孕畔?，按需求將空間鄰近或時間鄰近的視頻數(shù)據(jù)進行歸類，并在存儲上進行關(guān)聯(lián)存儲，同時利用基于語義內(nèi)容的去冗余技術(shù)，提升數(shù)據(jù)的價值密度。

　　(3)大數(shù)據(jù)存儲技術(shù)

　　百億甚至千億級的結(jié)構(gòu)化數(shù)據(jù)為存儲和查詢帶來巨大壓力，傳統(tǒng)的關(guān)系型數(shù)據(jù)庫已無法支撐此類應(yīng)用。采用針對海量數(shù)據(jù)特性設(shè)計的分布式數(shù)據(jù)存儲架構(gòu)和列式數(shù)據(jù)庫技術(shù)，可以較好地滿足大數(shù)據(jù)存儲系統(tǒng)可擴展性、高可靠性的要求。

　　• 大數(shù)據(jù)檢索和挖掘技術(shù)

　　(1)分布式智能全文檢索技術(shù)

　　大數(shù)據(jù)僅僅依靠單節(jié)點進行智能全文檢索已遠遠無法滿足性能要求，采用分布式的多節(jié)點并行處理技術(shù)，能有效縮短響應(yīng)時間，提高系統(tǒng)性能。

　　(2)基于圖像識別的檢索技術(shù)

　　智慧安防中存在海量的圖片數(shù)據(jù)，目前的檢索技術(shù)還是以特征文本描述檢索為主，這需要耗費大量的人力、物力開展特征描述，當數(shù)據(jù)持續(xù)增長時，這將是一個不可能的任務(wù)。采用圖像識別及模糊匹配技術(shù)，能真正滿足用戶的業(yè)務(wù)需求，并促進人臉匹配、步態(tài)匹配、行為匹配等應(yīng)用的開展。

　　(3)關(guān)聯(lián)網(wǎng)絡(luò)可視化分析

　　利用可視化分析，將各種不同信息圖形化，建立不同數(shù)據(jù)來源、不同信息之間的公共元素和聯(lián)系，建立起不同實體之間的關(guān)聯(lián)，從而發(fā)現(xiàn)那些隱藏在大數(shù)據(jù)中的關(guān)聯(lián)性線索和情報。

　　三 、 大數(shù)據(jù)在智能交通領(lǐng)域的應(yīng)用介紹

　　近年來，隨著經(jīng)濟的快速發(fā)展，機動車持有量迅速增加，交通管理現(xiàn)狀和需求的矛盾進一步加劇。在此情況下，如何利用先進的科技手段提高交通管理水平，抑制交通事故發(fā)生，是當前交通管理部門亟待解決的問題。

　　針對交通管理部門的需求以及我國的道路特點，可通過整合圖像處理、模式識別等技術(shù)，實現(xiàn)對監(jiān)控路段的機動車道、非機動車道進行全天候?qū)崟r監(jiān)控和數(shù)據(jù)采集。前端卡口處理系統(tǒng)對所拍攝的圖像進行分析獲取號牌號碼、號牌顏色、車身顏色、車標、車輛子品牌等數(shù)據(jù)，并將獲取到的車輛信息連同車輛的通過時間、地點、行駛方向等信息通過計算機網(wǎng)絡(luò)傳輸?shù)娇谙到y(tǒng)控制中心的數(shù)據(jù)庫中進行數(shù)據(jù)存儲、查詢、比對等處理，當發(fā)現(xiàn)肇事逃逸、違規(guī)或可疑車輛時，系統(tǒng)會自動向攔截系統(tǒng)及相關(guān)人員發(fā)出告警信號，為交通違章查糾、交通事故逃逸、盜搶機動車輛等案件的及時偵破提供重要的信息和證據(jù)。同時，隨著全城Smart系統(tǒng)的建設(shè)，新型的Smart IPC監(jiān)控前端也將成為一個卡口系統(tǒng)，這使得城市卡口系統(tǒng)更加嚴密，能夠獲取到更多的過車數(shù)據(jù)，能更準確地描繪出車輛動態(tài)信息。

　　前端卡口系統(tǒng)還能及時準確地記錄經(jīng)過卡口的目標信息，隨時掌握出入轄區(qū)的車輛流量狀態(tài)，為交通誘導提供重要的參考數(shù)據(jù)。為了解決海量過車數(shù)據(jù)分析的挑戰(zhàn)，智能交通要轉(zhuǎn)變思路，積極嘗試使用大數(shù)據(jù)技術(shù)來解決智能交通數(shù)據(jù)分析和挖掘問題。

　　某經(jīng)濟發(fā)達地區(qū)城市，近一段時間，交通事故頻發(fā)，由于失駕和毒駕人員造成的惡性交通事件在在人民群眾帶來惡劣影響。市委領(lǐng)導決定開展一次交通整治行動，重點放在“黃標車、逾期未報廢車、套牌車、毒駕失駕人員、遮擋車牌”等重點交通違法行為的整治。除了加大路面巡邏的力度，也要求交警部門通過交通大數(shù)據(jù)對交通違法行為進行監(jiān)控與挖掘。

　　交通大數(shù)據(jù)主要來源來自交通道路上卡口的過車記錄。但是卡口覆蓋范圍有限，能否從社會資源上獲取交通數(shù)據(jù)?通過協(xié)調(diào)，交警部門從停車場出入口、加油站、公共停車位等交通流量重點地區(qū)調(diào)取了監(jiān)控視頻。通過海量視頻云分析平臺，將監(jiān)控視頻中的車輛相關(guān)數(shù)據(jù)取出，包括車牌、車型、駕駛員特征，并存入大數(shù)據(jù)平臺。

　　• 套牌車分析采用兩種方案對比。對于本地車輛，通過比對同一個車牌記錄中的車型車管庫的車型，如果不一致，有可能是套牌車，可以提取出來進行下一步分析。對于外地車輛，采用時空分析方案。同一個車牌如果在同一時間段出現(xiàn)在距離很遠的兩處，則說明是套牌車，提取出來進行下一步分析。

　　• 毒駕和失駕人員是不允許駕駛機動車上路，否則會造成極大的交通隱患。交警部門通過現(xiàn)有的毒駕和失駕人員重點人員庫。當卡口部署的是高清卡口，可以將駕駛員頭部照片取出。將駕駛員照片和毒駕失駕人員庫中的照片進行自動人臉比對，如果相似度較高，說明有可能是毒駕失駕人員，提取出來進行下一步分析。

　　• 通過查詢卡口過車記錄中車牌缺失的車輛，即可查詢到車牌被遮擋的車輛。但是光發(fā)現(xiàn)車牌被遮擋車輛還遠遠不夠，還需要找到這輛車的真正車牌。這就需要使用交通大數(shù)據(jù)的以圖搜圖功能，通過被遮擋車牌車輛的特征在所有過車記錄中搜索，找到相似度最高的車輛，提取出來進行下一步分析。

　　• 查找過車記錄中車輛是否屬于黃標車或者逾期未報廢車輛。如果屬于，提取出來進行下一步處理。

　　通過以上幾種手段對根據(jù)通過交通大數(shù)據(jù)平臺分析出來的嫌疑車輛進行仔細排查，確認確實違法的，通過交通大數(shù)據(jù)平臺車輛軌跡分析功能獲取嫌疑車活動規(guī)律，預(yù)先設(shè)卡，攔截并處理。

　　本次整治行動共分析提取了過車記錄30多億條，分析社會視頻達到30萬小時，提取了70多個子系統(tǒng)的數(shù)據(jù)。在為期為半個月的整治期內(nèi)，通過交通大數(shù)據(jù)平臺發(fā)現(xiàn)毒駕、失駕司機十多人，套牌車超過八十輛，未報廢車十幾輛。相關(guān)領(lǐng)導對交通大數(shù)據(jù)平臺在本次整治活動中的表現(xiàn)非常滿意，并表示“本次整治行動在交通大數(shù)據(jù)平臺協(xié)助下，有效并且高效的完成了預(yù)定目標”。

　　四 、 總結(jié)

　　基于大數(shù)據(jù)的智慧交通存在多種可能，交通的智能化是根本的趨勢，利用大數(shù)據(jù)技術(shù)和智能分析技術(shù)，整合城市管理的其他數(shù)據(jù)，將真正推動智慧交通建設(shè)，為交通管理奠定良好的基礎(chǔ)。目前大數(shù)據(jù)技術(shù)主要還是應(yīng)用在交警和交管部門道路，隨著交通數(shù)據(jù)的進一步聯(lián)網(wǎng)開放，整合停車場、鐵路、軌道交通、公交等等各種來源的數(shù)據(jù)，將可以為城市提供更為豐富的交通應(yīng)用，讓道路暢通，停車位不再難找，提升城市整體運營效率。