大數據，IT行業的又一次技術變革，大數據的浪潮洶涌而至，對國家治理、企業決策和個人生活都在產生深遠的影響，并將成為云計算、物聯網之后信息技術產業領域又一重大創新變革。未來的十年將是一個“大數據”引領的智慧科技的時代、隨著社交網絡的逐漸成熟，移動帶寬迅速提升、云計算、物聯網應用更加豐富、更多的傳感設備、移動終端接入到網絡，由此而產生的數據及增長速度將比歷史上的任何時期都要多、都要快。
圖一
1.2.大數據定義
“大數據”是一個涵蓋多種技術的概念，簡單地說，是指無法在一定時間內用常規軟件工具對其內容進行抓取、管理和處理的數據集合。IBM將“大數據”理念定義為4個V，即大量化(Volume)、多樣化(Variety)、快速化(Velocity)及由此產生的價值(Value)。
圖二
要理解大數據這一概念，首先要從’大’入手，’大’是指數據規模，大數據一般指在10TB(1TB=1024GB)規模以上的數據量。大數據同過去的海量數據有所區別，其基本特征可以用4個V來總結(Volume、Variety、Value和Velocity)，即體量大、多樣性、價值密度低、速度快。1）Volume數據體量巨大。從TB級別，躍升到PB級別。2）Variety數據類型繁多，如前文提到的網絡日志、視頻、圖片、地理位置信息，等等。3）Value價值密度低。以視頻為例，連續不間斷監控過程中，可能有用的數據僅僅有一兩秒。4）Velocity處理速度快。1秒定律。最后這一點也是和傳統的數據挖掘技術有著本質的不同。物聯網、云計算、移動互聯網、車聯網、手機、平板電腦、PC以及遍布地球各個角落的各種各樣的傳感器，無一不是數據來源或者承載的方式。大數據技術是指從各種各樣類型的巨量數據中，快速獲得有價值信息的技術。解決大數據問題的核心是大數據技術。目前所說的’大數據’不僅指數據本身的規模，也包括采集數據的工具、平臺和數據分析系統。大數據研發目的是發展大數據技術并將其應用到相關領域，通過解決巨量數據處理問題促進其突破性發展。因此，大數據時代帶來的挑戰不僅體現在如何處理巨量數據從中獲取有價值的信息，也體現在如何加強大數據技術研發，搶占時代發展的前沿。
1.3.大數據技術發展
大數據技術描述了一種新一代技術和構架，用于以很經濟的方式、以高速的捕獲、發現和分析技術，從各種超大規模的數據中提取價值，而且未來急劇增長的數據迫切需要尋求新的處理技術手段。
圖三
在“大數據”(Bigdata)時代，通過互聯網、社交網絡、物聯網，人們能夠及時全面地獲得大信息。同時，信息自身存在形式的變化與演進，也使得作為信息載體的數據以遠超人們想象的速度迅速膨脹。云時代的到來使得數據創造的主體由企業逐漸轉向個體，而個體所產生的絕大部分數據為圖片、文檔、視頻等非結構化數據。信息化技術的普及使得企業更多的辦公流程通過網絡得以實現，由此產生的數據也以非結構化數據為主。預計到2012年，非結構化數據將達到互聯網整個數據量的75%以上。用于提取智慧的“大數據”，往往是這些非結構化數據。傳統的數據倉庫系統、BI、鏈路挖掘等應用對數據處理的時間要求往往以小時或天為單位。但“大數據”應用突出強調數據處理的實時性。在線個性化推薦、股票交易處理、實時路況信息等數據處理時間要求在分鐘甚至秒級。全球技術研究和咨詢公司Gartner將“大數據”技術列入2012年對眾多公司和組織機構具有戰略意義的十大技術與趨勢之一，而其他領域的研究，如云計算、下一代分析、內存計算等也都與“大數據”的研究相輔相成。Gartner在其新興技術成熟度曲線中將“大數據”技術視為轉型技術，這意味著“大數據”技術將在未來3—5年內進入主流。而“大數據”的多樣性決定了數據采集來源的復雜性，從智能傳感器到社交網絡數據，從聲音圖片到在線交易數據，可能性是無窮無盡的。選擇正確的數據來源并進行交叉分析可以為企業創造最顯著的利益。隨著數據源的爆發式增長，數據的多樣性成為“大數據”應用亟待解決的問題。例如如何實時地及通過各種數據庫管理系統來安全地訪問數據，如何通過優化存儲策略，評估當前的數據存儲技術并改進、加強數據存儲能力，最大限度地利用現有的存儲投資。從某種意義上說，數據將成為企業的核心資產。“大數據”不僅是一場技術變革，更是一場商業模式變革。在“大數據”概念提出之前，盡管互聯網為傳統企業提供了一個新的銷售渠道，但總體來看，二者平行發展，鮮有交集。我們可以看到，無論是Google通過分析用戶個人信息，根據用戶偏好提供精準廣告，還是Facebook將用戶的線下社會關系遷移在線上，構造一個半真實的實名帝國，但這些商業和消費模式仍不能脫離互聯網，傳統企業仍無法嫁接到互聯網中。同時，傳統企業通過傳統的用戶分析工具卻很難獲得大范圍用戶的真實需求。企業從大規模制造過渡到大規模定制，必須掌握用戶的需求特點。在互聯網時代，這些需求特征往往是在用戶不經意的行為中透露出來的。通過對信息進行關聯、參照、聚類、分類等方法分析，才能得到答案。“大數據”在互聯網與傳統企業間建立一個交集。它推動互聯網企業融合進傳統企業的供應鏈，并在傳統企業種下互聯網基因。傳統企業與互聯網企業的結合，網民和消費者的融合，必將引發消費模式、制造模式、管理模式的巨大變革。大數據正成為IT行業全新的制高點，各企業和組織紛紛助推大數據的發展，相關技術呈現百花齊放局面，并在互聯網應用領域嶄露頭角，具體情況如下圖四所示：
圖四
大數據將帶來巨大的技術和商業機遇，大數據分析挖掘和利用將為企業帶來巨大的商業價值，而隨著應用數據規模急劇增加，傳統計算面臨嚴重挑戰，大規模數據處理和行業應用需求日益增加和迫切出現越來越多的大規模數據處理應用需求，傳統系統難以提供足夠的存儲和計算資源進行處理，云計算技術是最理想的解決方案。調查顯示：目前，IT專業人員對云計算中諸多關鍵技術最為關心的是大規模數據并行處理技術大數據并行處理沒有通用和現成的解決方案對于應用行業來說，云計算平臺軟件、虛擬化軟件都不需要自己開發，但行業的大規模數據處理應用沒有現成和通用的軟件，需要針對特定的應用需求專門開發，涉及到諸多并行化算法、索引查詢優化技術研究、以及系統的設計實現，這些都為大數據處理技術的發展提供了巨大的驅動力。
大數據能做什么？我們那么多地方探討大數據，無非總結下來就做三件事：
第一，對信息的理解。你發的每一張圖片、每一個新聞、每一個廣告，這些都是信息，你對這個信息的理解是大數據重要的領域。
第二，用戶的理解，每個人的基本特征，你的潛在的特征，每個用戶上網的習慣等等，這些都是對用戶的理解。
第三，關系。關系才是我們的核心，信息與信息之間的關系，一條微博和另外一條微博之間的關系，一個廣告和另外一個廣告的關系。一條微博和一個視頻之間的關系，這些在我們肉眼去看的時候是相對簡單的。
比如有條微博說這兩天朝鮮綁架我們船的事，那條微博也大概是談這件事的。人眼一眼就能看出來。但是用機器怎么能看出來這是一件事，以及他們之間的因果關系，這是很有難度的。
然后就是用戶與用戶之間的關系。哪些人你愿意收聽，是你的朋友，哪些是你感興趣的領域，你是一個音樂達人，你是一個吃貨，那個用戶也是一個吃貨，你愿意收聽他。這就是用戶與用戶之間的關系理解。還有用戶與信息之間的理解，就是你對哪一類型的微博感興趣，你對哪一類型的信息感興趣，如果牽扯到商業化，你對哪一類的廣告或者商品感興趣。其實就是用戶與信息之間的關系，他無非是做這件事。
大數據說的那么懸，其實主要是做三件事：對用戶的理解、對信息的理解、對關系的理解。如果我們在這三件事之間還要提一件事的話，一個叫趨勢。他也是關系的一種變種，只是關系稍微遠一點，情感之間的分析，還有我們政府部門做的輿情監控。他可以監控大規模的數據，可以分析出人的動向。在美國的好萊塢，這兩年也是基于FACEBOOK和TIWTTER的數據來預測即將上映的電影的票房。他也是一個趨勢的分析，只是我們把這個趨勢提前來。核心就是這三件事。
1.SetonHealthcare是采用IBM最新沃森技術醫療保健內容分析預測的首個客戶。該技術允許企業找到大量病人相關的臨床醫療信息，通過大數據處理，更好地分析病人的信息。
2.在加拿大多倫多的一家醫院，針對早產嬰兒，每秒鐘有超過3000次的數據讀取。通過這些數據分析，醫院能夠提前知道哪些早產兒出現問題并且有針對性地采取措施，避免早產嬰兒夭折。
3.它讓更多的創業者更方便地開發產品，比如通過社交網絡來收集數據的健康類App。也許未來數年后，它們搜集的數據能讓醫生給你的診斷變得更為精確，比方說不是通用的成人每日三次一次一片，而是檢測到你的血液中藥劑已經代謝完成會自動提醒你再次服藥。
1.智能電網現在歐洲已經做到了終端，也就是所謂的智能電表。在德國，為了鼓勵利用太陽能，會在家庭安裝太陽能，除了賣電給你，當你的太陽能有多余電的時候還可以買回來。通過電網收集每隔五分鐘或十分鐘收集一次數據，收集來的這些數據可以用來預測客戶的用電習慣等，從而推斷出在未來2~3個月時間里，整個電網大概需要多少電。有了這個預測后，就可以向發電或者供電企業購買一定數量的電。因為電有點像期貨一樣，如果提前買就會比較便宜，買現貨就比較貴。通過這個預測后，可以降低采購成本。
2.維斯塔斯風力系統，依靠的是BigInsights軟件和IBM超級計算機，然后對氣象數據進行分析，找出安裝風力渦輪機和整個風電場最佳的地點。利用大數據，以往需要數周的分析工作，現在僅需要不足1小時便可完成。
1.XOCommunications通過使用IBMSPSS預測分析軟件，減少了將近一半的客戶流失率。XO現在可以預測客戶的行為，發現行為趨勢，并找出存在缺陷的環節，從而幫助公司及時采取措施，保留客戶。此外，IBM新的Netezza網絡分析加速器，將通過提供單個端到端網絡、服務、客戶分析視圖的可擴展平臺，幫助通信企業制定更科學、合理決策。
2.電信業者透過數以千萬計的客戶資料，能分析出多種使用者行為和趨勢，賣給需要的企業，這是全新的資料經濟。
3.中國移動通過大數據分析，對企業運營的全業務進行針對性的監控、預警、跟蹤。系統在第一時間自動捕捉市場變化，再以最快捷的方式推送給指定負責人，使他在最短時間內獲知市場行情。
4.NTTdocomo把手機位置信息和互聯網上的信息結合起來，為顧客提供附近的餐飲店信息，接近末班車時間時，提供末班車信息服務。
1.我們的某個客戶，是一家領先的專業時裝零售商，通過當地的百貨商店、網絡及其郵購目錄業務為客戶提供服務。公司希望向客戶提供差異化服務，如何定位公司的差異化，他們通過從Twitter和Facebook上收集社交信息，更深入的理解化妝品的營銷模式，隨后他們認識到必須保留兩類有價值的客戶：高消費者和高影響者。希望通過接受免費化妝服務，讓用戶進行口碑宣傳，這是交易數據與交互數據的完美結合，為業務挑戰提供了解決方案。’Informatica的技術幫助這家零售商用社交平臺上的數據充實了客戶主數據，使他的業務服務更具有目標性。
2.零售企業也監控客戶的店內走動情況以及與商品的互動。它們將這些數據與交易記錄相結合來展開分析，從而在銷售哪些商品、如何擺放貨品以及何時調整售價上給出意見，此類方法已經幫助某領先零售企業減少了17%的存貨，同時在保持市場份額的前提下，增加了高利潤率自有品牌商品的比例。
大數據技術由四種技術構成，它們包括：
分析技術意味著對海量數據進行分析以實時得出答案，由于大數據的特殊性，大數據分析技術還處于發展階段，老技術會日趨完善，新技術會更多出現。大數據分析技術涵蓋了以下的的五個方面
上一篇: 什么三網合一？三網合一如何建設？
下一篇: 熱烈祝賀贛州銀盛電子有限公司 連續四年榮獲“江西省守合同重信用單位”榮譽稱號
400-915-5885
