如果在百度谷歌去搜索「大數據」，你會發現，大數據包括三個V，第一個V數據量足夠大;第二個V是指數據的種類非常多、結構複雜;第三個V則是對於數據的實時性要求非常高。所以，擁有大量的數據，能夠快速將這些數據進行抽取，挖掘，分析，並且可供擁有者實時訪問，調用，能夠滿足其實際需求，這就是大數據。
大數據的出現與互聯網的發展息息相關，從搜索引擎、社交網站到移動終端，互聯網上的信息總量正以每年50%的增速不斷膨脹，其中90%的信息來自近三年，包括每個月Facebook上分享的30億條內容，每天12TB的Twitter信息，每天淘寶上超過30億條店鋪、商品瀏覽記錄以及上千萬的成交、收藏記錄等等。據IDC統計，2011年全球所產生的數據總量是1.8ZB(10的21次方)，如果把這些數據刻錄到CD此片中門起摞起來的高度等於地球到月球的距離!
大數據沒有限定的數量，比如多少TB，或者EB的數據。若是中小企業用戶，可能企業內部只有十幾、二十幾個人，那麼十個TB對這個企業來說就是大數據了，所以大數據的概念因人而異。工信部十二五的物聯網規劃引人注意，其中包括海量級的數據存儲，數據挖掘，圖象視頻的智能分析，以及信息感知和信息傳輸，這些規劃提供了一個警示信號，即大數據是未來的發展方向，所以在此後的一段時間內，熱門話題會是大數據、雲存儲、以及對象存儲。這些都是在存儲或者計算領域熱門的話題。
大數據——數據管理「令人不安」
「大數據」是大勢所趨。縱觀整個數據市場，甚至存儲市場，用戶的數據量正呈現出爆炸式的增長態勢。大概四、五年前，一個郵件系統用終端存儲就可以滿足一個中等規模企業的需要，數據量大概在30-50T。隨著企業員工數量逐年增長，郵件系統的空間也呈爆炸式增長，由於人員溝通之間郵件更容易成為溝通的橋樑，郵件的附件越來越大，郵件系統的數據量亦隨之水漲船高。現在該企業的數據量恐怕已增長到2.5PB甚至更多，需要添置一台存儲設備或是幾台儲備設備做郵件系統，可見存儲需求量增長之快。
儘管大數據的產生多半是因為企業發展及數據產生的種類多元化這個「大環境」所致，但是面對這些快速增長的大數據所暴露出的問題還是讓企業管理者們不安。到底該如何管理這些大數據？如何進行安全有效的保護？出現問題時怎樣進行恢復？這些都是企業待解的難題。
第一、在大數據愈演愈烈之時，對於企業來說，如何經濟、高效訪問數據值得探討。並非購買了最高端的存儲，更昂貴的備份存儲就可以高枕無憂，如何經濟、高效的訪問數據才是企業目前需要研究的課題之一。通常情況下，按照數據被訪問頻率的高低，可以將這些大數據分為熱數據和冷數據，熱點數據放在昂貴的介質上沒有任何異議，但是冷數據放在昂貴的介質上面則會導致IT建設成本上升，是一種浪費。所以如何將冷、熱數據進行分層存儲，既能優化存儲系統的性能，又可以有效地降低存儲系統的整體擁有成本，實現一舉兩得是企業的突破方向。
第二，如何組織、檢索、存儲、處理分析這些大數據。最近開展的題為「大數據：商業領袖們的經驗」的全球調查發現，稿營收企業的成功與明確的數據戰略之間有著極強的關聯性。大數據的時代迎面襲來，企業重視大數據的潛在價值只是一個良好的開始，如何應對海量數據在管理方面的挑戰才是企業至關重要的策略之一。
第三，數據備份。數據備份可謂「老生常談」，大家一直在談數據需要備份，備份是企業最後的保障、最後的一個利器，可以保護企業的系統依然有數據可用。10年前的「9.11」事件，早給過我們慘痛的教訓：世貿中心中大約2/3企業因為未做數據備份而導致徹底倒閉。 無獨有偶，就在前不久前，雅虎日本伺服器系統發生故障，導致近5700家企業數據丟失，除了小林製藥這樣日常進行數據備份的用戶可以在幾天之內恢複數據外，其他用戶的數據絕無回復的可能，其損失可謂「慘重」。一個企業的數據信息決定著企業的生死存亡。但是今天，數據量的持續增長增加了備份和恢復的時間，是企業面臨著嚴重的合規和宕機風險，數據備份卻越來越困難。用戶數據量越來越大，備份時間窗口又那麼小，設備又是有限的，怎樣快速把大數據中的核心數據抽取出來，保障企業數據信息能夠適時進行恢復，成為企業CIO們共同考量的當務之急。
第四、重複數據刪除。由於存儲經理們繼續降低備份數據量，重複數據刪除技術從而一度成為熱門的技術，但儘管這個話題已經「風靡」了多年，近三、五年的時間大家都在講重複數據的刪除。基本上主流的廠商和用戶能夠接受的還是把帶庫刪除。如周一到周五的數據一樣，就把重複的數據刪掉，以後每天把增量的數據保存。但是有一些廠家也提倡在線存儲刪除，這也可行。只是現在某些技術尚不完全成熟，所以現在的重複數據刪除重點還是在備份領域涉獵較多。
第五，如何節省電力、節約空間、節約成本等。面臨數據爆炸式增長帶來的問題，我們將怎麼樣節省電力、空間、成本呢？近幾年企業在採購存儲時，會發現存儲硬體的成本在逐年走低。回顧過去，硬碟價格都是高高在上的，而現在不管是傳統的機械硬碟還是SSD(固態硬碟)都開始變得越發「親民」，而價格更低的同時容量卻更高了。但是，對於很多企業來說，整體的存儲成本卻不降反升，原因就是存儲的管理成本在逐年走高。因為大數據的接茬大漲需要大量的人力管理和維護，所以如何節約IT資源，減少IT人員的壓力等也是現在企業需要考慮的因素。
大數據——數據保護「成人之美」
隨著大數據時代的到來，數據信息日益重要，數據保護問題日漸突出，各種災難性事件給用戶敲醒很多警鐘。數據保護，數據的容災是非常重要的話題。以前的數據容災，都是拿盤陣來做，從A複製到B，A壞了到B上去，是一個「有甚於無」的方案，屬於一種保護機制。但是今天的企業要求更加完善的數據保護系統，很多企業已經開始完成了備份數據的容災。所以，在備份數據方面企業會面臨很多問題，比如生產系統一般都是在白天運行，或者高峰是在白天去運行，夜間可能有三、五個小時時間窗口，這些窗口怎樣在最短時間之內把儘可能做的數據備份出來，是用戶面臨的問題。
另外是災難恢復。當發生災難能否通過盤陣的方式、通過備份的方式恢複數據。現在很多企業非常關注的是，能否把分支機構也保護起來。例如，國美大中蘇寧，這種零售企業，在全國每一個省都會有很小的數據中心或是小型機房。裡面有獨立的一些數據，這些數據能否集中備份到總部統一保護起來，以最低的成本保護這些「大數據」。
最後就是恢復的時間問題。很多企業在考慮備份時往往會忽略這點，從而導致發生災難或是意外事件時數據恢復時間過長，嚴重影響企業生產系統的正常運行。所以，大數據的挑戰就是備份的窗口。
大數據在給行業帶來巨大商業價值的同時也帶來了一系列的「疑難雜症」，面對這些大困惑，我們又該如何應對呢？
談到大數據，現在很多企業都有若干個分支機構，以前用戶對分制機構進行保護的時候拿盤陣來做或者拿物理磁帶通過汽車搬運到其他地方，這樣做既增加人力又消費時間，而且效率很低，恢復起來效果也特別差。所以，大數據環境下的數據保護是一個非常完整的解決方案，譬如，企業擁有一個很小的分支機構，可能是一個分公司或者是其中一個站點。數據會很多，企業有可能各分機構也有一個虛擬帶庫設備，如果是很小的分支機構，有虛擬的帶庫設備，可以先備份當中，然後有這個設備自動的通過很窄的廣域網複製到虛擬帶庫裡面去。如果企業的數據中心沒有這樣的虛擬帶庫設備，要減少成本，而只有伺服器，也沒有任何問題，只要自動的把數據在源端進行重複數據的刪除，刪除完成以後，將這些重複數據刪除以後的數據遠端傳到總部的數據中心，這樣來實現數據保護，同時企業還可以再複製另外一份，從一個數據中心複製到另外一個數據中心，而且這個複製過程是不需要把數據做完整性恢復的。A到B傳遞數據的時候，已經把重複數據刪掉傳過去，但是對於重複數據刪除1.0的技術來說，要把這一份數據傳過去要恢復成完整的數據，以前需要有一個伺服器，把所有的完整數據算出來以後才能夠傳到另外一個上面，現在企業需要做的只需要傳遞一份數據，而且是沒有重複的，這會大大降低企業在數據保護上的成本。
小 結：
在大數據時代，儘管這些快速增長的海量數據所引發的一系列蹩腳問題，足以讓CIO們感到炙手可熱，但是管理這些數據所帶來的幾多挑戰並不能令人窒息。完整的數據保護解決方案或許能夠成為「成人之美」的一劑良藥。畢竟，實踐是檢驗真理的唯一標準，這的確是不易之論。
FineReport報表免費下載——零編碼做報表、多維圖表、多源填報、許可權管理，完美兼容excel官網：http://www.finereport.com/tw/
没有评论:
发表评论