共享經濟下,作為一個出色的“碼農”,有9個大數據處理編程語言你不得不知道。當需要對巨大的數據集中進行篩選時,碼農們都知道zui好的工具是什么。以下動力節點的Java老師推薦款碼農需要掌握的大數據處理編程語言。
1.R語言
在語言名單中,如果R語言排第二,那就沒其他能排第一。自1997年以來,作為昂貴的統計軟件,如Matlab和SAS的免費替代品,它漸漸風靡全球。
在過去的幾年時間中,R語言已經成為了數據科學的寵兒——數據科學現在不僅僅在統計學家中人盡皆知,而且也為華爾街交易員、生物學家、硅谷開發者所家喻戶曉。各行各業,如Google,Facebook,美國銀行,以及紐約時報都使用R語言,R語言正在商業用途上持續蔓延和擴散。
話說回來,早在2010年,PaulButler就以R語言打造了全球的Facebook地圖而出名,這證明了該語言豐富的可視化功能。盡管他現在已經不像以前那樣頻繁地使用R語言了。“R正在一點點地過時,因為它的緩慢和處理大型數據集的笨重。”Butler說。那么,他使用什么代替呢?
2.Python
如果說R語言是一個神經質又可愛的高手,那么Python是它隨和又靈活的表兄弟。作為一種結合了R語言快速對復雜數據進行挖掘并構建產品的更實用語言,Python迅速得到了主流的吸引力。Python是直觀的,并且比R語言更易于學習,以及它的生態系統近年來急劇增長,使得它更能夠用于先前為R語言保留的統計分析。“這是這個行業的進步。在過去的兩年時間中,從R語言到Python已經發生了非常明顯的轉變。”Butler說。
在數據處理中,在規模和復雜性之間往往會有一個權衡,于是Python成為了一種折中方案。IPythonnotebook和NumPy可以用作輕便工作的一種暫存器,而Python可以作為中等規模數據處理的強大工具。豐富的數據社區,也是Python的優勢,因為可以提供了大量的工具包和功能。美國銀行使用Python在銀行的基礎架構中構建新的產品和接口,同時也用Python處理財務數據。“Python廣泛而靈活,因此人們趨之若鶩。”O’Donnell說。不過,它并非zui高性能的語言,只能偶爾用于大規模的核心基礎設施。
3.Julia
雖然當前的數據科學絕大多數是通過R語言、Python、Java、MatLab和SAS執行的,但依然有其他的語言存活于夾縫中,Julia就是其中的后起之秀。
業界普遍認為Julia過于晦澀難懂,但在談到它取代R和Python的潛力時會不由得眉飛色舞。Julia是一種高層次的、極度快速的表達性語言。它比R語言快,比Python更可擴展,且相當簡單易學。
“它正在一步步成長。使用Julia,你就能夠辦到任何用R和Python可以做到的事情。”Butler說。但是至今為止,年輕人對Julia依然猶豫不前。Julia數據社區還處于早期階段,想要和R語言和Python競爭,它還需要添加更多的軟件包和工具。“它還很年輕,但它正在掀起浪潮并且非常有前途。”Driscoll說。
4.Java
Java,以及基于Java的框架,被發現儼然成為了硅谷高科技公司的骨骼支架。“如果你去看Twitter、LinkedIn和Facebook,那么你會發現,Java是它們所有數據工程基礎設施的基礎語言。”Driscoll說。
雖然,Java不能提供R和Python同樣質量的可視化,并且它并非統計建模的zui佳選擇,但是,如果你移動到過去的原型制作并需要建立大型系統,那么Java往往是你的zui佳選擇。
5.Hadoop
一群基于Java的工具被開發出來以滿足數據處理的巨大需求。Hadoop作為選擇的基于Java的框架用于批處理數據已經點燃了大家的熱情。Hadoop比其他一些處理工具慢,但它出奇地準確,因此被廣泛用于后端分析。
6.Hive
Hive,一個基于查詢并且運行在頂部的框架,可以和Hadoop很好地結對工作。
7.Scala
Scala是另一種基于Java的語言,并且和Java相同的是,它正日益成為大規模機器學習或構建高層次算法的工具。它富有表現力,并且還能夠構建健壯的系統。“Java就像是建造時的鋼鐵,而Scala則像黏土,因為你可以將之放入窯內轉變成鋼鐵。”Driscoll說。
8.Kafka
那么,當你需要快速實時地分析時又該怎么辦呢?Kafka會成為你的好朋友。它大概5年前就已經出現了,但是直到近期才成為流處理的流行框架。
Kafka,誕生于LinkedIn內部,是一個超快速的查詢消息系統。如果你問Kafka的缺點?好吧,它太快了,在實時操作時會導致自身出錯,并且偶爾地會遺漏東西。“在精度和速度之間有一個權衡,”Driscoll說,“因此,硅谷所有的大型高科技公司都會使用兩條管道:Kafka或Storm用于實時處理,然后Hadoop用于批處理系統,此時雖然是緩慢的,但超級準確。”
9.Storm
Storm是用Scala編寫的另一個框架,它在硅谷中因為流處理而受到了大量的青睞。它被Twitter納入其中,勿庸置疑的,這樣一來,Twitter就能在快速事件處理中得到巨大的裨益。
以上就是為大家介紹的大數據處理語言的優缺點和受歡迎度。大數據人才的需求量不言而喻。動力節點的Java老師希望大家學好大數據語言,為自己的職場晉升做好準備。