據(jù)悉，Data Artisans由領(lǐng)導(dǎo)開(kāi)發(fā)Apache Flink(開(kāi)源大規(guī)模數(shù)據(jù)處理技術(shù))的團(tuán)隊(duì)于2014年創(chuàng)立。該創(chuàng)業(yè)公司為包括Netflix，ING，Uber和阿里巴巴在內(nèi)的企業(yè)客戶提供了自己的dA平臺(tái)，包括開(kāi)源Apache Flink和Application Manager。

兩家公司分別在聲明中稱，自2016年以來(lái)，阿里巴巴一直與Data Artisans合作，通過(guò)支持和開(kāi)源工作來(lái)幫助軟件的架構(gòu)和性能。Data Artisans首席執(zhí)行官Kostas Tzoumas表示，阿里巴巴還將向該公司投入一筆未公開(kāi)的資金，用于開(kāi)發(fā)Apache Flink，這是一種可處理大量數(shù)據(jù)的開(kāi)源軟件，并可擴(kuò)展到新的業(yè)務(wù)領(lǐng)域。
 

而阿里巴巴集團(tuán)副總裁周敬仁在一份聲明中表示：“通過(guò)利用兩個(gè)團(tuán)隊(duì)的技術(shù)專長(zhǎng)和共同的熱情來(lái)開(kāi)發(fā)開(kāi)源社區(qū)，我們相信這一戰(zhàn)略合作將進(jìn)一步加強(qiáng)Flink社區(qū)的發(fā)展，加速數(shù)據(jù)處理技術(shù)并幫助開(kāi)放，對(duì)于那些熱衷于流處理和為現(xiàn)代企業(yè)提供實(shí)時(shí)應(yīng)用的全球開(kāi)發(fā)人員來(lái)說(shuō)，這是一個(gè)協(xié)作和建設(shè)性的環(huán)境。”
 

阿里為什么會(huì)選擇Apache Flink
 

隨著人工智能時(shí)代的降臨，數(shù)據(jù)量的爆發(fā)，在典型的大數(shù)據(jù)的業(yè)務(wù)場(chǎng)景下數(shù)據(jù)業(yè)務(wù)最通用的做法是：選用批處理的技術(shù)處理全量數(shù)據(jù)，采用流式計(jì)算處理實(shí)時(shí)增量數(shù)據(jù)。在絕大多數(shù)的業(yè)務(wù)場(chǎng)景之下，用戶的業(yè)務(wù)邏輯在批處理和流處理之中往往是相同的。但是，用戶用于批處理和流處理的兩套計(jì)算引擎是不同的。
 

因此，用戶通常需要寫兩套代碼。毫無(wú)疑問(wèn)，這帶來(lái)了一些額外的負(fù)擔(dān)和成本。阿里巴巴的商品數(shù)據(jù)處理就經(jīng)常需要面對(duì)增量和全量?jī)商撞煌臉I(yè)務(wù)流程問(wèn)題，所以阿里就在想，我們能不能有一套統(tǒng)一的大數(shù)據(jù)引擎技術(shù)，用戶只需要根據(jù)自己的業(yè)務(wù)邏輯開(kāi)發(fā)一套代碼。這樣在各種不同的場(chǎng)景下，不管是全量數(shù)據(jù)還是增量數(shù)據(jù)，亦或者實(shí)時(shí)處理，一套方案即可全部支持，這就是阿里選擇Flink的背景和初衷。
 

這筆交易讓人回想起阿里巴巴2017年對(duì)MariaDB的投資，這是一家開(kāi)源創(chuàng)業(yè)公司，以提供MySQL最受歡迎的替代品：數(shù)據(jù)庫(kù)管理系統(tǒng)而聞名。雖然不是完整的收購(gòu)，但合作伙伴關(guān)系已經(jīng)看到兩家公司合作為社區(qū)開(kāi)發(fā)新產(chǎn)品，這也是這里的目標(biāo)。
 

轉(zhuǎn)向開(kāi)源和基礎(chǔ)架構(gòu)技術(shù)對(duì)于阿里巴巴來(lái)說(shuō)是非常有意義的，眾所周知，阿里巴巴以電子商務(wù)而聞名，但同時(shí)也提供云業(yè)務(wù)，流媒體等服務(wù)。據(jù)悉，公司上一季度的凈利潤(rùn)為26.6億美元，營(yíng)收為124億美元，阿里巴巴肯定有足夠的資金來(lái)實(shí)施這一戰(zhàn)略。
 

當(dāng)被問(wèn)及為什么阿里巴巴進(jìn)行收購(gòu)而不是繼續(xù)合伙或投資時(shí)，阿里巴巴副總裁周敬仁表示：“我們有信心在技術(shù)和社區(qū)發(fā)展方面為Flink做出更多貢獻(xiàn)。這是兩個(gè)團(tuán)隊(duì)聚集在一起的共同愿景和有效的工作關(guān)系。我們感謝彼此學(xué)習(xí)，努力使數(shù)據(jù)處理開(kāi)源社區(qū)更加開(kāi)放，協(xié)作和多樣化。”
 

周敬仁同時(shí)也表示：“自2016年以來(lái)，我們一直是Data Artisans的強(qiáng)大合作伙伴，我們一直都熱衷于使用開(kāi)源流處理框架來(lái)統(tǒng)一實(shí)時(shí)事件驅(qū)動(dòng)的應(yīng)用程序和實(shí)時(shí)分析。Data Artisans和阿里巴巴已經(jīng)參與Apache Flink社區(qū)多年，絕對(duì)尊重Apache軟件基金會(huì)的精神，我們打算繼續(xù)這樣做。”
 

Apache Flink現(xiàn)狀
 

Flink是一個(gè)低延遲、高吞吐、統(tǒng)一的大數(shù)據(jù)計(jì)算引擎。在阿里巴巴的生產(chǎn)環(huán)境中，F(xiàn)link的計(jì)算平臺(tái)可以實(shí)現(xiàn)毫秒級(jí)的延遲情況下，每秒鐘處理上億次的消息或者事件。同時(shí)Flink提供了一個(gè)Exactly-once的一致性語(yǔ)義。保證了數(shù)據(jù)的正確性。這樣就使得Flink大數(shù)據(jù)引擎可以提供金融級(jí)的數(shù)據(jù)處理能力。
 

基于Apache Flink在阿里巴巴搭建的平臺(tái)于2016年正式上線，并從阿里巴巴的搜索和推薦這兩大場(chǎng)景開(kāi)始實(shí)現(xiàn)。目前阿里巴巴所有的業(yè)務(wù)，包括阿里巴巴所有子公司都采用了基于Flink搭建的實(shí)時(shí)計(jì)算平臺(tái)。同時(shí)Flink計(jì)算平臺(tái)運(yùn)行在開(kāi)源的Hadoop集群之上。采用Hadoop的YARN做為資源管理調(diào)度，以 HDFS作為數(shù)據(jù)存儲(chǔ)。因此，F(xiàn)link可以和開(kāi)源大數(shù)據(jù)軟件Hadoop無(wú)縫對(duì)接。
 

目前，這套基于Flink搭建的實(shí)時(shí)計(jì)算平臺(tái)不僅服務(wù)于阿里巴巴集團(tuán)內(nèi)部，而且通過(guò)阿里云的云產(chǎn)品API向整個(gè)開(kāi)發(fā)者生態(tài)提供基于Flink的云產(chǎn)品支持。
 

阿里巴巴自2015 年開(kāi)始改進(jìn)Flink，并創(chuàng)建了內(nèi)部分支Blink，目前服務(wù)于阿里集團(tuán)內(nèi)部搜索、推薦、廣告和螞蟻等大量核心實(shí)時(shí)業(yè)務(wù)。12 月20 日，由阿里巴巴承辦的Flink Forward China 峰會(huì)在北京國(guó)家會(huì)議中心召開(kāi)，來(lái)自阿里、華為、騰訊、美團(tuán)點(diǎn)評(píng)、滴滴、字節(jié)跳動(dòng)等公司的技術(shù)專家與參會(huì)者分享了各公司基于Flink 的應(yīng)用和實(shí)踐經(jīng)驗(yàn)。在大會(huì)的主題演講上，阿里巴巴集團(tuán)副總裁周靖人宣布，阿里巴巴內(nèi)部Flink 版本Blink 將于2019 年1 月正式開(kāi)源，之后會(huì)經(jīng)過(guò)社區(qū)討論合并回Flink。