1 制造大數(shù)據(jù)的產(chǎn)生和研究現(xiàn)狀

1.1 制造大數(shù)據(jù)的研究現(xiàn)狀

    大數(shù)據(jù)一詞在《The Third Wave》一書中最早被提出后，在農業(yè)、交通、金融、醫(yī)療、遙感等行業(yè)得到了充分的發(fā)展和應用，制造業(yè)也不例外，尤其在2013年的《中國大數(shù)據(jù)技術與產(chǎn)業(yè)發(fā)展白皮書》中，明確指出在制造業(yè)采用大數(shù)據(jù)技術可以減少20%到50%的產(chǎn)品開發(fā)時間，促進制造業(yè)的轉型升級；在2014年的《大數(shù)據(jù)標準化白皮書》中強調必須推動大數(shù)據(jù)在大規(guī)模制造業(yè)生產(chǎn)過程中的應用，鼓勵企業(yè)運用大數(shù)據(jù)開展個性化定制，創(chuàng)新生產(chǎn)管理模式，降低生產(chǎn)成本，提高企業(yè)競爭力。

    文獻[1]提出一種基于服務的制造數(shù)據(jù)管理方法，實現(xiàn)了產(chǎn)品研制和生產(chǎn)制造過程的有效管理；文獻[2]利用物聯(lián)網(wǎng)技術加強制造信息的管理和服務，旨在利用大數(shù)據(jù)技術構建一個高效節(jié)能、綠色環(huán)保的人性化工廠；文獻[3]利用RFID技術實現(xiàn)生產(chǎn)制造過程的工人、工序、工件、工時的實時統(tǒng)計和分析，便于質量管理和追溯的目的；文獻[4]提出一套制造執(zhí)行系統(tǒng)的關鍵技術體系和實現(xiàn)框架，為解決生產(chǎn)制造過程實時數(shù)據(jù)采集和傳輸提供了技術支持；文獻[5]闡述了一種融合RFID和條形碼的生產(chǎn)制造過程自動識別技術；文獻[6]通過對制造單元感知實體屬性和感知設備方面的分析，實現(xiàn)對生產(chǎn)線制造過程的實時跟蹤、精確管理。

    綜上文獻資料，學術界近幾年對制造領域的數(shù)據(jù)分析和處理進行了大量的科學研究。隨著制造業(yè)信息化進程的推進，制造業(yè)產(chǎn)生的數(shù)據(jù)量呈爆炸式增長趨勢，傳統(tǒng)的數(shù)據(jù)分析和挖掘算法在數(shù)據(jù)維度和規(guī)模增大時，需要的內存和硬件資源呈指數(shù)級增長，尤其是處理PB級別數(shù)據(jù)量時，其時空復雜度表現(xiàn)為線性增長，超出人們能夠忍受的正常范圍，急需更簡單有效的算法來解決當前的問題。本文在闡述制造大數(shù)據(jù)研究現(xiàn)狀的基礎上，綜合分析其來源，給出制造大數(shù)據(jù)的定義，并提出一種制造大數(shù)據(jù)的技術架構，同時展開其關鍵技術的探討。

1.2 制造大數(shù)據(jù)的產(chǎn)生

    E-works的黃培博士早在2012績效年會開幕致辭《中國制造業(yè)的大數(shù)據(jù)時代》中提到制造業(yè)處于數(shù)據(jù)爆炸的時代。車間的產(chǎn)品數(shù)據(jù)，流通階段的運營數(shù)據(jù)，客戶、廠商和合作者之間的價值鏈數(shù)據(jù)、市場的輿情數(shù)據(jù)、行業(yè)競爭對手的數(shù)據(jù)、國家政策信息以及PDM、MES、ERP、CRM、SCM、CAD/M/E、CAPP等軟件和RFID射頻識別、物聯(lián)網(wǎng)、傳感器、電子標簽、互聯(lián)網(wǎng)+等技術在制造業(yè)的廣泛應用，促進了制造模式的創(chuàng)新，產(chǎn)生了制造大數(shù)據(jù)。

1.3 制造大數(shù)據(jù)的概念

    目前業(yè)界對大數(shù)據(jù)的定義尚有爭議，研究機構Gartner認為“大數(shù)據(jù)”是在新處理模式下具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)；麥肯錫給出的定義是：一種在獲取、存儲、管理、分析方面規(guī)模巨大，超出了傳統(tǒng)軟件工具能力范圍的數(shù)據(jù)集合，具有海量的數(shù)據(jù)規(guī)模、快速的數(shù)據(jù)流轉、多樣的數(shù)據(jù)類型和價值密度低四大特征^[7-8]，后者的觀點更能得到業(yè)界的普遍認同。

    綜合各界對大數(shù)據(jù)的闡述，結合制造業(yè)信息化的概念及應用^[9]，將制造大數(shù)據(jù)定義為：制造業(yè)通過網(wǎng)絡化、數(shù)字化形成的海量異構制造行業(yè)數(shù)據(jù)資產(chǎn)匯聚，通過信息驅動的制造行業(yè)數(shù)據(jù)資源應用，為改造和提升制造業(yè)創(chuàng)新制造及服務能力、促進轉型升級、實現(xiàn)智慧制造提供了支撐^[10]。

2 制造大數(shù)據(jù)的技術架構

2.1 制造大數(shù)據(jù)處理流程分析

    制造大數(shù)據(jù)的處理流程^[11]如圖1所示，主要包括以下部分：(1)傳感器，是制造大數(shù)據(jù)的主要采集工具；(2)采集中間件，負責源數(shù)據(jù)的采集，同時對數(shù)據(jù)預處理，消除數(shù)據(jù)不確定性，規(guī)范化處理數(shù)據(jù)；(3)存儲中間件，制造大數(shù)據(jù)具有海量、異構、實時、多源的特點，從而要求存儲設備實現(xiàn)性能和容量的線性擴展；(4)處理中間件，數(shù)據(jù)處理離不開規(guī)則約束下的有效挖掘，因此，高效的人工智能、機械學習、數(shù)據(jù)挖掘算法是基礎技術；(5)安全管理中間件，制造大數(shù)據(jù)的應用絕大部分用于車間、工廠、企業(yè)、市場，其數(shù)據(jù)的安全性和準確性直接關系到應用的有效性；(6)制造大數(shù)據(jù)應用，是制造業(yè)信息化、網(wǎng)絡化、智能化的最終體現(xiàn)。

2.2 制造大數(shù)據(jù)技術架構分析

    基于數(shù)據(jù)驅動的制造大數(shù)據(jù)處理流程分析，提出如圖2所示的制造大數(shù)據(jù)技術架構，主要包括數(shù)據(jù)采集、預處理、分析、應用4個部分^[12-13]。(1)數(shù)據(jù)采集，以傳感器為主要采集工具，結合FRID、條碼掃描器、生產(chǎn)和監(jiān)測設備、PDA、人機交互、智能終端等手段采集制造領域多源、異構數(shù)據(jù)信息，并通過互聯(lián)網(wǎng)等技術實現(xiàn)源數(shù)據(jù)的實時準確傳輸。采集的源數(shù)據(jù)歸納起來一共是結構化、半結構化、非結構化三類數(shù)據(jù)，相應的數(shù)據(jù)說明如表1所示。(2)數(shù)據(jù)預處理，首次采集獲得的源數(shù)據(jù)是多維異構的，為避免噪音或干擾項給后期分析帶來的困難，必須執(zhí)行同構化處理，同時將處理結果有效存儲在性能和容量都能線性擴展的分布式數(shù)據(jù)庫中。數(shù)據(jù)預處理包括四個步驟^[14]：數(shù)據(jù)清洗、數(shù)據(jù)交換、數(shù)據(jù)集成、數(shù)據(jù)歸約；(3)數(shù)據(jù)分析，在傳統(tǒng)數(shù)據(jù)挖掘的基礎上，結合新興的云計算、Hadoop、專家系統(tǒng)等對同構數(shù)據(jù)執(zhí)行高效準確地分析運算，并用可視化技術展示結果；(4)數(shù)據(jù)應用，主要應用于車間、工廠的流程管控和優(yōu)化，產(chǎn)品研發(fā)的決策支持，質量檢測和故障預警，供應鏈優(yōu)化等方面。

2.3 制造大數(shù)據(jù)關鍵技術分析

    制造系統(tǒng)中不僅包括制造設備軟硬件，還包括制造工藝等多維異構數(shù)據(jù)。提高采集、分析和處理制造數(shù)據(jù)的能力，真實客觀地反映制造過程，是確保生產(chǎn)制造過程高效、可靠的關鍵。其中，云計算是基礎；分布式文件系統(tǒng)為其提供數(shù)據(jù)存儲架構；分布式數(shù)據(jù)庫便于數(shù)據(jù)管理，同時提供高效的訪問速度；MapReduce等技術對異構數(shù)據(jù)進行分析處理，最后利用可視化技術形象生動地呈現(xiàn)在用戶眼前，滿足用戶需求。

    (1)云計算

    在海量制造數(shù)據(jù)面前，如何分析、提取有效信息是企業(yè)的當務之急。來自公有云、私有云和混合云之上的強大的云計算能力^[15]，是提取大數(shù)據(jù)價值的前提。云計算的核心服務包括三種類型：SaaS、PaaS和IaaS^[16]。

    (2)分布式技術

    分布式文件系統(tǒng)是指管理模式下的實際存儲資源，有的與本地節(jié)點直接物理連接，有的則通過互聯(lián)網(wǎng)與本地相連^[17]。目前常見的分布式文件系統(tǒng)有GFS、S3、TFS等。

    分布式數(shù)據(jù)庫的基本思想是將原來集中式關系型數(shù)據(jù)庫中的數(shù)據(jù)分散存儲到多個通過網(wǎng)絡連接的數(shù)據(jù)存儲節(jié)點上，以獲取更大的存儲容量和更高的并發(fā)訪問量。目前常見的分布式數(shù)據(jù)庫有BigTable、PNUTS和Dynamo等。

    (3)MapReduce技術

    MapReduce是基于Hadoop分布式平臺下的一種計算機編程模型，適用于大規(guī)模數(shù)據(jù)集的并行計算，它為底層程序員提供了一種快速開發(fā)、分析處理海量數(shù)據(jù)的環(huán)境，并且使這種模型下開發(fā)出來的程序能夠在一些大型的商業(yè)集群上以一種高速、穩(wěn)定、容錯的方式運行^[18-19]。

    (4)可視化技術

    數(shù)據(jù)可視化主要是借助于圖形化手段，清晰有效地傳達與溝通信息，便于非專業(yè)人士根據(jù)需要從不同的角度觀察和分析數(shù)據(jù)。如今，可視化的研究和應用已經(jīng)覆蓋了科研界、企業(yè)界、社交網(wǎng)絡等多個領域。目前常用的可視化工具有FushionCarts、Tableau、Dipity等。

3 制造大數(shù)據(jù)的應用

    (1)基于制造大數(shù)據(jù)的產(chǎn)品研發(fā)決策與優(yōu)化

    美國的福特汽車公司利用大數(shù)據(jù)分析的技術，打破公司內部數(shù)據(jù)孤島，通過分析外部收集的數(shù)據(jù)和內部反饋的詳細數(shù)據(jù)，探索最佳工藝指標和生產(chǎn)流程，改進或幫助改變其業(yè)務模式，對內指導公司生產(chǎn)流水線，提高產(chǎn)品質量，對外推廣市場，贏得較好的口碑和效益，使得福特實現(xiàn)了連續(xù)17個季度盈利。

    (2)基于制造大數(shù)據(jù)的生產(chǎn)流程管控與優(yōu)化

    家居行業(yè)的尚品宅配利用大數(shù)據(jù)分析的技術，串聯(lián)整個產(chǎn)業(yè)鏈，實現(xiàn)了柔性生產(chǎn)和大規(guī)模定制。通過收集樓盤、房型數(shù)據(jù)建立房型庫，再擴展到產(chǎn)品庫、設計庫、解決方案庫的三位一體，形成云設計庫?；诖?，公司產(chǎn)能提高了10倍，出錯率則從30%下降到了3%以下，交貨周期從30天縮短到了15天以內，實現(xiàn)了徹底的零庫存。

    (3)基于制造大數(shù)據(jù)的價值鏈集成和綜合決策

    中國石油依托大數(shù)據(jù)技術發(fā)展其“資源、市場、國際化”的戰(zhàn)略。首先，通過挖掘數(shù)據(jù)潛在價值，實現(xiàn)新的油氣增產(chǎn)；其次，通過完善數(shù)據(jù)收集分析和監(jiān)測體系，擴大市場份額；最后，通過對重點資源國地緣政治、經(jīng)濟動態(tài)的分析和把握，建立良性互動的競爭合作關系，從而為正確實施“走出去”戰(zhàn)略，降低海外投資風險提供保障。

4 制造大數(shù)據(jù)的挑戰(zhàn)

    結合我國制造業(yè)的現(xiàn)狀和大數(shù)據(jù)的瓶頸，制造大數(shù)據(jù)帶來的挑戰(zhàn)表現(xiàn)為以下幾點：

    (1)制造大數(shù)據(jù)多源異構融合的復雜性

    制造大數(shù)據(jù)來源廣泛，種類繁多，關系繁雜。目前缺乏對實時、多源、不確定數(shù)據(jù)的有效自動識別和獲取的解決方案，致使數(shù)據(jù)質量參差不齊，難以實現(xiàn)低成本、低能耗、高可靠性的目標。如何構建融合多源異構數(shù)據(jù)的泛化模型是制造大數(shù)據(jù)在感知、分析和處理時面臨的巨大挑戰(zhàn)。

    (2)制造大數(shù)據(jù)團隊的核心技術和運營理念

    中國的制造業(yè)大而不強，源于兩個因素：核心技術依賴于國外、缺乏資源整合和運作的團隊領導能力。大數(shù)據(jù)的熱潮帶來了創(chuàng)新的思維模式和革新的信息技術，實現(xiàn)技術升級和管理升級是中國制造業(yè)面臨的迫切需求。因此，如何培養(yǎng)一批“懂中國”、“懂技術”、“懂管理”的本土專業(yè)人才是當前面臨的又一大挑戰(zhàn)。

    (3)制造大數(shù)據(jù)技術有效實施的安全手段

    制造大數(shù)據(jù)自身的特點決定了其處理方式的多樣性、靈活性和廣泛性，大量數(shù)據(jù)信息跨界傳送，使得安全問題相伴而生。黑客、病毒、人為故障、自然災害等因素都是潛在的安全隱患。常用的數(shù)據(jù)保護措施不再適用，如何開發(fā)出行之有效的保密手段將是下一階段的難點之一。

5 制造大數(shù)據(jù)展望

    兩化深度融合、發(fā)展戰(zhàn)略性新興產(chǎn)業(yè)和先進制造業(yè)是保持我國制造業(yè)競爭優(yōu)勢的重要支撐。未來十年是我國制造業(yè)依靠制造大數(shù)據(jù)技術轉型升級，從“制造大國”走向“制造強國”的關鍵時期。通過大力推行數(shù)字化、網(wǎng)絡化、智能化手段，提高創(chuàng)新設計能力，提升產(chǎn)品質量，主要發(fā)展以下方向：

    (1)基于制造大數(shù)據(jù)的可持續(xù)發(fā)展

    可持續(xù)生產(chǎn)發(fā)展關鍵的兩個方面是能源消耗的最小化和廢物排放最少化。因此，制造產(chǎn)品全生命周期中對環(huán)境資源的一體化需求驅使用戶思考和使用新的決策工具。借助于制造大數(shù)據(jù)的契機，積極推進制造業(yè)的轉型升級，通過采集、存儲、分析制造業(yè)的大數(shù)據(jù)有望實現(xiàn)制造業(yè)資源的浪費最小化和能源最大化利用的目標。

    (2)基于制造大數(shù)據(jù)的智慧制造

    在制造業(yè)轉型升級過程中，制造業(yè)正朝著數(shù)字化、信息化、網(wǎng)絡化、綠色化為一體的智慧制造方向前進。在未來一段時期，基于制造大數(shù)據(jù)技術的智慧制造企業(yè)將支撐起中國制造業(yè)的可持續(xù)發(fā)展，智慧工廠就是一個典型。在智慧工廠中，通過人與智能設備的有機協(xié)作，利用物聯(lián)網(wǎng)感知監(jiān)控技術加強生產(chǎn)線的可控性，最終提升企業(yè)競爭力，促進工業(yè)增長。

    (3)基于制造大數(shù)據(jù)的互聯(lián)網(wǎng)+協(xié)同制造

    依托互聯(lián)網(wǎng)+，制造業(yè)需要通過兩化深度融合，利用制造大數(shù)據(jù)技術實現(xiàn)用戶、車間、工廠、企業(yè)等各個環(huán)節(jié)數(shù)據(jù)的快速傳遞，構建網(wǎng)絡化協(xié)同制造公共服務平臺，加快形成網(wǎng)絡化制造業(yè)生態(tài)體系，實現(xiàn)產(chǎn)品全生命周期的互聯(lián)、互通、協(xié)同，真正滿足市場客戶的個性化定制需求，使企業(yè)實現(xiàn)從單純制造向“制造+服務”的轉型升級，最終促進國民經(jīng)濟的發(fā)展。

參考文獻

[1] 劉威，喬立紅，楊建軍.基于服務的制造數(shù)據(jù)管理[J].計算機集成制造系統(tǒng)，2009(7)：1342-1348.

[2] JAMES T.Smart factories[J].Engineering and Technology，2012，7(6)：64-67.

[3] YAO X，DAI H，ZHANG Z.RFID-enhanced integrated manufacturing for Job-shop floor problems[J].Icic Express Letters Part B Applications，2011(2)：319-324.

[4] 張映鋒，趙曦濱，孫樹棟，等.一種基于物聯(lián)技術的制造執(zhí)行系統(tǒng)實現(xiàn)方法與關鍵技術[J].計算機集成制造系統(tǒng)，2012(12)：2634-2642.

[5] LIU W N，ZHENG L J，SUN D H，et al.RFID-enabled real-time production management system for Loncin motorcycle assembly line[J].International Journal of Computer Integrated Manufacturing，2012，25(1)：86-99.

[6] 彭煜.制造單元物聯(lián)感知關鍵技術的研究與實踐[D].武漢：武漢理工大學，2013.

[7] 王珊，王會舉，覃雄派，等.架構大數(shù)據(jù):挑戰(zhàn)、現(xiàn)狀與展望[J].計算機學報，2011(10)：1741-1752.

[8] 王元卓，靳小龍，程學旗.網(wǎng)絡大數(shù)據(jù):現(xiàn)狀與展望[J].計算機學報，2013(6)：1125-1138.

[9] 顧新建，張棟，紀楊建，等.制造業(yè)服務化和信息化融合技術[J].計算機集成制造系統(tǒng)，2010(11)：2530-2536.

[10] 陳偉興，李少波，黃海松.離散型制造物聯(lián)過程數(shù)據(jù)主動感知及管理模型[J].計算機集成制造系統(tǒng)，2016(1)：166-176.

[11] 張桂剛，畢婭，李超，等.海量物聯(lián)網(wǎng)數(shù)據(jù)安全處理模型研究[J].小型微型計算機系統(tǒng)，2013(9)：2090-2094.

[12] 孟小峰，慈祥.大數(shù)據(jù)管理:概念、技術與挑戰(zhàn)[J].計算機研究與發(fā)展，2013(1)：146-169.

[13] 劉智慧，張泉靈.大數(shù)據(jù)技術研究綜述[J].浙江大學學報(工學版)，2014(6)：957-972.

[14] HUANG J，LI Y F，XIE M.An empirical analysis of data preprocessing for machine learning-based software cost estimation[J].Information & Software Technology，2015，67：108-127.

[15] MELL P，GRANCE T.The NIST definition of cloud computing[J].National Institute of Standards and Technology，2009，53(6)：50.

[16] QI Z，LU C，BOUTABA R.Cloud computing: state-of-the-art and research challenges[J].Journal of Internet Services & Applications，2010，1(1)：7-18.

[17] 周江，王偉平，孟丹，等.面向大數(shù)據(jù)分析的分布式文件系統(tǒng)關鍵技術[J].計算機研究與發(fā)展，2014(2)：382-394.

[18] 覃雄派，王會舉，杜小勇，等.大數(shù)據(jù)分析——RDBMS與MapReduce的競爭與共生[J].軟件學報，2012(1)：32-45.

[19] XIAO Z，XIAO Y.Achieving Accountable MapReduce in cloud computing[J].Future Generation Computer Systems，2014，30(1)：1-13.