前言

　　工業(yè)大數(shù)據(jù)日漸成為工業(yè)發(fā)展最寶貴的戰(zhàn)略資源，全球工業(yè)大數(shù)據(jù)的競(jìng)爭(zhēng)變得愈發(fā)激烈。但是工業(yè)數(shù)據(jù)采集過(guò)程中面臨的痛點(diǎn)較多，因設(shè)備不互聯(lián)、通信協(xié)議不兼容等問(wèn)題，造成數(shù)據(jù)不匹配、不互認(rèn)，數(shù)據(jù)孤島現(xiàn)象普遍，降低了數(shù)據(jù)的使用率。這些問(wèn)題需要數(shù)據(jù)轉(zhuǎn)換和協(xié)調(diào)技術(shù)來(lái)解決，虹科流分析解決方案是解決這類(lèi)問(wèn)題的最佳工具。

　　虹科流分析解決方案包括以下兩部分：

　　1、數(shù)據(jù)轉(zhuǎn)換

　　2、數(shù)據(jù)協(xié)調(diào)

　　數(shù)據(jù)轉(zhuǎn)換

　　轉(zhuǎn)換和協(xié)調(diào)是密切相關(guān)的，進(jìn)行數(shù)據(jù)協(xié)調(diào)之前，需要針對(duì)不同的數(shù)據(jù)來(lái)源進(jìn)行數(shù)據(jù)格式轉(zhuǎn)換，將它們轉(zhuǎn)換成一種通用的格式。下面介紹兩種典型的轉(zhuǎn)換。

　　轉(zhuǎn)換可分為結(jié)構(gòu)轉(zhuǎn)換和內(nèi)容轉(zhuǎn)換兩大類(lèi)：

　　1、結(jié)構(gòu)轉(zhuǎn)換

　　只處理數(shù)據(jù)的格式，例如:等級(jí)結(jié)構(gòu)，數(shù)組，對(duì)象，命名約定。

　　數(shù)據(jù)結(jié)構(gòu)的轉(zhuǎn)換形式取決于您的需求，可根據(jù)數(shù)據(jù)的輸入/輸出格式任意轉(zhuǎn)換。

　　2、內(nèi)容轉(zhuǎn)換

　　改變數(shù)據(jù)的實(shí)際內(nèi)容，例如:縮放值(如更改單位)，改變分辨率/采樣率，刪除異常值和缺失值，消除噪音。

　　下面我們將舉例說(shuō)明：

　　我們想得到PLC中寄存器5在每一秒的值，并存儲(chǔ)在數(shù)據(jù)庫(kù)中。來(lái)自 PLC 的數(shù)據(jù)如下:

　　[

　　{“Name”: “Reg1”, “Value”: 77},

　　{“Name”: “Reg2”, “Value”: 935},

　　{“Name”: “Reg3”, “Value”: “True”},

　　{“Name”: “Reg4”, “Value”: 18594},

　　{“Name”: “Reg5”, “Value”: “Good”}

　　]

　　每個(gè)寄存器得到一個(gè)對(duì)象數(shù)組，每個(gè)對(duì)象都有相應(yīng)的“Name”和“Value”屬性。

　　數(shù)據(jù)庫(kù)需要鍵/值映射，以便在添加新數(shù)據(jù)行時(shí)將值映射到正確的列。我們想要的輸出應(yīng)該是這樣的:

　　{

　　“Temperature”: 25,

　　“RPM”: 935,

　　“Running”: true,

　　“Pressure”: 12.5,

　　“Quality”: “Good”

　　}

　　讓我們看看我們需要做什么來(lái)得到這個(gè)輸出，從我們采集的輸入數(shù)據(jù)開(kāi)始。

　　1.首先是結(jié)構(gòu)轉(zhuǎn)換:

　　· 必須將具有名稱(chēng)/值屬性的數(shù)組更改為具有鍵/值對(duì)的對(duì)象

　　· 我們從PLC得到的名稱(chēng)必須替換為數(shù)據(jù)庫(kù)中正確的列名

　　2.還需進(jìn)行內(nèi)容轉(zhuǎn)換:

　　· 從PLC 得到的溫度值需要進(jìn)行單位轉(zhuǎn)換。采集到的溫度數(shù)據(jù)是以華氏度為單位，而數(shù)據(jù)庫(kù)需要攝氏度

　　· 運(yùn)行狀態(tài)以字符串的形式傳遞，而數(shù)據(jù)庫(kù)需要一個(gè)布爾值

　　· 壓力值作為一個(gè)范圍為0-65535的16位整數(shù)傳遞，而它實(shí)際上表示一個(gè)在0-100psi之間的模擬值，因此要進(jìn)行縮放。

　　此示例顯示了在處理機(jī)器數(shù)據(jù)時(shí)可能遇到的一些基本轉(zhuǎn)換。通過(guò)使用虹科Crosser模塊庫(kù)的標(biāo)準(zhǔn)函數(shù)的虹科流分析系統(tǒng)，實(shí)現(xiàn)這些類(lèi)型的轉(zhuǎn)換很容易。上面的轉(zhuǎn)換將在處理流程中完成，如下:

　　使用庫(kù)中的其他標(biāo)準(zhǔn)模塊，可以將其他轉(zhuǎn)換添加到上面的流中，例如去除異常值/噪點(diǎn)和改變分辨率(聚合/過(guò)濾)。

　　數(shù)據(jù)協(xié)調(diào)

　　當(dāng)我們擁有不同格式的多個(gè)數(shù)據(jù)源時(shí)，數(shù)據(jù)協(xié)調(diào)就會(huì)發(fā)揮作用，我們希望將數(shù)據(jù)組合起來(lái)，以便我們能夠以獨(dú)立于原始數(shù)據(jù)源的相同方式處理數(shù)據(jù)。為了協(xié)調(diào)數(shù)據(jù)，我們通常對(duì)每個(gè)數(shù)據(jù)源應(yīng)用不同的轉(zhuǎn)換以生成通用格式。

　　上面的示例還在輸出之前引入了一個(gè)轉(zhuǎn)換。某些情況下，需要將每個(gè)輸入轉(zhuǎn)換為一種優(yōu)化的格式，以便進(jìn)行處理，然后在輸出之前再次進(jìn)行轉(zhuǎn)換，使數(shù)據(jù)適應(yīng)接收系統(tǒng)的要求。每個(gè)輸入的轉(zhuǎn)換類(lèi)型與上面描述的相同。

　　在統(tǒng)一來(lái)自多個(gè)來(lái)源的時(shí)間序列數(shù)據(jù)時(shí)，可能還有一個(gè)必須處理的額外問(wèn)題: 來(lái)自不同來(lái)源的數(shù)據(jù)在不同時(shí)間到達(dá)或采樣率不同。

　　根據(jù)處理和/或接收系統(tǒng)的要求，我們可能必須按照常用的時(shí)間步驟對(duì)數(shù)據(jù)進(jìn)行校準(zhǔn)。這可以通過(guò)移動(dòng)數(shù)據(jù)(采樣率相同的情況下) ，或者通過(guò)插值/聚合數(shù)據(jù)(采樣率不同的情況下)來(lái)實(shí)現(xiàn)。

　　如果數(shù)據(jù)將與機(jī)器學(xué)習(xí)模型一起使用，這些模型期望每個(gè)新樣本都包含來(lái)自模型所需要的每個(gè)源的數(shù)據(jù)。當(dāng)我們?cè)谀骋粫r(shí)間從一個(gè)源丟失數(shù)據(jù)時(shí)，要填充一個(gè)值，例如重復(fù)最后一個(gè)已知值或使用已接收到的數(shù)據(jù)插值一個(gè)值，把數(shù)據(jù)丟失的影響降到最低。這些功能可以很容易地使用 Crosser 庫(kù)中的標(biāo)準(zhǔn)模塊實(shí)現(xiàn)。

　　結(jié)論

　　虹科Crosser提供了實(shí)時(shí)的數(shù)據(jù)流分析工具，幫助您增加數(shù)據(jù)的可用性，提高不同來(lái)源的數(shù)據(jù)匹配度，通過(guò)簡(jiǎn)單操作，滿(mǎn)足您的處理需求和分析需求，獲得數(shù)據(jù)優(yōu)化的洞察力。

　　附錄-虹科Crosser數(shù)據(jù)流智能分析軟件

　　虹科Crosser數(shù)據(jù)流智能分析軟件是一款能滿(mǎn)足您所有實(shí)時(shí)需求的平臺(tái)。以Crosser云為核心，完成設(shè)計(jì)和編程過(guò)程。Crosser節(jié)點(diǎn)配合Crosser云，作為實(shí)時(shí)引擎，按需安裝在邊緣。虹科數(shù)據(jù)流智能分析軟件可實(shí)現(xiàn)靠近數(shù)據(jù)源處理數(shù)據(jù)，解決數(shù)據(jù)傳輸和延遲問(wèn)題，并輕松構(gòu)建節(jié)點(diǎn)網(wǎng)絡(luò)。

（轉(zhuǎn)載）