本發(fā)明涉及一種工程機(jī)械的控制系統(tǒng)及方法。更詳細(xì)地，涉及用于在諸如輪式裝載機(jī)、挖掘機(jī)等的工程機(jī)械進(jìn)行作業(yè)或行駛時(shí)認(rèn)知前方障礙物的控制系統(tǒng)及利用其的工程機(jī)械的控制方法。

背景技術(shù)：

1、挖掘機(jī)、輪式裝載機(jī)等工程機(jī)械廣泛用于在建筑工地進(jìn)行挖掘并運(yùn)輸諸如土、沙等裝載物，并裝載到諸如自卸車的貨車的作業(yè)等。這些作業(yè)是通過(guò)驅(qū)動(dòng)如鏟斗和動(dòng)臂等設(shè)置在工程機(jī)械中的作業(yè)裝置來(lái)執(zhí)行的。但是，上述作業(yè)裝置在驅(qū)動(dòng)或行駛過(guò)程中可能會(huì)遮擋或限制作業(yè)者的前方視野，如上所述的作業(yè)裝置對(duì)作業(yè)者前方視野的妨礙可能會(huì)成為引發(fā)安全事故的原因。

技術(shù)實(shí)現(xiàn)思路

1、技術(shù)問(wèn)題

2、本發(fā)明的一課題在于，提供一種能夠改善被作業(yè)裝置限制的前方視野的工程機(jī)械的控制系統(tǒng)。

3、本發(fā)明的另一課題在于，提供一種利用上述控制系統(tǒng)的工程機(jī)械的控制方法。

4、技術(shù)方案

5、用于達(dá)成所述本發(fā)明的一課題的示例性的實(shí)施例的工程機(jī)械的控制系統(tǒng)包括：上部攝像頭，其設(shè)置在后方車身的駕駛室上，拍攝所述駕駛室的前方；下部攝像頭，其設(shè)置在能夠旋轉(zhuǎn)地連接于所述后方車身的前方車身上，拍攝所述前方車身的前方；客體識(shí)別部，其用于在分別由所述上部攝像頭及所述下部攝像頭拍攝的第一影像及第二影像中識(shí)別客體，并決定基于識(shí)別的所述客體的位置的警告信息；影像處理部，其用于將所述第一影像及第二影像合成為一個(gè)影像，并在合成的所述影像中的透明化處理區(qū)域內(nèi)對(duì)所述第一影像及第二影像中的至少一個(gè)影像進(jìn)行透明化處理，并對(duì)所述客體的警告信息進(jìn)行標(biāo)簽處理；以及顯示裝置，其用于顯示標(biāo)記有所述警告信息的合成影像。

6、在示例性的實(shí)施例中，所述客體識(shí)別部可以包括：第一形狀識(shí)別部，其用于在所述第一影像中識(shí)別所述客體并決定所述客體的位置；第二形狀識(shí)別部，其用于在所述第二影像中識(shí)別所述客體并決定所述客體的位置；以及警告信息決定部，其用于基于所述客體的位置決定識(shí)別的所述客體的警告信息。

7、在示例性的實(shí)施例中，當(dāng)識(shí)別的所述客體位于與所述第一影像中的所述透明化處理區(qū)域相對(duì)應(yīng)的第一區(qū)域外部時(shí)，所述警告信息決定部可以以第一標(biāo)簽決定所述警告信息；當(dāng)識(shí)別的所述客體位于與所述第二影像中的所述透明化處理區(qū)域相對(duì)應(yīng)的第二區(qū)域內(nèi)部時(shí)，所述警告信息決定部可以以第二標(biāo)簽決定所述警告信息。

8、在示例性的實(shí)施例中，當(dāng)識(shí)別的所述客體位于所述第一影像中的所述第一區(qū)域外部時(shí)，所述影像處理部可以用第一顏色的邊界框?qū)ψR(shí)別的所述客體進(jìn)行顯示處理；當(dāng)識(shí)別的所述客體位于所述第二影像中的所述第二區(qū)域內(nèi)部時(shí)，所述影像處理部可以用不同于所述第一顏色的第二顏色的邊界框?qū)ψR(shí)別的所述客體進(jìn)行顯示處理。

9、在示例性的實(shí)施例中，所述影像處理部可以在以所述第一影像為基準(zhǔn)對(duì)所述第二影像的一部分進(jìn)行裁切后，將所述第二影像的裁切的影像合成到所述第一影像。

10、在示例性的實(shí)施例中，所述影像處理部可以對(duì)所述第一影像中對(duì)應(yīng)于所述透明化處理區(qū)域的第一區(qū)域以具有第一透明度的方式進(jìn)行透明處理；將所述第二影像中對(duì)應(yīng)于所述透明化處理區(qū)域的第二區(qū)域決定為裁切區(qū)域，并對(duì)決定的所述第二區(qū)域以具有第二透明度的方式進(jìn)行透明處理；并且將從所述第二影像提取的裁切影像合成到所述第一影像。

11、在示例性的實(shí)施例中，所述第一透明度和所述第二透明度可以被設(shè)定得彼此相同或不同。

12、在示例性的實(shí)施例中，所述影像處理部可以將所述第一影像的一部分設(shè)定為第一合成區(qū)域，將所述第二影像的一部分設(shè)定為第二合成區(qū)域，對(duì)所述第二影像的所述第二合成區(qū)域進(jìn)行半透明處理，并將半透明處理的所述第二合成區(qū)域合成到所述第一影像的所述第一合成區(qū)域以制作合成的所述合成影像。

13、在示例性的實(shí)施例中，所述工程機(jī)械的控制系統(tǒng)還可以包括作業(yè)裝置姿勢(shì)檢測(cè)部，所述作業(yè)裝置姿勢(shì)檢測(cè)部用于檢測(cè)前方作業(yè)裝置的姿勢(shì)，所述影像處理部可以根據(jù)由所述作業(yè)裝置姿勢(shì)檢測(cè)部檢測(cè)的所述前方作業(yè)裝置的姿勢(shì)，在所述透明化處理區(qū)域中對(duì)所述第一影像及第二影像中的至少一個(gè)影像進(jìn)行透明化處理。

14、在示例性的實(shí)施例中，所述影像處理部可以在所述前方作業(yè)裝置的至少一部分侵犯已設(shè)定的位置時(shí)在所述透明化處理區(qū)域?qū)λ龅谝挥跋襁M(jìn)行透明化，并且在所述前方作業(yè)裝置未侵犯所述已設(shè)定的位置時(shí)在所述透明化處理區(qū)域?qū)λ龅诙跋襁M(jìn)行透明化。

15、在示例性的實(shí)施例中，所述工程機(jī)械的控制系統(tǒng)還可以包括輸入部，所述輸入部用于設(shè)定所述影像處理部中的影像處理?xiàng)l件。

16、在示例性的實(shí)施例中，所述影像處理?xiàng)l件可以包括所述第一影像及第二影像的透明化轉(zhuǎn)換時(shí)間點(diǎn)或所述透明化處理區(qū)域在所述顯示裝置的整個(gè)顯示區(qū)域中所占的面積。

17、在示例性的實(shí)施例中，所述影像處理部可以在所述透明化處理區(qū)域中處理為用線或虛線等顯示在所述第一影像或述第二影像中被拍攝并透明化的動(dòng)臂或鏟斗外觀的輪廓。

18、在示例性的實(shí)施例中，透明化的所述動(dòng)臂或鏟斗的輪廓可以通過(guò)對(duì)實(shí)際在第一影像或第二影像中被拍攝的動(dòng)臂或鏟斗圖像進(jìn)行透明化處理來(lái)顯示。

19、在示例性的實(shí)施例中，所述影像處理部可以在所述透明化處理區(qū)域中對(duì)所述第一影像及第二影像中結(jié)合于所述前方車身的動(dòng)臂或鏟斗影像選擇性地進(jìn)行透明化處理。

20、在用于達(dá)成上述本發(fā)明的另一課題的示例性的實(shí)施例的工程機(jī)械的控制方法中，從設(shè)置在后方車身的駕駛室上的上部攝像頭獲取所述駕駛室的前方的第一影像。從設(shè)置在能夠旋轉(zhuǎn)地連接于所述后方車身的前方車身上的下部攝像頭獲取所述前方車身的前方的第二影像。在所述第一影像及所述第二影像中識(shí)別客體，并決定基于識(shí)別的所述客體的位置的警告信息。將所述第一影像和第二影像合成為一個(gè)影像。在合成的所述影像中的透明化處理區(qū)域內(nèi)對(duì)所述第一影像及第二影像中的至少一個(gè)影像進(jìn)行透明化處理，并對(duì)所述客體的警告信息進(jìn)行標(biāo)簽處理。通過(guò)顯示裝置顯示標(biāo)記有所述警告信息的合成影像。

21、在示例性的實(shí)施例中，在所述第一影像及所述第二影像中識(shí)別客體，并決定基于識(shí)別的所述客體的位置的警告信息的步驟可以包括：在所述第一影像中識(shí)別所述客體并決定所述客體的位置；在所述第二影像中識(shí)別所述客體并決定所述客體的位置；基于所述客體的位置決定識(shí)別的所述客體的警告信息。

22、在示例性的實(shí)施例中，基于所述客體的位置決定識(shí)別的所述客體的警告信息的步驟可以包括：當(dāng)識(shí)別的所述客體位于與所述第一影像中的所述透明化處理區(qū)域相對(duì)應(yīng)的第一區(qū)域外部時(shí)，以第一標(biāo)簽決定所述警告信息；當(dāng)識(shí)別的所述客體位于與所述第二影像中的所述透明化處理區(qū)域相對(duì)應(yīng)的第二區(qū)域內(nèi)部時(shí)，以第二標(biāo)簽決定所述警告信息。

23、在示例性的實(shí)施例中，對(duì)所述客體的警告信息進(jìn)行標(biāo)簽處理的步驟可以包括：當(dāng)識(shí)別的所述客體位于所述第一影像中的所述第一區(qū)域外部時(shí)，用第一顏色的邊界框?qū)ψR(shí)別的所述客體進(jìn)行顯示處理；當(dāng)識(shí)別的所述客體位于所述第二影像中的所述第二區(qū)域內(nèi)部時(shí)，用不同于所述第一顏色的第二顏色的邊界框?qū)ψR(shí)別的所述客體進(jìn)行顯示處理。

24、在示例性的實(shí)施例中，對(duì)所述第一影像及第二影像中的至少一個(gè)影像進(jìn)行透明化處理的步驟可以包括：在以所述第一影像為基準(zhǔn)對(duì)所述第二影像的一部分進(jìn)行裁切后，將所述第二影像的裁切的影像合成到所述第一影像。

25、在示例性的實(shí)施例中，對(duì)所述第一影像及第二影像中的至少一個(gè)影像進(jìn)行透明化處理的步驟可以包括：對(duì)所述第一影像中對(duì)應(yīng)于所述透明化處理區(qū)域的第一區(qū)域以具有第一透明度的方式進(jìn)行透明處理；將所述第二影像中對(duì)應(yīng)于所述透明化處理區(qū)域的第二區(qū)域決定為裁切區(qū)域，并對(duì)決定的所述第二區(qū)域以具有第二透明度的方式進(jìn)行透明處理；將從所述第二影像提取的裁切影像合成到所述第一影像。

26、在示例性的實(shí)施例中，所述工程機(jī)械的控制方法還可以包括：檢測(cè)前方作業(yè)裝置的姿勢(shì)，在所述透明化處理區(qū)域內(nèi)對(duì)所述第一影像及第二影像中的至少一個(gè)影像進(jìn)行透明化處理的步驟可以包括：根據(jù)檢測(cè)的所述前方作業(yè)裝置的姿勢(shì)對(duì)所述第一影像及第二影像中的至少一個(gè)影像進(jìn)行透明化處理。

27、在示例性的實(shí)施例中，所述工程機(jī)械的控制方法還可以包括：設(shè)定使所述第一影像及第二影像透明化的影像處理?xiàng)l件。

28、在示例性的實(shí)施例中，所述影像處理?xiàng)l件可以包括所述第一影像及第二影像的透明化轉(zhuǎn)換時(shí)間點(diǎn)或所述透明化處理區(qū)域在所述顯示裝置的整個(gè)顯示區(qū)域中所占的面積。

29、發(fā)明的效果

30、根據(jù)示例性的實(shí)施例，可以將從設(shè)置在輪式裝載機(jī)的駕駛室上的上部攝像頭及設(shè)置在前方車身上的下部攝像頭拍攝的所述第一影像和所述第二影像合成為一個(gè)影像，在透明化處理區(qū)域內(nèi)對(duì)所述第一影像及第二影像中的至少一個(gè)影像進(jìn)行透明化處理，并通過(guò)顯示裝置顯示透明化處理的所述影像。

31、與此同時(shí)，可以在所述第一影像及所述第二影像中識(shí)別客體，并決定識(shí)別的所述客體的警告信息?？梢栽谕该骰幚淼乃龊铣捎跋裰袑?duì)識(shí)別的所述客體的警告信息進(jìn)行標(biāo)簽處理。當(dāng)識(shí)別的所述客體處于碰撞可能性高的位置時(shí)，可以用紅色邊界框?qū)ψR(shí)別的所述客體進(jìn)行顯示處理。在這樣的碰撞可能性較高的狀況下，可以在合成的所述影像中針對(duì)所述透明化處理區(qū)域內(nèi)部合成紅色圖像，或者以使紅色圖像閃爍的方式進(jìn)行閃爍處理。

32、因此，作業(yè)者可以通過(guò)紅色的邊界框或所述透明化處理區(qū)域內(nèi)的紅色圖像的閃爍來(lái)識(shí)別輪式裝載機(jī)前方存在碰撞可能性較高的客體。相應(yīng)地，可以增加作業(yè)者的認(rèn)知力，確保穩(wěn)定性，從而防安全事故于未然。

33、但是，本發(fā)明的效果并不限于上文中述及的效果，可以在不脫離本發(fā)明的思想和領(lǐng)域的范圍內(nèi)進(jìn)行多樣化的擴(kuò)展。