大約十年前，當(dāng)谷歌還在試驗(yàn)一輛原型車的時(shí)候，我想到了自己的第一輛自動(dòng)駕駛汽車，當(dāng)時(shí)我立刻被這個(gè)想法迷住了。不可否認(rèn)的是，我必須等待一段時(shí)間，直到這些概念向社區(qū)開放，現(xiàn)在看來等待確實(shí)是值得的！ 我最近試驗(yàn)了一些與計(jì)算機(jī)視覺有關(guān)的自動(dòng)駕駛汽車概念，里面包括車道檢測，它實(shí)際上是設(shè)計(jì)任何一款自主汽車的核心概念。 以下是我們將在本視頻中構(gòu)建的車道檢測系統(tǒng)： https:///sYhZbhT-Smw 很酷，對(duì)吧？在這個(gè)教程中，我會(huì)使用OpenCV庫進(jìn)行車道檢測和自動(dòng)駕駛汽車。當(dāng)然，在本教程中，我們還將引入Python代碼。 目錄 用OpenCV在Python中實(shí)現(xiàn)車道檢測 車道檢測概念解釋 那么什么是車道檢測？以下是百度百科對(duì)車道的定義： 車道，又稱行車線、車行道，是用在供車輛行經(jīng)的道路，在一般公路和高速公路都有設(shè)置，高速公路對(duì)車道使用帶有法律性質(zhì)的規(guī)則，例如行車道和超車道。 對(duì)其進(jìn)行定義是很重要的，因?yàn)樗刮覀兡軌蚶^續(xù)進(jìn)行車道檢測概念。我們在建立一個(gè)系統(tǒng)時(shí)不能有任何含糊不清的地方。 正如我前面提到的，車道檢測是自動(dòng)駕駛汽車的關(guān)鍵組成部分，這是駕駛場景理解的重要研究課題之一。一旦獲得車道位置，車輛就知道去哪里，并避免撞上其他車道或離開道路。這樣可以防止駕駛員/車輛系統(tǒng)偏離車道。 以下是一些隨機(jī)道路圖像（第一行）及其檢測到的車道（第二行）： 問題陳述 我們希望執(zhí)行的任務(wù)是實(shí)時(shí)檢測視頻中的車道。我們可以通過多種方式進(jìn)行車道檢測，我們可以使用基于學(xué)習(xí)的方法，例如在帶注釋的視頻數(shù)據(jù)集上訓(xùn)練深度學(xué)習(xí)模型，或者使用預(yù)訓(xùn)練好的模型。 然而，也有更簡單的方法來執(zhí)行車道檢測。在本文中，我將向你展示如何在不使用任何學(xué)習(xí)模型的情況下完成此任務(wù)。但是我們將使用Python中流行的OpenCV庫。 正如我們在這張圖片中看到的，我們有四條車道被白色的車道標(biāo)線隔開。所以，要檢測車道，我們就必須檢測車道兩邊的白色標(biāo)記。這就引出了一個(gè)關(guān)鍵問題——我們?nèi)绾螜z測車道標(biāo)線？ 除了車道標(biāo)線之外，場景中還有許多其他對(duì)象，如道路上有車輛、路側(cè)護(hù)欄、路燈等。在視頻中，每一幀都會(huì)有場景變化，這很好地反映了真實(shí)的駕駛情況。 因此，在解決車道檢測問題之前，我們必須找到一種方法來忽略駕駛場景中不需要的對(duì)象。 我們現(xiàn)在能做的一件事就是縮小感興趣的領(lǐng)域。與其使用整個(gè)幀，不如只使用幀的一部分。在下面的圖像中，除了車道的標(biāo)記之外，其他所有內(nèi)容都隱藏了。當(dāng)車輛移動(dòng)時(shí)，車道標(biāo)線將或多或少地落在該區(qū)域內(nèi)： 在下一節(jié)中，我將向你展示如何編輯視頻幀以選擇特定區(qū)域。你還將了解一些必要的圖像預(yù)處理操作。 什么是幀掩碼(Frame Mask)？ 在這里，幀掩碼只是一個(gè)NumPy數(shù)組。當(dāng)我們想對(duì)圖像應(yīng)用掩碼時(shí)，只需將圖像中所需區(qū)域的像素值更改為0、255或任何其他數(shù)字。下面給出了一個(gè)圖像掩蔽的例子，圖像中某個(gè)區(qū)域的像素值已設(shè)置為0： 這是一種非常簡單但有效的從圖像中去除不需要的區(qū)域和對(duì)象的方法。 車道檢測的圖像預(yù)處理 我們將首先對(duì)輸入視頻中的所有幀應(yīng)用掩碼，然后我們將應(yīng)用圖像閾值化和霍夫線變換來檢測車道標(biāo)線。 圖像閾值化 在這種方法中，灰度圖像的像素值根據(jù)閾值被指定為表示黑白顏色的兩個(gè)值之一，因此如果一個(gè)像素的值大于一個(gè)閾值，它被賦予一個(gè)值，否則它被賦予另一個(gè)值。 如上所示，對(duì)蒙版圖像應(yīng)用閾值后，我們只得到輸出圖像中的車道標(biāo)線。現(xiàn)在我們可以通過霍夫線變換很容易地檢測出這些標(biāo)記。 霍夫線變換 霍夫線變換是一種檢測任何可以用數(shù)學(xué)方法表示形狀的方法。 例如，它可以檢測矩形、圓、三角形或直線等形狀。我們感興趣的是檢測可以表示為直線的車道標(biāo)線。 這是相關(guān)文檔： https://opencv-python-tutroals./en/latest/py_tutorials/py_imgproc/py_houghlines/py_houghlines.html 在執(zhí)行圖像閾值化后對(duì)圖像應(yīng)用霍夫線變換將提供以下輸出： 我們需要對(duì)所有幀執(zhí)行此過程，然后將生成的幀縫合到新視頻中。 用OpenCV在Python中實(shí)現(xiàn)車道檢測 是時(shí)候用Python實(shí)現(xiàn)這個(gè)車道檢測項(xiàng)目了！我推薦使用Google Colab，因?yàn)闃?gòu)建車道檢測系統(tǒng)需要計(jì)算能力。 import os import re import cv2 import numpy as np from tqdm import tqdm_notebook import matplotlib.pyplot as plt
讀取視頻幀 我已經(jīng)從這個(gè)YouTube視頻中抽取了一些視頻片段。你可以從這個(gè)鏈接下載: https://drive.google.com/file/d/1e4cc4zFFna3Owyym6aq7ZXoquHA2l95O/view?usp=sharing 。 # 獲取幀的文件名 col_frames = os.listdir('frames/') col_frames.sort(key=lambda f: int(re.sub('\D', '', f))) # 加載幀 col_images=[] for i in tqdm_notebook(col_frames): img = cv2.imread('frames/'+i) col_images.append(img) # 指定一個(gè)索引 idx = 457 # plot frame plt.figure(figsize=(10,10)) plt.imshow(col_images[idx][:,:,0], cmap= 'gray') plt.show()
幀掩碼創(chuàng)建 我們感興趣的區(qū)域是一個(gè)多邊形。我們想掩蓋除了這個(gè)區(qū)域以外的一切。因此，我們首先必須指定多邊形的坐標(biāo)，然后使用它來準(zhǔn)備幀掩碼： # 創(chuàng)建0矩陣 stencil = np.zeros_like(col_images[idx][:,:,0]) # 指定多邊形的坐標(biāo) polygon = np.array([[50,270], [220,160], [360,160], [480,270]]) # 用1填充多邊形 cv2.fillConvexPoly(stencil, polygon, 1) # 畫出多邊形 plt.figure(figsize=(10,10)) plt.imshow(stencil, cmap= 'gray') plt.show()
# 應(yīng)用該多邊形作為掩碼 img = cv2.bitwise_and(col_images[idx][:,:,0], col_images[idx][:,:,0], mask=stencil) # plot masked frame plt.figure(figsize=(10,10)) plt.imshow(img, cmap= 'gray') plt.show() 圖像預(yù)處理 我們必須對(duì)視頻幀執(zhí)行一些圖像預(yù)處理操作來檢測所需的車道。預(yù)處理操作包括： 1.圖像閾值化 # 應(yīng)用圖像閾值化 ret, thresh = cv2.threshold(img, 130, 145, cv2.THRESH_BINARY) # 畫出圖像 plt.figure(figsize=(10,10)) plt.imshow(thresh, cmap= 'gray') plt.show()
2.霍夫線變換 lines = cv2.HoughLinesP(thresh, 1, np.pi/180, 30, maxLineGap=200) # 創(chuàng)建原始幀的副本 dmy = col_images[idx][:,:,0].copy() # 霍夫線 for line in lines: x1, y1, x2, y2 = line[0] cv2.line(dmy, (x1, y1), (x2, y2), (255, 0, 0), 3) # 畫出幀 plt.figure(figsize=(10,10)) plt.imshow(dmy, cmap= 'gray') plt.show() 現(xiàn)在我們將對(duì)每個(gè)幀應(yīng)用所有這些操作。我們還將結(jié)果幀保存在新目錄中： cnt = 0 for img in tqdm_notebook(col_images): # 應(yīng)用幀掩碼 masked = cv2.bitwise_and(img[:,:,0], img[:,:,0], mask=stencil) # 應(yīng)用圖像閾值化 ret, thresh = cv2.threshold(masked, 130, 145, cv2.THRESH_BINARY) # 應(yīng)用霍夫線變換 lines = cv2.HoughLinesP(thresh, 1, np.pi/180, 30, maxLineGap=200) dmy = img.copy() #畫出檢測到的線 try: for line in lines: x1, y1, x2, y2 = line[0] cv2.line(dmy, (x1, y1), (x2, y2), (255, 0, 0), 3) cv2.imwrite('detected/'+str(cnt)+'.png',dmy) except TypeError: cv2.imwrite('detected/'+str(cnt)+'.png',img) cnt+= 1
視頻準(zhǔn)備 # 輸入幀的路徑 pathIn= 'detected/' #輸出視頻路徑 pathOut = 'roads_v2.mp4' # 視頻每秒的幀數(shù) fps = 30.0 from os.path import isfile, join # 獲取幀的文件名 files = [f for f in os.listdir(pathIn) if isfile(join(pathIn, f))] files.sort(key=lambda f: int(re.sub('\D', '', f)))
接下來，我們將把檢測到的車道上的所有幀放入一個(gè)列表中： frame_list = [] for i in tqdm_notebook(range(len(files))): filename=pathIn + files[i] #讀取每一個(gè)文件 img = cv2.imread(filename) height, width, layers = img.shape size = (width,height) #將幀插入圖像數(shù)組 frame_list.append(img) 最后，我們現(xiàn)在可以使用下面的代碼將幀合并為視頻： # 寫入視頻 out = cv2.VideoWriter(pathOut,cv2.VideoWriter_fourcc(*'DIVX'), fps, size) for i in range(len(frame_array)): out.write(frame_array[i]) out.release()
這就完成了Python中的車道檢測系統(tǒng)。 結(jié)尾 在本教程中，我們介紹了一種簡單的車道檢測技術(shù)。我們沒有使用任何模型或復(fù)雜的圖像特征，相反，我們的解決方案完全基于某些圖像預(yù)處理操作。 但是，在很多情況下，這個(gè)解決方案都無法工作。例如，當(dāng)沒有車道標(biāo)線，或者道路上的車輛太多時(shí)，該系統(tǒng)將失敗。在車道檢測中有更復(fù)雜的方法來克服這些問題。 原文鏈接：https://www./blog/2020/05/tutorial-real-time-lane-detection-opencv/ 感謝大家的走心留言，每一條小編都認(rèn)真閱讀了，會(huì)繼續(xù)努力噠。
這次沒被抽中的朋友不要?dú)怵H~ 我們會(huì)堅(jiān)持不定期 推出留言送書活動(dòng)，多多留言會(huì)增加中獎(jiǎng)概率的。 恭喜下面留言的兩位讀者，分別獲贈(zèng)書籍《Python數(shù)據(jù)分析與可視化從入門到精通 mthler 。
