利用Open CV自動找出Image的bounding box並轉成Yolo Label

這陣子我試圖在Yolo V4上訓練一個識別模型，在我原始構想中的功能，是為了讓這個模型可以擁有判斷水果新鮮度、腐敗程度的能力，想當然，如果要達到一定精準度，那勢必是要給他一些訓練資料(Training Data)，而訓練資料的多寡也會影響模型判斷的正確性，於是乎，我就在網路上找了些資料集(Dataset)，幸運的是最後我在Kaggle上找到這個近乎理想的資料集，裏面包含了腐敗的蘋果、香蕉、柑橘，同樣也有新鮮的蘋果、香蕉、柑橘，其實這資料集的原始功能是用來做一個分類器，只是被我暫借來用在Yolo V4上罷了。
 
也就因為有這些前因後果，這時候我就遇到訓練模型最耗工的時候了:資料預處理；在這個資料集中，有腐敗的蘋果、香蕉、柑橘，同樣也有新鮮的蘋果、香蕉、柑橘，我將各個型態的水果歸為一類，因為雖然資料集只有6類(Classes)，但是資料集中涵蓋多個變化時段、多個角度、多個面向的水果，故所有圖片總結起來不多不少也是上萬張有。
 
在Yolo訓練時所需要的Label裡，需要標記圖片中的重點，框出一個正方形，告訴Yolo該去關注哪個區域，並讓Model知道這個區域是屬於哪類型的資料，譬如說我們可以在一張框出人臉來，然後告訴Model這個區域的樣子就是人類。
 
也就是說，當我想要讓Model知道我這些資料集是腐爛、新鮮的香蕉，我應該先把這些水果的特徵標記起來，然後告訴Model這是腐爛、新鮮的水果，也就是一個多分類的議題，雖然我們知道人工標記是最準確的作法，但當我們知道圖便有上萬張時還採人工用軟體(LabelImg、Yolo marker)來標記，就顯得比較不切實際了。
 
於是我選擇用Open CV在圖片上框正方形，也就是找出bounding box，要完成這個任務，需完成幾個步驟。

  • 首先我們輸入一張圖片。

  • 把cv2. cvtColor把圖片由RGB轉成HSV，主要是為了能方便表現出特定顏色，HSV即色相、飽和度、明度（Hue, Saturation, Value），色相（H）是色彩的基本屬性，就是平常所說的顏色名稱，如紅色、黃色等，飽和度（S）是指色彩的純度，越高色彩越純，低則逐漸變灰，取0-100%的數值，明度（V），亮度（L），取0-100%、越高越亮。

  • 將圖片二值化，指的不是變成灰階圖片，因為灰階圖片的像素有0~255的變化，二值化指的是圖片中的像素只會有0、255兩種變化，透過cv2.inRange(img2, lower, upper)設定閥值，像素超過upper的設為255，像素值低於lower的設為0。


  • 將圖片模糊化，主要是用平均濾波去雜訊，減少圖片上的雜訊影響，資料集中有些圖片有刻意加上雜訊，效果類似撒上了胡椒粉，在這裡可以一定程度抹去，但是這也可能導致圖片邊緣變模糊。

  • 主要因為模糊化去雜訊後，此時圖片的像素會出現0、255以外的變化，所以再做一次二值化，會得到一張正確的二值化圖片。


  • 最後把圖片像素做NOT運算，如此可以凸現出物件，把物件部分變成白色

  • 最後用cv2. findContours找出物件邊緣外的方框，也就是畫出個正方形，最後綠色正方形的四個角，就是我們需要的資訊了。

  • 整體來說，用Open CV找出bounding box的效果算很不錯，大部分時候程式都能在圖片上找出一個方框，並完整地把特徵圈出來。


當然，世上並不存在所謂的銀子彈(silver bullet)，某些時候程式也會劃錯，特別是當圖片中的物件邊緣特別不明顯時，錯誤就會被凸顯出來。
 
有些時候，可能只找出物件的部分區塊而已，但我就原始資料集的狀況看來，倒覺得這問題不大，一方面是因為標記不完整的圖片，他們通常不是標記到很離譜的地方，譬如本該標香蕉，卻標到香蕉的影子，反倒很忠實地找到物件所在位置，故即便只有找到一部份的香蕉，相信仍不影響訓練結果。

但是找出四個角還不夠，最後最後，我們要透過一個公式來算出這個矩陣在圖片中的相對位置，如此一來Yolo才能在不同圖片中找出你指定的區域；在cv2. findContours找到的資訊分別是x (像素起始X)、y(像素起始Y)、w(正方形寬)、h(正方形高)，而我們應該先找出圖片的原始長寬，接著用xmin、xmax、ymin、ymax，才能算出比例，xmin當然就是x，ymin則是y，透過w、h我們可以推算出xmax、ymax，最後和原圖長寬算出比例。
//原先找出的4個腳,分別轉換出四角的最大值、最小值
xmin=x
xmax=x+w
xmin=y
ymax=y+h
xp = (xmin + (xmax-xmin)/2) * 1.0 / image_width
yp = (ymin + (ymax-ymin)/2) * 1.0 / image_height
wp = (xmax-xmin) * 1.0 / image_ width
hp = (ymax-ymin) * 1.0 / image_ height
另一方面，我們會用0~5先定義好6種水果的Label，再將xp、yp、wp、hp寫入文字檔後，即完成這一張圖片的標記，仔細想想，是不是比一張一張標記快多了？總結一下，在我使用的資料集共有13319張圖片，而我只用了616.294秒就完成了標記工作！

留言

張貼留言

這個網誌中的熱門文章

Prompt, Fine-tune 和 Training，誰才是大工程？

圖片
  在機器學習，尤其是自然語言處理（NLP）的世界中，「Prompt」、「Fine-tune」和「Training」是經常出現的三個概念。雖然它們都涉及到模型的學習和調整，但每一個的目的、方法和使用情境都有明顯的不同。我們來仔細了解一下它們之間的區別。 首先，Prompt 是指你給機器學習模型輸入的一個提示或問題。這個提示並不會改變模型本身，而是依賴模型已經學過的知識來生成回答或執行某個任務。你可以把它想像成一個引導詞，模型根據這個提示來給你回應。比如，對於一個語言模型來說，給它一句話「寫一篇關於太空探索的文章」，它就會根據這個提示生成相關的內容。這種方式不需要對模型進行任何訓練或微調，只是利用它已經學過的知識來做預測或生成。 接下來是 Fine-tune，它是指對一個已經預訓練的模型進行進一步的調整，使其更適應某個特定的任務或領域。這時，模型的基本架構和大部分知識已經存在，所謂微調，就是在這個基礎上，根據一個小範圍的資料集進行再訓練。比如，假設你有一個通用的語言模型，然後你希望它能在醫學領域表現得更好，那麼你可以用大量的醫學文獻來微調這個模型。這樣，它就會在理解和處理醫學相關問題時更加精準。 最後，Training 則是指從頭開始訓練一個模型，讓它從大量的資料中學習，並逐漸調整模型的內部參數，使其能夠處理特定任務。這是最基本、最根本的學習過程。對於一個語言模型來說，訓練的過程可能涉及大量的文本資料，從中學習語言結構、語法規則、常識知識等。這個過程通常需要大量的計算資源和時間，因為模型需要處理的是大規模的資料集，而且每次的參數調整都會影響到模型的整體性能。 總結來說，Prompt 是利用現有模型的知識來引導其輸出；Fine-tune 是在預訓練模型的基礎上，進行小範圍的調整來提升特定領域的表現；而 Training 則是從零開始訓練模型，讓它在大量的資料中學習並建立知識庫。三者之間的區別，主要在調整的範圍和深度上。 以下來總結它們的不同： 1. Prompt (提示)     定義：在預訓練的模型上使用一個“提示”或“問題”，來引導模型生成特定的輸出。     範疇：這通常與大規模語言模型（如 GPT 系列）相關，模型在預訓練階段學會了語言結構、知識等，然後用戶可以給它一個“提示”來引發它生成特定類...
閱讀完整內容

這個身分證檢查器是用ChatGPT寫的吧？！

圖片
隨著大語言模型（英語：Large Language Model，LLM）的蓬勃發展，相關的應用越來越多，人們透過大量的資料訓練(Train）出一個一個模型（Model），再用這些模型去產生我們想要的結果，某種程度來講，這些語言模型對我們的工作和生活帶來不少程度的幫助；從最早我們用模型來寫文章，用模型來產生照片，用模型來產生影片，很多人都讚嘆電腦程式的進步，大大的改變了我們的生活，那有沒有有一種可能是，我們也可以用模型來寫程式呢？ 當然用模型來寫程式，未必是下一個指令像「給我一個預測股市走勢的程式」，他就能把你想要的東西都給你，更重要的是我們要告訴他，你想要他為做些什麼？做得對不對？ 你正在做什麼並不重要，重要的是你知道自己正在做什麼。 計畫 接著我們來試著做一個身份證字號的驗證程式，要達到想要的結果之前，其實我們還是要有一些系統性的思考邏輯，先提出構想，完整藍圖，分解功能，再重新組合，套用平時開發程式的步驟，不外乎： 需求收集 系統分析 需求收集 我們想要做一個台灣的身份證號碼驗證器，需要可以輸入任何一組號碼，可以知道號碼的主人是從哪裡來？可以知道號碼的主人是先生還是小姐？我們不想要安裝程式，太麻煩了，還有，希望畫面可以漂亮一點，好用一點。 系統分析 接著我們就來想想，做一下簡單的分析，看看要如何滿足需求； 需要簡單容易使用，我們可以寫成網頁版。 需要畫面好看，雖然好看是一件很主觀的事情，但我們可以用主流的網頁框架。 希望體驗好一點，那連提示訊息都一起改善，至少在不同裝置上用來都差不多。 程式要判斷號碼是否正確，那有沒有計算規則？有什麼標準格式？ 再來我們分別列出對應的解決方法； 美觀問題，我們可以用 Bootstrap ，因為是主流框架，至少能向市場趨勢靠攏；我們也可以用 SweetAlert 套件來改善體驗問題，讓不同裝置的操作感受更一致。 判斷號碼正確性的演算法，我們在 維基百科上找到的中華民國國民身分證相關規則 ，夠我們處理這一次的問題。 程式提供一個介面，可以填寫證件號碼、性別、發證的縣市，來完成基本需求。 寫程式的浪漫...分解再重組，就像玩積木一樣快樂。 開工  做完分析後，我們就可以來做功能開發了，這次我們不找訓練有素的猴子，而是用ChatGPT來完成工作，打開介面後，緩緩地貼上我們的Promt。 寫一個HTML網頁, 使用Bootstrap...
閱讀完整內容

用Python實作 Perspective Transformation 透視變換

圖片
主要演算法 通常我們在自然背景拍攝一張照片時，或多或少都會有一些 透視變形 存在，而透視變形是由拍攝和觀看圖像的相對距離決定的，導致遠近特徵的相對比例有變化，產生了彎曲或變形，當然在本例子，我是刻意拍了一張比例歪斜的圖，想要驗證依照公式轉換會得到什麼效果。 依照解決方法，這樣的變形我們可以下列的聯立方程式來表示： ​x = ax’ + by’ + cx’y’ + d y = ex’ + fy’  + gx’y’ + h ​其中x、y為你原始影像的座標系，x’、y’為校正後的座標系， a、b、c、d、e、f、g、h為常數，表示變形關係。 程式片段 定義 高斯消去 2. 先定義4個點，找出矩陣 3. 照公式進行矩陣轉換，解出方程式，輸出結果就得到圖片了。 4. 另外我也參考網路範例，仿造OpenCV寫了一個轉置方法，後續比較一下兩種做法的差異。   測試資料與結果 原圖是張刻意拍歪斜的照片，我標出四個白點，可以看到原始轉換區塊變形到接近菱形了。 2. 轉換後得到的結果如下，或許是因為變形幅度高，沒達到完整的轉換。 3. 參考網路實作 Perspective Transformation 做出來的效果，因為先做3D後轉2D，校正效果很好，只是程式寫得不好，有失真。 4. 使用Open CV做的效果 討論 原本課堂講解的校正來源是一個平行四邊形，校正效果相當好，但在本次作用我使用一個不規則的多邊形來做轉換，雖然轉換結果不比原本的好，但還算可以得出資訊。 參考Perspective Transformation實做出來的程式做轉換，對於不規則多邊形轉換的效果很好，只是有失真，若用OpenCV轉出來的話就趨近完美了。 此類的校正可以應用在機器人自駕時的資訊辨認，或是在OCR應用上先把讀入的圖片做校正，在讀取資訊，可以減少判斷失誤。 在Deepfake影片偵測的研究中，許多論文的原理是把影像的Frame讀入後分析他是不是假造影像；如果在深度學習時，我先把人臉或是指定的擷取特徵做校正，可以把每個Frame的特徵變成一樣的構圖，就有機會分辨出他是不是造假的Frame：因為Frame造假是基於原本扭曲變形的畫面做變更，在校正後應該可以看出他和一般正常角度Frame的不同之處。
閱讀完整內容