在Colab Notebooks上定義並訓練Yolov4 Model (以水果辨識為例)

Yolo (You only look once)可以說是最知名的即時辨識模型了，不僅效果好，速度也快，當初的論文可以參考這裡，現在一路也出到V4了，你可以在訓練資料上定義不同的圖片和標籤，以此訓練模型，就可以輕鬆達到辨識新目標的效果。

當然我這樣講是有點浮誇，你必須注意一下你的電腦能不能如願把訓練跑完。

在這次的訓練中，我嘗試在Colab Notebooks上安裝，並訓練Yolov4，主要是為了省去GPU這個環節，因為平時我的工作筆電是一台Mac，想要跑完訓練是真的需要一點時間的；另外為了完成訓練，首先我必須找到一份資料集，再來我必須製作自己的YOLO  Format標記檔案，提供給Yolov4進行訓練。

資料集的部分，我使用的是Kaggle上的Fruits fresh and rotten for classification資料集，這其中包含了新鮮蘋果、香蕉、橘子和腐敗的蘋果、香蕉和橘子等六種類型的圖片，如何在Colab Notebooks上下載Kaggle資料集的話可以參考我這篇文章。

至於如何把Kaggle資料集轉成Yolo format的部分，可以參考這篇文章，在這裡我捨棄了用LabelImg，也捨棄了Yolo Marker，為什麼呢？純粹是因為我懶，純粹是因為我想盡量把工作自動化，雖然可能割捨掉一些正確性。

在準備好資料集和Yolo Format的標記檔案後，我們可以開始接著作模型下載和訓練的工作，首先我們要先從AlexeyAB下載darknet，這是一個使用C語言實作Yolo的共用函式庫，但是可以提供Python調用；當初是從Yolo的原始作者那fork出來的分支，因為原作者已經不維護原始程式碼了，所以網路上大多用這個版本在訓練和實戰。

首先，我們下載darknet。

當darknet下載完成後會在Colab上建立一個目錄，這裡要注意，後面訓練、打包時，都會在這個目錄底下進行。

當Make時，或模型訓練時，會需要持續寫入權重(weights)，所以我們需要先把目錄權限改一下，開放寫入。

在Make打包之前，我們需要改一下組態檔案，這將影響我們後續打包完的模型如何運作，在這裡我們用sed來修改組態，sed 是「stream editor 」的縮寫，顧名思義是進行串流(stream) 的編輯。無論是在編寫shell 的或處理STDIN 的時候，當有需要進行字串取代、複製、刪除，就可以直接下命令調整，當然你也可以直接透過編輯器修改；這裡我們有幾個東西要調整。
  1. OPENCV=1，啟用OPENCV，注意，你必須先安裝OpenCV。
  2. GPU=1，啟用GPU，注意，你的Coblab要先啟用GPU。
  3. CUDNN也需要啟用，他是基於CUDA的DNN函式庫。如果你用的是自己的電腦，也有自己的GPU，可以找一下顯卡可以支援到什麼程度，然後修改ARCH，ARCH主要是指定框架裡面用到的GPU資訊，在某些狀況下會導致你的YOLO無法編譯，詳細狀況可以參考這篇文章。

接著進行Make，基本上做這些事情速度都很快，麻煩的是後面的訓練。

打包完成後，就可以開始訓練了，在訓練時，我傾向使用網路上已經訓練過的模型(Pre-Trained Model)，再來做一次訓練，這樣的效果和識別能力會更好，因為在模型裡面已經有其他人訓練好的權重，如此一來，我們也可以用比較少的訓練資料量，來達到一定的辨識效果。

另外我會用yolov4-tiny.cfg做為訓練用的設定組態，之所以不用yolov4.cfg來訓練，是因為yolov4.cfg的batch數比較多，在Colab Notebooks上訓練很容易記憶體不足，或是說根本就練不起來。

訓練時我會引入前面下載的預訓練模型，需要用到一點時間訓練，基本上幾小時是跑不掉的。

訓練完畢的話，也有語法可以測試，注意一下他會在測試圖片標記出辨識結果。

圖片的辨識訓練其實不會很複雜，訓練資料集方面，也不需要把圖片都轉成同樣大小(這也是為什麼你在產生Yolo format的label資料時，需要取的是比例的相對位置，而不是像素的絕對位置)，另外需要注意的是cfg設定檔中的filter數量，這個數值會和你定義的class數量相關，計算公式為filters=3*(classes+5)，譬如你在資料集中定義了3個類型(classification)，那filters則會是(3+5)*3=24。

後面我會花一點時間整理Yolo的做法和基本原理，並且附上我的些許心得，如此一來才能算真正掌握了Yolo這套框架。(待續)

January 14, 2022 at 04:33PM

留言

張貼留言

這個網誌中的熱門文章

Prompt, Fine-tune 和 Training，誰才是大工程？

圖片
  在機器學習，尤其是自然語言處理（NLP）的世界中，「Prompt」、「Fine-tune」和「Training」是經常出現的三個概念。雖然它們都涉及到模型的學習和調整，但每一個的目的、方法和使用情境都有明顯的不同。我們來仔細了解一下它們之間的區別。 首先，Prompt 是指你給機器學習模型輸入的一個提示或問題。這個提示並不會改變模型本身，而是依賴模型已經學過的知識來生成回答或執行某個任務。你可以把它想像成一個引導詞，模型根據這個提示來給你回應。比如，對於一個語言模型來說，給它一句話「寫一篇關於太空探索的文章」，它就會根據這個提示生成相關的內容。這種方式不需要對模型進行任何訓練或微調，只是利用它已經學過的知識來做預測或生成。 接下來是 Fine-tune，它是指對一個已經預訓練的模型進行進一步的調整，使其更適應某個特定的任務或領域。這時，模型的基本架構和大部分知識已經存在，所謂微調，就是在這個基礎上，根據一個小範圍的資料集進行再訓練。比如，假設你有一個通用的語言模型，然後你希望它能在醫學領域表現得更好，那麼你可以用大量的醫學文獻來微調這個模型。這樣，它就會在理解和處理醫學相關問題時更加精準。 最後，Training 則是指從頭開始訓練一個模型，讓它從大量的資料中學習，並逐漸調整模型的內部參數，使其能夠處理特定任務。這是最基本、最根本的學習過程。對於一個語言模型來說，訓練的過程可能涉及大量的文本資料，從中學習語言結構、語法規則、常識知識等。這個過程通常需要大量的計算資源和時間，因為模型需要處理的是大規模的資料集，而且每次的參數調整都會影響到模型的整體性能。 總結來說，Prompt 是利用現有模型的知識來引導其輸出；Fine-tune 是在預訓練模型的基礎上，進行小範圍的調整來提升特定領域的表現；而 Training 則是從零開始訓練模型，讓它在大量的資料中學習並建立知識庫。三者之間的區別，主要在調整的範圍和深度上。 以下來總結它們的不同： 1. Prompt (提示)     定義：在預訓練的模型上使用一個“提示”或“問題”，來引導模型生成特定的輸出。     範疇：這通常與大規模語言模型（如 GPT 系列）相關，模型在預訓練階段學會了語言結構、知識等，然後用戶可以給它一個“提示”來引發它生成特定類...
閱讀完整內容

這個身分證檢查器是用ChatGPT寫的吧？！

圖片
隨著大語言模型（英語：Large Language Model，LLM）的蓬勃發展，相關的應用越來越多，人們透過大量的資料訓練(Train）出一個一個模型（Model），再用這些模型去產生我們想要的結果，某種程度來講，這些語言模型對我們的工作和生活帶來不少程度的幫助；從最早我們用模型來寫文章，用模型來產生照片，用模型來產生影片，很多人都讚嘆電腦程式的進步，大大的改變了我們的生活，那有沒有有一種可能是，我們也可以用模型來寫程式呢？ 當然用模型來寫程式，未必是下一個指令像「給我一個預測股市走勢的程式」，他就能把你想要的東西都給你，更重要的是我們要告訴他，你想要他為做些什麼？做得對不對？ 你正在做什麼並不重要，重要的是你知道自己正在做什麼。 計畫 接著我們來試著做一個身份證字號的驗證程式，要達到想要的結果之前，其實我們還是要有一些系統性的思考邏輯，先提出構想，完整藍圖，分解功能，再重新組合，套用平時開發程式的步驟，不外乎： 需求收集 系統分析 需求收集 我們想要做一個台灣的身份證號碼驗證器，需要可以輸入任何一組號碼，可以知道號碼的主人是從哪裡來？可以知道號碼的主人是先生還是小姐？我們不想要安裝程式，太麻煩了，還有，希望畫面可以漂亮一點，好用一點。 系統分析 接著我們就來想想，做一下簡單的分析，看看要如何滿足需求； 需要簡單容易使用，我們可以寫成網頁版。 需要畫面好看，雖然好看是一件很主觀的事情，但我們可以用主流的網頁框架。 希望體驗好一點，那連提示訊息都一起改善，至少在不同裝置上用來都差不多。 程式要判斷號碼是否正確，那有沒有計算規則？有什麼標準格式？ 再來我們分別列出對應的解決方法； 美觀問題，我們可以用 Bootstrap ，因為是主流框架，至少能向市場趨勢靠攏；我們也可以用 SweetAlert 套件來改善體驗問題，讓不同裝置的操作感受更一致。 判斷號碼正確性的演算法，我們在 維基百科上找到的中華民國國民身分證相關規則 ，夠我們處理這一次的問題。 程式提供一個介面，可以填寫證件號碼、性別、發證的縣市，來完成基本需求。 寫程式的浪漫...分解再重組，就像玩積木一樣快樂。 開工  做完分析後，我們就可以來做功能開發了，這次我們不找訓練有素的猴子，而是用ChatGPT來完成工作，打開介面後，緩緩地貼上我們的Promt。 寫一個HTML網頁, 使用Bootstrap...
閱讀完整內容

用Python實作 Perspective Transformation 透視變換

圖片
主要演算法 通常我們在自然背景拍攝一張照片時，或多或少都會有一些 透視變形 存在，而透視變形是由拍攝和觀看圖像的相對距離決定的，導致遠近特徵的相對比例有變化，產生了彎曲或變形，當然在本例子，我是刻意拍了一張比例歪斜的圖，想要驗證依照公式轉換會得到什麼效果。 依照解決方法，這樣的變形我們可以下列的聯立方程式來表示： ​x = ax’ + by’ + cx’y’ + d y = ex’ + fy’  + gx’y’ + h ​其中x、y為你原始影像的座標系，x’、y’為校正後的座標系， a、b、c、d、e、f、g、h為常數，表示變形關係。 程式片段 定義 高斯消去 2. 先定義4個點，找出矩陣 3. 照公式進行矩陣轉換，解出方程式，輸出結果就得到圖片了。 4. 另外我也參考網路範例，仿造OpenCV寫了一個轉置方法，後續比較一下兩種做法的差異。   測試資料與結果 原圖是張刻意拍歪斜的照片，我標出四個白點，可以看到原始轉換區塊變形到接近菱形了。 2. 轉換後得到的結果如下，或許是因為變形幅度高，沒達到完整的轉換。 3. 參考網路實作 Perspective Transformation 做出來的效果，因為先做3D後轉2D，校正效果很好，只是程式寫得不好，有失真。 4. 使用Open CV做的效果 討論 原本課堂講解的校正來源是一個平行四邊形，校正效果相當好，但在本次作用我使用一個不規則的多邊形來做轉換，雖然轉換結果不比原本的好，但還算可以得出資訊。 參考Perspective Transformation實做出來的程式做轉換，對於不規則多邊形轉換的效果很好，只是有失真，若用OpenCV轉出來的話就趨近完美了。 此類的校正可以應用在機器人自駕時的資訊辨認，或是在OCR應用上先把讀入的圖片做校正，在讀取資訊，可以減少判斷失誤。 在Deepfake影片偵測的研究中，許多論文的原理是把影像的Frame讀入後分析他是不是假造影像；如果在深度學習時，我先把人臉或是指定的擷取特徵做校正，可以把每個Frame的特徵變成一樣的構圖，就有機會分辨出他是不是造假的Frame：因為Frame造假是基於原本扭曲變形的畫面做變更，在校正後應該可以看出他和一般正常角度Frame的不同之處。
閱讀完整內容