使用Python實作Image Enhancement

趁著學期告一段落，工作也在過年前的休息時間，趕快把之前的作業整理出來；這篇文章依然會是先前的影像處理課程所編寫的作業，在這裡不會用到深度學習或機器學習，而是使用傳統的影像處理概念來做，目的是為了瞭解原理。

本篇文章主要是探討如何通過二階微分，將影像邊緣強化。

  • 主要演算法
    1. 原圖雖然用的是彩色影像，但我在程式中有轉為灰階，所以實際增強是針對灰階影像增強。
    2. 把原影像先乘Laplacioan運算子做二階微分，可以得到影像的邊緣。
    3. 接著和原始影像相加，邊緣會被加強，但是因為原圖的雜訊也被放大，所以這裡的圖是有雜訊的加強，得到圖A。
    4. 接著原始影像用Sobel對X和Y做一階微分，可以得到影像邊緣圖B，接著對圖B做去雜訊。
    5. 再來把圖B的像素做標準化，每個像素會被做成0~1的數值，此時在平坦區(比較亮的地方)數值會較大，趨近1，邊緣(比較暗的地方)則趨近0。
    6. 我們把標準化的矩陣和圖A相乘，可以知道原圖依照比例被放大了，原先暗的像素方又變得更黑了，非邊緣的地方則會因為乘趨近1的值，故不太有大變化，結果我們會得到圖C，圖C就是加強後的結果。
  • 程式片段

1. 先把圖片轉成灰階影像。  


 


2. 定義Laplace運算子遮罩


3. 定義Sobel運算子遮罩，0是dY，1是dX

4. 定義Slide Window Filter降噪

5. 對原本影像乘Laplace運算子，二階微分得到邊緣，接著和原圖相加。

6. 把微分後結果和原圖相加，得到一張銳化的圖。


7. 接著對原圖做Sobel運算子，一階微分先做dX再做dY，然後用OR合成，也可以得到一張圖的邊緣。

8. 接著用Slide Window filter把雜訊降低。

9. 最後我們把這結果做標準化，取得一個0~1的矩陣，然後把矩陣和步驟3的圖相乘，圖的暗部被放暗，亮度則不太改變，因為暗部被變暗了，會感覺到邊緣變得銳利。

  • 測試資料與結果
    1. 原圖，將他模糊後轉成灰階。

2. 做Laplace運算後得到邊緣。

3. 和原圖相加，但感覺到雜訊也放大了

4. 對原圖X、Y做Sobel微分後，做合成，得到一個較為銳利的邊緣。

5. 使用Slide Window Filter把雜訊去掉。


6. 接著把模糊後結果乘上前面的圖，得到邊緣增強的結果。



  • 討論
    1. 把Sobel微分後的結果做標準化後，再乘上和二階微分後的圖，可以有效讓暗部變暗，因為標準化結果介於0~1之間，亮部*1~0.5之間，只會感到些許變暗。
    2. 但是這樣的方法會讓原本的圖變得比較暗，暗部變的更暗，邊緣會更明顯，但亮部受到乘數影響，也明顯感覺到變暗。
    3. 依據課堂上提到一個好處，我們把邊緣做模糊消去雜訊後再做標準化，因為雜訊已經被去掉了，最後再去和圖相乘，可以避免雜訊放大。
    4. 延伸一個思考問題，若是我們處理彩色影像時，對R、G、B個做一次上述步驟的處理，是否也能把彩色影像的影像做增強呢？

留言

張貼留言

這個網誌中的熱門文章

Prompt, Fine-tune 和 Training，誰才是大工程？

圖片
  在機器學習，尤其是自然語言處理（NLP）的世界中，「Prompt」、「Fine-tune」和「Training」是經常出現的三個概念。雖然它們都涉及到模型的學習和調整，但每一個的目的、方法和使用情境都有明顯的不同。我們來仔細了解一下它們之間的區別。 首先，Prompt 是指你給機器學習模型輸入的一個提示或問題。這個提示並不會改變模型本身，而是依賴模型已經學過的知識來生成回答或執行某個任務。你可以把它想像成一個引導詞，模型根據這個提示來給你回應。比如，對於一個語言模型來說，給它一句話「寫一篇關於太空探索的文章」，它就會根據這個提示生成相關的內容。這種方式不需要對模型進行任何訓練或微調，只是利用它已經學過的知識來做預測或生成。 接下來是 Fine-tune，它是指對一個已經預訓練的模型進行進一步的調整，使其更適應某個特定的任務或領域。這時，模型的基本架構和大部分知識已經存在，所謂微調，就是在這個基礎上，根據一個小範圍的資料集進行再訓練。比如，假設你有一個通用的語言模型，然後你希望它能在醫學領域表現得更好，那麼你可以用大量的醫學文獻來微調這個模型。這樣，它就會在理解和處理醫學相關問題時更加精準。 最後，Training 則是指從頭開始訓練一個模型，讓它從大量的資料中學習，並逐漸調整模型的內部參數，使其能夠處理特定任務。這是最基本、最根本的學習過程。對於一個語言模型來說，訓練的過程可能涉及大量的文本資料，從中學習語言結構、語法規則、常識知識等。這個過程通常需要大量的計算資源和時間，因為模型需要處理的是大規模的資料集，而且每次的參數調整都會影響到模型的整體性能。 總結來說，Prompt 是利用現有模型的知識來引導其輸出；Fine-tune 是在預訓練模型的基礎上，進行小範圍的調整來提升特定領域的表現；而 Training 則是從零開始訓練模型，讓它在大量的資料中學習並建立知識庫。三者之間的區別，主要在調整的範圍和深度上。 以下來總結它們的不同： 1. Prompt (提示)     定義：在預訓練的模型上使用一個“提示”或“問題”，來引導模型生成特定的輸出。     範疇：這通常與大規模語言模型（如 GPT 系列）相關，模型在預訓練階段學會了語言結構、知識等，然後用戶可以給它一個“提示”來引發它生成特定類...
閱讀完整內容

這個身分證檢查器是用ChatGPT寫的吧？！

圖片
隨著大語言模型（英語：Large Language Model，LLM）的蓬勃發展，相關的應用越來越多，人們透過大量的資料訓練(Train）出一個一個模型（Model），再用這些模型去產生我們想要的結果，某種程度來講，這些語言模型對我們的工作和生活帶來不少程度的幫助；從最早我們用模型來寫文章，用模型來產生照片，用模型來產生影片，很多人都讚嘆電腦程式的進步，大大的改變了我們的生活，那有沒有有一種可能是，我們也可以用模型來寫程式呢？ 當然用模型來寫程式，未必是下一個指令像「給我一個預測股市走勢的程式」，他就能把你想要的東西都給你，更重要的是我們要告訴他，你想要他為做些什麼？做得對不對？ 你正在做什麼並不重要，重要的是你知道自己正在做什麼。 計畫 接著我們來試著做一個身份證字號的驗證程式，要達到想要的結果之前，其實我們還是要有一些系統性的思考邏輯，先提出構想，完整藍圖，分解功能，再重新組合，套用平時開發程式的步驟，不外乎： 需求收集 系統分析 需求收集 我們想要做一個台灣的身份證號碼驗證器，需要可以輸入任何一組號碼，可以知道號碼的主人是從哪裡來？可以知道號碼的主人是先生還是小姐？我們不想要安裝程式，太麻煩了，還有，希望畫面可以漂亮一點，好用一點。 系統分析 接著我們就來想想，做一下簡單的分析，看看要如何滿足需求； 需要簡單容易使用，我們可以寫成網頁版。 需要畫面好看，雖然好看是一件很主觀的事情，但我們可以用主流的網頁框架。 希望體驗好一點，那連提示訊息都一起改善，至少在不同裝置上用來都差不多。 程式要判斷號碼是否正確，那有沒有計算規則？有什麼標準格式？ 再來我們分別列出對應的解決方法； 美觀問題，我們可以用 Bootstrap ，因為是主流框架，至少能向市場趨勢靠攏；我們也可以用 SweetAlert 套件來改善體驗問題，讓不同裝置的操作感受更一致。 判斷號碼正確性的演算法，我們在 維基百科上找到的中華民國國民身分證相關規則 ，夠我們處理這一次的問題。 程式提供一個介面，可以填寫證件號碼、性別、發證的縣市，來完成基本需求。 寫程式的浪漫...分解再重組，就像玩積木一樣快樂。 開工  做完分析後，我們就可以來做功能開發了，這次我們不找訓練有素的猴子，而是用ChatGPT來完成工作，打開介面後，緩緩地貼上我們的Promt。 寫一個HTML網頁, 使用Bootstrap...
閱讀完整內容

用Python實作 Perspective Transformation 透視變換

圖片
主要演算法 通常我們在自然背景拍攝一張照片時，或多或少都會有一些 透視變形 存在，而透視變形是由拍攝和觀看圖像的相對距離決定的，導致遠近特徵的相對比例有變化，產生了彎曲或變形，當然在本例子，我是刻意拍了一張比例歪斜的圖，想要驗證依照公式轉換會得到什麼效果。 依照解決方法，這樣的變形我們可以下列的聯立方程式來表示： ​x = ax’ + by’ + cx’y’ + d y = ex’ + fy’  + gx’y’ + h ​其中x、y為你原始影像的座標系，x’、y’為校正後的座標系， a、b、c、d、e、f、g、h為常數，表示變形關係。 程式片段 定義 高斯消去 2. 先定義4個點，找出矩陣 3. 照公式進行矩陣轉換，解出方程式，輸出結果就得到圖片了。 4. 另外我也參考網路範例，仿造OpenCV寫了一個轉置方法，後續比較一下兩種做法的差異。   測試資料與結果 原圖是張刻意拍歪斜的照片，我標出四個白點，可以看到原始轉換區塊變形到接近菱形了。 2. 轉換後得到的結果如下，或許是因為變形幅度高，沒達到完整的轉換。 3. 參考網路實作 Perspective Transformation 做出來的效果，因為先做3D後轉2D，校正效果很好，只是程式寫得不好，有失真。 4. 使用Open CV做的效果 討論 原本課堂講解的校正來源是一個平行四邊形，校正效果相當好，但在本次作用我使用一個不規則的多邊形來做轉換，雖然轉換結果不比原本的好，但還算可以得出資訊。 參考Perspective Transformation實做出來的程式做轉換，對於不規則多邊形轉換的效果很好，只是有失真，若用OpenCV轉出來的話就趨近完美了。 此類的校正可以應用在機器人自駕時的資訊辨認，或是在OCR應用上先把讀入的圖片做校正，在讀取資訊，可以減少判斷失誤。 在Deepfake影片偵測的研究中，許多論文的原理是把影像的Frame讀入後分析他是不是假造影像；如果在深度學習時，我先把人臉或是指定的擷取特徵做校正，可以把每個Frame的特徵變成一樣的構圖，就有機會分辨出他是不是造假的Frame：因為Frame造假是基於原本扭曲變形的畫面做變更，在校正後應該可以看出他和一般正常角度Frame的不同之處。
閱讀完整內容