以前自已摸索深度學習時，都是使用現成的資料集去實作相關程式碼，例如 MNIST 數字集、Cifar10 …等，網路上也充斥各種範例程式，雖然可以很快去完成一支訓練程式，很輕鬆的建構出神經網路架構 (ctrl+c ctrl+v)，殊不知，讀資料才是最重要的XD 也因為對於資料讀取這件事不夠了解，所以要換成自己的資料就卡關了，也不知道如何製作輸入影像及標記資料，間接導致換資料變得很困難，至少對於一些本身背景就不是寫程式的人更是如此，也因此我們除了學習相關 API 之外，也應該學習如何建立及讀取資料。 本文使用 tensorflow2 + keras API 實作 Unet 架構，並嘗 …

前言 這陣子常需要把KERAS的weights取出來，然後在別的地方使用。 怕忘記先把作法記錄下來，也順便紀錄一下我自己如何執行存模型、載入模型的過程。 模型輸出與載入 這邊先假設我已經用KERAS訓練好一個模型，那我會把訓練好的模型輸出幾種檔案，等需要進行預測時，直接載入這些檔案即可。 模型架構 conv » relu » pool » flat » fc1 » relu » dropout » fc2 » softmax from tensorflow.keras import layers …

前言 如果說今天許多檔案的命名具有一定規則時，代表這些檔案是有一些關係存在，要是這些檔案數量超過好幾百、好幾千筆、甚至好幾萬筆，這些規則可以幫助我們快速找到資料。那要如何根據命名規則來快速篩選檔案呢？對於 Python 來說，可以使用 re 正則表達式，來幫助我們完成上面的工作。 string_rule = r"\d\d\d" rule = re.complie(string_rule ) results = rule.search(rule, msg) 可以直接套用 re 模組的函數，就不用先 re.complie(r"string_rule") …

上一篇文章已經介紹了 tf.data.Dataset 這個 API，也找出我最常用的兩個方式，一個是 tf.data.Dataset.from_tensor_slices，另一個是 tf.data.Dataset.from_generator。 但是我在複習相關程式碼過程中，發現其實只要用**tf.data.Dataset.from_tensor_slices，**就能滿足我所有需求了。 資料讀取的情況，我目前大致分成三種： 先用 NumPy Array 進行前處理，再轉成 Dataset 形式。 先把 NumPy Array 轉成 Dataset 形式，再使用 map() 函數進行前處理。 …

昨天花了些時間複習 tf.keras API (點我)。除了建個簡單的卷積神經網路 (Convolution Nerual Network, CNN)，也丟了最簡單的 MNIST 數字集來訓練，很快就複習一遍相關的程式，反而整理程式寫文章花了許多時間QQ。雖說是複習 API，但還是試了不少新東西，但主要就是用 tf.data.Dataset 讀取資料的方式，所以就決定單獨寫一篇文章來紀錄一下。 tf.data.Dataset 先來看官方解說，內容就直接貼上來了。 The tf.data.Dataset API supports writing descriptive and efficient …

這裡會學到 讀取 MNIST 資料 CNN 模型建立 訓練參數設定 評估、預測模型 有一些基本的東西這邊就不講了，像是 TensorFlow 環境建立、MNIST 資料集的介紹..等等，直接去看我之前的文章。 程式架構 分成三個檔案： MyModel.py MyTools.py mnist_ds.py 這些檔案可能會隨著我測試的東西而改變，所以檔案說明以 GITHUB 上的 README 為主，檔案用途會寫在上面。 程式流程 CNN 模型建立 讀取 MNIST 資料 載入模型、輸出模型架構 定義訓練參數 訓練模型 預測測試資料 評估測試資料 程式碼 一、CNN 模型建立 ( …