森井の修論日誌

2025年度の研究はこちら

4月†

4/7†

近接画像においてLoRAを用いた画像生成が評点別に行えるようになった。 ただし256pxで出力している関係上、どうしても粗くなってしまうため256より大きいpxで出力することにする。 そうすることで画像の粗さが解消されるのでは。

4/8†

背景・近景・近接の各画像を生成できるようになったので、実在画像と生成画像の比を変えてヒートマップ生成に変化が現れるかを見ていく。 学習枚数と条件の組み合わせは以下の通り。

• 背景画像

• 近景画像

• 近接画像

近接画像は256pxで画像を生成すると画素が粗くなってしまうため、錆が持っている情報を256pxでも分かるように大きめに出力して圧縮することにした。

• 試す組み合わせ

  パターン（背景_近景_近接）	実在画像と生成画像の学習比	近接画像出力px
  01_11_①	7:3	512px
  01_11_③	7:3	1024px
  02_12_②	1:1	512px
  02_12_④	1:1	1024px

4/9†

• LoRA生成待ち　20時間弱で65枚程度生成されたことを考えると週明けには近接画像の出力が終わるか
• 来週中に背景と近景（要改修）画像の生成まで進められれば

4/16†

• 近接画像の画像生成が完了した　これから背景画像と近景画像の生成を行っていく
• 背景画像は問題なく生成できると思うが、近景画像は鋼材部分を上手く生成することが難しそう　具体的には主桁と横桁が混ざり合って格子状の鋼材になる, 撮影アングルを調整できない　など
• ⇒ 画像生成では生成して欲しい内容や物体をスクリプト上に単語で書く必要があるため、そこでどんな単語を書くか発想力が求められる

4/17†

• 近接画像の生成が一段落済んだのでデスクトップを変えた　Pythonを実行するために環境を構築しているところだが、時間がかかりそう 月曜には終わるか

4/20†

• デスクトップを変えてスクリプトの大半は実行できるようにした　画像生成を行うためにLoRAを学習する必要があるのだが、以前のデスクトップでは問題なく学習できていた設定で再度行ったところ、容量が足りずエラー落ちしてしまった。
• 学習スペックを落としたら無事回ったが、どうやら学習を行うにはVRAMの容量を求められるらしい。
• 画像生成に関して 生成時間が今までの25分の1に短縮された　画像の種類・大きさによって生成時間に変化はなさそう　有り難い

4/22†

• LoRAで生成できたもの
  • 背景画像

• 近景画像

• 近接画像
  • 近接画像を256pxで生成（左から順に評点1, 評点2 ... の順に並んでいる）

• 512pxで生成した後に256pxに圧縮（左から順に評点1, 評点2 ... の順に並んでいる）

• 1024pxで生成した後に256pxに圧縮（左から順に評点1, 評点2 ... の順に並んでいる）

4/24†

• 1パターンでの学習を始めた １日で１種類の学習が完了するため、全部まとめるのには1周間程度かかる予定　GW明けには終わらせたいところ
• 現行のスクリプトに簡易的なベイズ推定を入れてみた　実行は来週以降

4/27†

• ３枚の撮影画像に対してヒートマップを描くという段階にはたどり着いたものの、１枚あたり7時間程度かかることがわかった
• とりあえず生成してみて精度を確認する　そこからどうするか考えることにする

4/30†

• ヒートマップの生成時にGPUを使えるように設定した　ただし最速で生成しようとすると強制終了されることが分かったので、処理速度はほどほどに設定する必要がある　これにより従来生成にb 7時間/枚 かかっていたのが 20分/枚 と大幅に性能が向上した。
• また ヒートマップの生成に近似ベイズ（MC Dropout）を導入し、ヒートマップをパッチ単位で信頼区間を出せるようにした。信頼区間の程度と色の関係を下に貼り付けておく

01_11_①†

• マスク画像

• ヒートマップ画像

• 信頼区間

5月†

5/1†

• ヒートマップの出力調整中　マスク画像は学習枚数を変えても変化なさそうなのでこれからの出力結果では省略することにする。

各種画像の追加・前処理と再学習方法†

• ファイル構成

project_root/
├── dataset/
│   ├── bg/
│   │   └── raw/        ← 背景画像
│   ├── bridge/
│   │   └── raw/        ← 橋画像（セグメンテーション用）
│   └── rust/
│       └── raw/        ← 錆画像（回帰用）
│
├── masks/              ← bridge用マスク
├── models/            ← CNNモデルが保存
├── results/　　　← 結果が出力

• ① 背景画像を追加して学習する手順
  • 1. 画像配置： "dataset/bg/raw/"に画像を入れる
  • 2. 学習実行：train_all4.pyを実行し、メニューから "4) Train BackGround" を選択すれば学習が始まる

• ② 近景画像からマスク画像を作成して学習
  • 1. 画像配置 "dataset/bridge/raw/"に画像を入れる
  • 2. マスク作成：手動or自動を選択可能だが、現状はデータ数が少ないため手動を選択する
  • 3. 学習実行：train_all4.pyを実行し、メニューから "2) Train Bridge (Ensemble UNet)" を選択すれば学習が始まる

• ③ 近接画像を追加して学習する手順
  • 1. 画像配置： "dataset/rust/raw/"に画像を入れる
  • 2. 学習実行：train_all4.pyを実行し、メニューから "3) Train Rust" を選択すれば学習が始まる

最新の100件