実写風の画像生成(Stable Diffusion)
前回
初めてのStable Diffusion操作について
前提条件・知識
git
フォルダ構成の知識
Version: v1.2.1
きっかけ
某元大統領をモデルにした逮捕劇をAIで作成してしまうこともできる記事を目にして
前回のアニメ風からよりリアルな人間味を出す画像生成について調べてみた。
有識者であるskywindさんへ最近話題のリアルな生成モデルがないか相談したところ
いろんなモデルやツールを紹介してもらいました。
いつもありがとうございます。
先に生成データの紹介を行い後に、ダウンロードデータの配置や
生成方法の順番で記載します。
紹介
モデル
- RealDosMix
実写風でよく使われるAIモデル
https://civitai.com/models/6925/realdosmix
- Good Asian Girl Face
アジア人に近い傾向を出すモデル
https://civitai.com/models/5726/good-asian-girl-face
ツール
- VAE(vae-ft-mse-840000-ema-pruned)
この3つを用意することでリアルな画像生成ができるとのこと。
とりあえず、これらをモデル「単体」で動かしてみるとこうなる。
RealDosMix
ブログ用
— 🎮まつ@Twitch🎮 (@akmatsu1) 2023年6月10日
RealDosMix #StableDiffusion pic.twitter.com/4tXb8LbuIp
Good Asian Girl Face
Good Asian Girl Face#StableDiffusion pic.twitter.com/7OEZcJb5PH
— 🎮まつ@Twitch🎮 (@akmatsu1) 2023年6月10日
すでに単体だけでもクオリティの高い画像生成ができるのでこれで満足してしまう。
似た構図で出力できる理由について
Stable Diffusionはガチャ要素があるため、同じ構図を出力するのはとても難しいのですが、
画像から画像を生成する「img2img」で出力するとある程度同じ構図で画像生成をすることが可能です。
似た構図の作成方法
モデルをRealDosMixにしてテキストから画像を生成する「txt2img」で出力。
これで元画像が生成される。
モデルをGood Asian Girl Faceにして画像から画像を生成する 「img2img」で出力。
これで違うモデルでも同じ構図で画像が生成できる。
img2imgの出力#StableDiffusion pic.twitter.com/gffvMiNgtd
— 🎮まつ@Twitch🎮 (@akmatsu1) 2023年6月10日
少し調べ
VAE(vae-ft-mse-840000-ema-pruned)・・・?
VAEとはなんぞ?
様々な動画や記事で調べると・・・
VAE(Variational Autoencoder)は、生成モデルの一種で、データの潜在表現を学習するための手法である。
データを低次元の特殊な表現に変換し、それから元のデータを再構築することで学習を行い、
エンコーダー、デコーダーと呼ばれる2つの部分から構成される。
エンコーダー:データを特殊な表現に変換する役割を持つ。
この特殊な表現は、潜在空間と呼ばれる低次元の確率分布で表現される。
デコーダー:潜在空間から元のデータを再構築するために使用される。
その他、VAEは確率的な要素を組み込んでおり、
エンコーダーが特殊な表現を生成するときにランダム性を持ち
データの圧縮や異常検知、画像生成などの様々なタスクに使われます。
また、機械学習やディープラーニングの分野で広く研究、応用され
VAEを使うと、新しいデータを生成することも可能である。
正直よくわからん。
多分だけど・・・
ぼんやりですが、普段私たちが思う「可愛い、キレイ、リアル」などの感性を
このエンコーダー、デコーダーで数値化を行い表現をしやすくさせる。
この数値化の方法もいくつか種類がありそれらを組み合わせることで
より鮮明な画像生成や音楽、物体を予想させるなどを行う補助ツールではなかろうかと予想。
モデルをマージ(融合)して画像生成
先程の画像生成で単体でもとてもよい画像が生成できるのですが、
これらをより一層、磨きや質を上げる方法として
各モデル同士とツールをマージ(融合)させることで質の高い画像生成ができる。
マージについては「PNG info」の右にある「Checkpoint Merger」タブがそれにあたる。
※Stable Diffusionのバージョンが低い場合、タブがないのでgit pullにてバージョンアップが必要。
merge結果
マージ
— 🎮まつ@Twitch🎮 (@akmatsu1) 2023年6月10日
「RealDosMix」+「Good Asian Girl Face」+「VAE(vae-ft-mse-840000-ema-pruned)」#StableDiffusion pic.twitter.com/BjiAO0lIOm
さすがリアル志向というか単体モデルとはだいぶ違い、
先程のモデルとツールを組み合わせることで色味や表現が結構変わってくる。
RealDosMix「実写風」+Good Asian Girl Face「アジア人」+VAE(vae-ft-mse-840000-ema-pruned)
すごすぎるよAI・・・何でもできるやん。
各モデル配置とマージ方法
ここからは実用的な導入とマージ方法
ダウンロードした3つのモデルとツールを以下の場所に配置する
Stable Diffusionのルート配下
models
├Stable-diffusion
│ ├realdosmix_.safetensors
│ └goodAsianGirlFace_goodAsianGirlFaceV12.safetensors
└VAE
└vae-ft-mse-840000-ema-pruned.ckpt
マージ設定を行う
Checkpoint Merger#StableDiffusion pic.twitter.com/ASW5N9DMOv
— 🎮まつ@Twitch🎮 (@akmatsu1) 2023年6月10日
・Primary model(A)に「realdosmix_」を選択
・Secondary model(B)に「goodAsianGirlFace_goodAsianGirlFaceV12」を選択
・Bake in VAEに「vae-ft-mse-840000-ema-pruned」を選択
・Checkpointo formatは「safetensors」を選択
※上記以外は触らなくてもOK
⑧Mergeを実行 5分ほど時間かかります
⑨完了したら「txt2img」のチェックポイントをマージしたファイルに変更して画像生成
▼画像生成時の参考パラメータ
Sampler:DPM++ SDE Karras
プロンプト best quality, ultra high res, (photorealistic:1.4), close up viewer, 1 girl, (ulzzang-6500:1.0), (style-keta:0.8)
訳
ベストクオリティ画質の品質を保つ、超解像度、実写的1.4強調、顔をアップ、一人の女、韓国風美女、スタイル?
ネガティブプロンプト paintings, sketches, (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality, ((monochrome)), ((grayscale)), skin spots, acnes, skin blemishes, age spot, (outdoor:1.6), bad anatomy, muscularity, muscular
訳
絵画、スケッチ、最悪なクオリティ、低いクオリティ、ノーマルクオリティ、モノクロ、グレースケール、にきび、肌荒れ、加齢によるシミ、アウトドア?
オススメのプロンプトとネガティブプロンプトである。
半分わかり応用が効きそう、半分意味がわからない。
ここまでが実用的な導入です。
最後に
導入方法について教えていただいたので、まだまだわからないことだらけ。
Stable Diffusion内のSampling methodの指定があるので
これはどういう意味であるのか、またLoRaという追加学習ツールについても
興味があるので、これも次回の学習、調べ物として取り上げるのも良さそう。
多分、LoRaはより細部な修正箇所を手掛けることができ、プロンプトの強調部分、
数値を変更させることでいかんなくその能力を発揮できるのではないかと予想している。
指定ポージングを取らせるのは何か写真撮影をしてそれを参考にさせたほうが結構時間短縮でもあることに気づく。
MMDでポージングとカメラ配置決めれば最初からいい感じに画像生成出来そう。
AIの発展はまだまだこれから、波に乗り遅れずどんどんやっていこう。
1%の奇跡!
目次
Twitch
Twitchの収益化が達成できたので、スタンプ解禁とチャンネルポイントの活用ができるようになった。
しばらく使い方が分からずリスナーより使い道についてリクエストがあり水着ガチャを作成。
通常は猫ミクが出てくるが、うまくいくとボカロの水着姿が見れるという特典。 更にパーセントは低いものの画面いっぱいの水着ミクを見れることができる!
現在の比率 猫ミク 73% レン 10% カイト 8% リン 5% ルカ 3% ミク 1%
1%のミクを見たい方はぜひ水着ガチャを回せ!
ガチャ作成に伴い参考にしたサイトは以下となります。
このキャラ作成に伴い久しぶりにStable Diffusionを起動してポチポチ画像生成に励んだ。
相変わらずこの画像生成AIはすごいよ。
リアル志向AI生成について来週辺りに更新します。
2週分の生活
目次
初唐揚げ
初唐揚げ pic.twitter.com/Y6dS4K4X0B
— 🎮まつ@Twitch🎮 (@akmatsu1) 2023年5月12日
材料
- 鶏胸肉
- 片栗粉
- 卵
- ごま油
- めんつゆ
人生初の唐揚げ、とにかく手際が悪すぎてキッチン周りが大変なこと!
しかし、初めてにしては衣がいい色で焼き加減もよく味付けもバッチリ!
先週は片栗粉ではなく、小麦粉にしてみたんだけど、小麦粉だと油を吸ってしまうのか、すぐに焦げ目が出てしまい初回で作った唐揚げとは程遠い出来合いとなってしまった。
原因は火力が強すぎた、次回は火力調整してやってみる!
SSD2.5インチ→M.2SSDへ入替え
グラボを取り除かないとM.2がつけられなく、結構な面倒。
ということで、バラして装着!
入れ替え作業やるで pic.twitter.com/q2dHdoFssT
— 🎮まつ@Twitch🎮 (@akmatsu1) 2023年5月13日
問題なくM.2が認識していることを確認! MiniTool ShadowMakerでクローン成功!
2週間経った今も問題なく稼働中!問題なし!
メインドライブをM.2にしたけど、そこまで体感的には変わらないような気もする。
そして外部ストレージもHDDからSSDに変更! OBSのデータや起動ファイルを保存しているのでかなり違う!
カイロプラクティックへ
肩が痛すぎてあがらず、人生初の整体へ 整骨院ではなく、カイロプラクティックという骨をバキバキに鳴らすところへ行ってきました。
かねてから動画で知ったここの整体へお世話になりました。 店内へ入った瞬間、様々な著名人のサインや写真がたくさん!!
問診票を記入したあとに、軽く体をほぐすストレッチ、マッサージ
その後、肩、腰、背中、首、足とものすごく手際がよく、あっというまに肩と首の痛みが取れた!
今まで変な姿勢で動いていたので、体の癖がまだ取れきっていないため
何度か通う必要はあるけど、即効性があってこれはいい経験になりました。
このように、動画で出して信頼性のあるところが近くにあるのはとても助かる!
博多駅
カイロプラクティックへ行ったあと、博多駅前に出店があったのでぶらり
博多駅前で出店やってる! pic.twitter.com/W5uFqD3bvW
— 🎮まつ@Twitch🎮 (@akmatsu1) 2023年5月20日
ここで食べたのは佐世保バーガー でかい!そして新鮮で美味しい!
佐世保バーガー pic.twitter.com/CJ38YS6HMz
— 🎮まつ@Twitch🎮 (@akmatsu1) 2023年5月20日
ハンバーガーを食べたあとは冷たい物を口に入れたくなり そのままお隣のヤギのアイスクリームへ、これもおいしい!
ヤギのミルクソフトクリーム pic.twitter.com/DiU6OhCCIH
— 🎮まつ@Twitch🎮 (@akmatsu1) 2023年5月20日
ようやく落ち着いた生活
目次
生活面
1週間があっという間、GW期間中は皆様いかがお過ごしでしょうか?
私はようやく生活環境が整い、いつも通りTwitch放送ができるようになり、更には新生活も相まって 自炊を数年ぶりに再開しております。
自炊はどのくらい続くか不明ですが、お昼のランチ代は1週間分作り冷凍しておくことで 1日の食費を大幅に減らすことが当面の目標。
昨日作った焼きそば
— 🎮まつ@Twitch🎮 (@akmatsu1) 2023年5月1日
いい感じに美味しい
はい、これで食費500円浮いた pic.twitter.com/ExzCViiFmt
その他、予定していたルンバ、食洗機が到着。
ルンバは1ヶ月お試し、食洗機は半年レンタルというプランで組んでいます。
どちらとも音がすごい!お風呂入っているときや、外出中に稼働させれば問題なし。
あとはホットクックの導入です。
DIVA
EXモードのレベル8をクリア!
EXモード_レベル8全クリ https://t.co/jY0LMNVNXR
— 🎮まつ@Twitch🎮 (@akmatsu1) 2023年5月7日
実力が上がっているのがハッキリわかる、いよいよ8.5だけどキーボード4キーではそろそろ限界か・・・?
安定的な生活を求め右往左往
目次
引越完了
東京から福岡へ何だかんだありながら無事に引越完了しました。
skymark で帰ります pic.twitter.com/xAI0Hce8Ve
— 🎮まつ@Twitch🎮 (@akmatsu1) 2023年4月19日
食べ物、おもしろ
ブラックモンブラン
九州・福岡の地に降り立ち真っ先に食べたものは「ブラックモンブラン」
スーパーやコンビニで気楽に買えるアイス、東京にいると特定の店に出向かないと買えない商品。
アイスのために遠出はしたくないのであまり食べなかったけど、やはり美味しい。
長崎ちゃんぽん
チェーン店ではあるけど、外出したら必ず食べる皿うどん。
味は一緒なんだけど地元で食べると落ち着く。
チェーン店だから同じなんだけど
— 🎮まつ@Twitch🎮 (@akmatsu1) 2023年4月29日
地元で食べる皿うどんは違うよ pic.twitter.com/BDi8FubBxH
ICカード
はやかけん、sugoka
ユニークなキャッチコピーで面白い
福岡の地下鉄カード一覧
— 🎮まつ@Twitch🎮 (@akmatsu1) 2023年4月29日
スゴカ 方言やん pic.twitter.com/odkrPECX48
生活の仕方に悩む
まずはこちらのスレッドを参照ください。
日用品を買い揃えるに苦労しています。
— 🎮まつ@Twitch🎮 (@akmatsu1) 2023年4月25日
今回の部屋はより快適なライフスタイルを強いられるような感じがして少し疲れ?がある。
おそらくこれは一般社会人が生活できるものを
ズボラで出不精な私がやるととてもハードルが上がっているだけなのではないかと悩み、困惑している。
以前ツイートした内容の通りですが、なんだか一般社会人が生活する内容を過ごすのを
強要されているような感じがして少し疲れが出ている。
とても良い物件に住まわせていただき生活が豊かになりましたが、それに比例してキレイに保たないといけないというプレッシャーがあり、関連する日用品を買い揃えるのにすごく苦労したり、
今までやってこなかった規則正しく規律のある生活を求めないといけなくなっているのでちょ~っときつい。
買い揃えが落ち着くのはあと少しだと思う、あとは今すぐに買わなくてもいいものだから
ゆっくり生活していく中で慣らしてどうしても必要だと思ったら買うようにする。
あとがき
周りを探索すると、通行人の話し声は方言でありとても地元に帰った感じがしてとても居心地がいい、
この感覚を10年待っていたんだ。久しぶりすぎて感動をゆっくりと噛み締めている。
残りの人生は九州で全うします。
本格的な荷造り
目次
引越し準備
いよいよ大詰め4月19日に東京から福岡への引越、九州圏内に住民票を移すのは約10年振りである。
コロナがなければそのまま東京に住み続けていたかは微妙、コロナの収束と共に約10年という節目もあり、地元へのUターン思考もあり、このタイミングで地元圏内へ戻る。
荷造りと掃除については簡単にゆるく始めているので本格的な荷造りを初めて行くとまた捨てるものが出てくる、引越し前と引越し後は必ずと言っていいほどゴミ袋を10袋ほど大量消費する。
問題は机周りのモニターとモニターアーム、パソコン、マイク、スピーカーなどの精密機器である。
使わなくなった衣類や布団を緩衝材代わりとしてやる予定、あとは2Mぐらいのメタルラックこれだけ、これもすぐに終わりそう。
既に捨てたい粗大ごみは捨てているので簡単な荷造りは一瞬で終わると思うが、大体は終わらないのである。
ここから下は引越し後にやること、やりたいことをまとめ。
引越し後にやらないといけないこと(マスト)
- 住民票更新
- 免許書更新
- ライフラインの整備
- ネット回線調査_会社PCの通信環境確認
- 環境整理の順番
- 生活(衣食住)
- 仕事(机周り)
- 配信(自PC周り)
これを引っ越しして3日程度で終わらせないといけない、結構きついよ。
平日に住民票、免許証の更新、土日に生活必需品を買い揃える。
新生活はキッチン周りと掃除のしやすさに全振りする、長続き秘訣は掃除のしやすさ。
キッチン周りのベトベトはどうあがいても防ぎようがない、キッチン周りは調味料や壁掛け系は一切置かない!
引越し後にやりたいこと(ウォント)
生活系
- ルンバ、食洗機の導入
- ベッドのフレーム交換
レンタルでいいのでまずは3ヶ月試して設置場所や使用頻度を見て購入予定。
ヘッドレスにしたいので業者へ問い合わせ中!
これらは7月までには達成したい。
配信系
- 料理配信(様々な配信道具を買い揃える)
- VOCALOIDで作曲配信(v4xを購入予定)
- ゲーミングルーム作成(LEDテープ購入予定)
- ストレージを2TBへ増量
どれもクオリティは低めで徐々に上げるような感じであれば今年中にでも達成できそう。
東京オフ
目次
オフ会
ゔぁるしゃんと会ったとき、サーバルキャットの帽子を被ってたから
何も考えずオナロール?と読んでしまった。邪な心・・・
出会い頭、開幕に変なことをぶっこんでしまった
養命酒ゔぁるしゃんとなおさんと
— 🎮まつ@Twitch🎮 (@akmatsu1) 2023年4月8日
オフ会
これそのまま読んでしまった、、、
邪な心を持っているのだ pic.twitter.com/CLh6O6rkY6
さて、初っ端のお店はそば屋。オフ会2日前に急遽、蕎麦屋を追加。
この理由は蕎麦屋はあまり食べないというか、よほどのことがない限り行こうとも思わない。
それならばオフ会で行こうということで決定。
吉祥寺 中清
料理の写真は撮り忘れてしまった。。。すまぬ。。。
そば屋は最初におつまみや天ぷらなどを食べて最後に蕎麦を食べるのが習わしというか食べ方みたいである。
私が食べたのは、さとせいろという、よく見る色の蕎麦を注文。
生粉蕎麦を注文、素晴らしい。
ここで出てくる前菜やわさび何から何までとても上品、
福岡に帰ったときでも蕎麦屋に行ってみるのもありかもしれない。
目的の蕎麦屋 pic.twitter.com/ExXqpiqT2z
— 🎮まつ@Twitch🎮 (@akmatsu1) 2023年4月8日
蕎麦ももちろんだけど、お酒とわさび、天ぷらとても良かった・・・
黒5
次は黒5という焼肉店
tabelog.com
黒5へ! pic.twitter.com/PDp6xCBeEE
— 🎮まつ@Twitch🎮 (@akmatsu1) 2023年4月8日
入ってから気づいたのが、ここのお店、自分で焼くのではなく
店員さんが焼いてくれる・・・これは高級焼肉店じゃないかーーー!!
ファーストミートのサイコロステーキ、食べた瞬間、胃袋にズドーンとくる衝撃。
高級店はお通しも違う、こだわりのタレと醤油出汁を固めたものありとても美味しい!
↓↓↓↓サイコロステーキの下にある白いものが、こだわりのタレと醤油出汁を固めたもの。
これは本当まろやかで美味しかった!!
サイコロステーキ
— 🎮まつ@Twitch🎮 (@akmatsu1) 2023年4月8日
焼いてくれてる! pic.twitter.com/AfBFYh0nxc
肉1品ごとに薬味が用意されており1つのショーを間近で見ている感じでした。
あまりにもスピーディー過ぎて私はもう少しゆっくりしたかったかな・・・。
最後につくづく思うのが私はそこまで食レポ用の写真を撮るのが苦手なんだと思う。
食べることに集中して、写真をほとんど撮ってないのだった・・・
初音ミクProjectDIVA
本日の紹介はEXレベル8のパーフェクト狙いとスタンダードをグレートへ昇格目標。
パーフェクト3曲、グレート昇格を複数曲達成。結構いい感じに腕前が上達してきている。
もうかれこれ、EXチャレンジは3ヶ月経過している。時の流れが早い。
前回、怒涛のパーフェクトラッシュ3曲! pic.twitter.com/FWaW1fNmss
— 🎮まつ@Twitch🎮 (@akmatsu1) 2023年4月9日
後2ヶ月で1年が半分だよ!
最後に
14日の金曜日から本格的に引越に取り組むので
早くて5月1日あたりから放送になるかもしれないです。
ゔぁるしゃん、なおさん 餞別ありがとう!!