定期配信者のTwitch議事録ブログ

Twitch関連をまとめるページ

実写風の画像生成(Stable Diffusion)

プログラミング系

前回

初めてのStable Diffusion操作について

sandboxmatsu.hatenablog.com

前提条件・知識

git
フォルダ構成の知識
Version: v1.2.1

きっかけ

某元大統領をモデルにした逮捕劇をAIで作成してしまうこともできる記事を目にして
前回のアニメ風からよりリアルな人間味を出す画像生成について調べてみた。
有識者であるskywindさんへ最近話題のリアルな生成モデルがないか相談したところ
いろんなモデルやツールを紹介してもらいました。
いつもありがとうございます。

先に生成データの紹介を行い後に、ダウンロードデータの配置や
生成方法の順番で記載します。

紹介

モデル

  • RealDosMix

実写風でよく使われるAIモデル
https://civitai.com/models/6925/realdosmix

  • Good Asian Girl Face

アジア人に近い傾向を出すモデル
https://civitai.com/models/5726/good-asian-girl-face

ツール

  • VAE（vae-ft-mse-840000-ema-pruned）

https://huggingface.co/stabilityai/sd-vae-ft-mse-original/blob/main/vae-ft-mse-840000-ema-pruned.ckpt

この3つを用意することでリアルな画像生成ができるとのこと。
とりあえず、これらをモデル「単体」で動かしてみるとこうなる。

RealDosMix

Good Asian Girl Face

すでに単体だけでもクオリティの高い画像生成ができるのでこれで満足してしまう。

似た構図で出力できる理由について

Stable Diffusionはガチャ要素があるため、同じ構図を出力するのはとても難しいのですが、
画像から画像を生成する「img2img」で出力するとある程度同じ構図で画像生成をすることが可能です。

似た構図の作成方法
モデルをRealDosMixにしてテキストから画像を生成する「txt2img」で出力。
これで元画像が生成される。
モデルをGood Asian Girl Faceにして画像から画像を生成する 「img2img」で出力。
これで違うモデルでも同じ構図で画像が生成できる。

少し調べ

VAE（vae-ft-mse-840000-ema-pruned）・・・？

VAEとはなんぞ？

様々な動画や記事で調べると・・・
VAE（Variational Autoencoder）は、生成モデルの一種で、データの潜在表現を学習するための手法である。
データを低次元の特殊な表現に変換し、それから元のデータを再構築することで学習を行い、
エンコーダー、デコーダーと呼ばれる2つの部分から構成される。

エンコーダー：データを特殊な表現に変換する役割を持つ。
　　　この特殊な表現は、潜在空間と呼ばれる低次元の確率分布で表現される。
デコーダー：潜在空間から元のデータを再構築するために使用される。

その他、VAEは確率的な要素を組み込んでおり、
エンコーダーが特殊な表現を生成するときにランダム性を持ち
データの圧縮や異常検知、画像生成などの様々なタスクに使われます。
また、機械学習やディープラーニングの分野で広く研究、応用され
VAEを使うと、新しいデータを生成することも可能である。

正直よくわからん。

多分だけど・・・

ぼんやりですが、普段私たちが思う「可愛い、キレイ、リアル」などの感性を
このエンコーダー、デコーダーで数値化を行い表現をしやすくさせる。
この数値化の方法もいくつか種類がありそれらを組み合わせることで より鮮明な画像生成や音楽、物体を予想させるなどを行う補助ツールではなかろうかと予想。

モデルをマージ(融合)して画像生成

先程の画像生成で単体でもとてもよい画像が生成できるのですが、 これらをより一層、磨きや質を上げる方法として
各モデル同士とツールをマージ(融合)させることで質の高い画像生成ができる。
マージについては「PNG info」の右にある「Checkpoint Merger」タブがそれにあたる。
※Stable Diffusionのバージョンが低い場合、タブがないのでgit pullにてバージョンアップが必要。

merge結果

さすがリアル志向というか単体モデルとはだいぶ違い、
先程のモデルとツールを組み合わせることで色味や表現が結構変わってくる。
RealDosMix「実写風」+Good Asian Girl Face「アジア人」+VAE（vae-ft-mse-840000-ema-pruned）
すごすぎるよAI・・・何でもできるやん。

各モデル配置とマージ方法

ここからは実用的な導入とマージ方法

ダウンロードした3つのモデルとツールを以下の場所に配置する
　Stable Diffusionのルート配下
　models
　　├Stable-diffusion
　　│　├realdosmix_.safetensors
　　│　└goodAsianGirlFace_goodAsianGirlFaceV12.safetensors
　　└VAE
　　　　└vae-ft-mse-840000-ema-pruned.ckpt

マージ設定を行う

　・Primary model(A)に「realdosmix_」を選択
　・Secondary model(B)に「goodAsianGirlFace_goodAsianGirlFaceV12」を選択
　・Bake in VAEに「vae-ft-mse-840000-ema-pruned」を選択
　・Checkpointo formatは「safetensors」を選択

　※上記以外は触らなくてもOK

⑧Mergeを実行　 5分ほど時間かかります

⑨完了したら「txt2img」のチェックポイントをマージしたファイルに変更して画像生成

▼画像生成時の参考パラメータ

Sampler：DPM++ SDE Karras

プロンプト  
best quality, ultra high res, (photorealistic:1.4), close up viewer, 1 girl, (ulzzang-6500:1.0), (style-keta:0.8)

訳
ベストクオリティ画質の品質を保つ、超解像度、実写的1.4強調、顔をアップ、一人の女、韓国風美女、スタイル？

ネガティブプロンプト
paintings, sketches, (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality, ((monochrome)), ((grayscale)), skin spots, acnes, skin blemishes, age spot, (outdoor:1.6), bad anatomy, muscularity, muscular

訳
絵画、スケッチ、最悪なクオリティ、低いクオリティ、ノーマルクオリティ、モノクロ、グレースケール、にきび、肌荒れ、加齢によるシミ、アウトドア？

オススメのプロンプトとネガティブプロンプトである。
半分わかり応用が効きそう、半分意味がわからない。

ここまでが実用的な導入です。

最後に

導入方法について教えていただいたので、まだまだわからないことだらけ。
Stable Diffusion内のSampling methodの指定があるので これはどういう意味であるのか、またLoRaという追加学習ツールについても 興味があるので、これも次回の学習、調べ物として取り上げるのも良さそう。

多分、LoRaはより細部な修正箇所を手掛けることができ、プロンプトの強調部分、
数値を変更させることでいかんなくその能力を発揮できるのではないかと予想している。
指定ポージングを取らせるのは何か写真撮影をしてそれを参考にさせたほうが結構時間短縮でもあることに気づく。
MMDでポージングとカメラ配置決めれば最初からいい感じに画像生成出来そう。

AIの発展はまだまだこれから、波に乗り遅れずどんどんやっていこう。

1％の奇跡！

日記

目次

Twitch

Twitchの収益化が達成できたので、スタンプ解禁とチャンネルポイントの活用ができるようになった。
しばらく使い方が分からずリスナーより使い道についてリクエストがあり水着ガチャを作成。

通常は猫ミクが出てくるが、うまくいくとボカロの水着姿が見れるという特典。 更にパーセントは低いものの画面いっぱいの水着ミクを見れることができる！

現在の比率 猫ミク　73％　レン　10％　カイト　8％　リン　5％　ルカ　3％　ミク　1％

1％のミクを見たい方はぜひ水着ガチャを回せ！
ガチャ作成に伴い参考にしたサイトは以下となります。

hanachan-twitch.com

このキャラ作成に伴い久しぶりにStable Diffusionを起動してポチポチ画像生成に励んだ。
相変わらずこの画像生成AIはすごいよ。

リアル志向AI生成について来週辺りに更新します。

2週分の生活

日記

目次

初唐揚げ

材料

  • 鶏胸肉
  • 片栗粉
  • 卵
  • ごま油
  • めんつゆ

人生初の唐揚げ、とにかく手際が悪すぎてキッチン周りが大変なこと！
しかし、初めてにしては衣がいい色で焼き加減もよく味付けもバッチリ！
先週は片栗粉ではなく、小麦粉にしてみたんだけど、小麦粉だと油を吸ってしまうのか、すぐに焦げ目が出てしまい初回で作った唐揚げとは程遠い出来合いとなってしまった。

原因は火力が強すぎた、次回は火力調整してやってみる！

SSD2.5インチ→M.2SSDへ入替え

グラボを取り除かないとM.2がつけられなく、結構な面倒。
ということで、バラして装着！

問題なくM.2が認識していることを確認！ MiniTool ShadowMakerでクローン成功！

jp.minitool.com

2週間経った今も問題なく稼働中！問題なし！
メインドライブをM.2にしたけど、そこまで体感的には変わらないような気もする。

そして外部ストレージもHDDからSSDに変更！ OBSのデータや起動ファイルを保存しているのでかなり違う！

カイロプラクティックへ

肩が痛すぎてあがらず、人生初の整体へ 整骨院ではなく、カイロプラクティックという骨をバキバキに鳴らすところへ行ってきました。

www.youtube.com

かねてから動画で知ったここの整体へお世話になりました。 店内へ入った瞬間、様々な著名人のサインや写真がたくさん！！

問診票を記入したあとに、軽く体をほぐすストレッチ、マッサージ
その後、肩、腰、背中、首、足とものすごく手際がよく、あっというまに肩と首の痛みが取れた！
今まで変な姿勢で動いていたので、体の癖がまだ取れきっていないため 何度か通う必要はあるけど、即効性があってこれはいい経験になりました。

このように、動画で出して信頼性のあるところが近くにあるのはとても助かる！

博多駅

カイロプラクティックへ行ったあと、博多駅前に出店があったのでぶらり

ここで食べたのは佐世保バーガー　でかい！そして新鮮で美味しい！

ハンバーガーを食べたあとは冷たい物を口に入れたくなり そのままお隣のヤギのアイスクリームへ、これもおいしい！

ようやく落ち着いた生活

日記 Twitch

目次

生活面

1週間があっという間、GW期間中は皆様いかがお過ごしでしょうか？

私はようやく生活環境が整い、いつも通りTwitch放送ができるようになり、更には新生活も相まって 自炊を数年ぶりに再開しております。

自炊はどのくらい続くか不明ですが、お昼のランチ代は1週間分作り冷凍しておくことで 1日の食費を大幅に減らすことが当面の目標。

その他、予定していたルンバ、食洗機が到着。

ルンバは1ヶ月お試し、食洗機は半年レンタルというプランで組んでいます。

どちらとも音がすごい！お風呂入っているときや、外出中に稼働させれば問題なし。

あとはホットクックの導入です。

DIVA

EXモードのレベル8をクリア！

実力が上がっているのがハッキリわかる、いよいよ8.5だけどキーボード4キーではそろそろ限界か・・・？

安定的な生活を求め右往左往

日記

目次

引越完了

東京から福岡へ何だかんだありながら無事に引越完了しました。

食べ物、おもしろ

ブラックモンブラン
九州・福岡の地に降り立ち真っ先に食べたものは「ブラックモンブラン」 スーパーやコンビニで気楽に買えるアイス、東京にいると特定の店に出向かないと買えない商品。
アイスのために遠出はしたくないのであまり食べなかったけど、やはり美味しい。

長崎ちゃんぽん
チェーン店ではあるけど、外出したら必ず食べる皿うどん。
味は一緒なんだけど地元で食べると落ち着く。

ICカード
はやかけん、sugoka
ユニークなキャッチコピーで面白い

生活の仕方に悩む

まずはこちらのスレッドを参照ください。

以前ツイートした内容の通りですが、なんだか一般社会人が生活する内容を過ごすのを
強要されているような感じがして少し疲れが出ている。

とても良い物件に住まわせていただき生活が豊かになりましたが、それに比例してキレイに保たないといけないというプレッシャーがあり、関連する日用品を買い揃えるのにすごく苦労したり、
今までやってこなかった規則正しく規律のある生活を求めないといけなくなっているのでちょ～っときつい。

買い揃えが落ち着くのはあと少しだと思う、あとは今すぐに買わなくてもいいものだから
ゆっくり生活していく中で慣らしてどうしても必要だと思ったら買うようにする。

あとがき

周りを探索すると、通行人の話し声は方言でありとても地元に帰った感じがしてとても居心地がいい、 この感覚を10年待っていたんだ。久しぶりすぎて感動をゆっくりと噛み締めている。
残りの人生は九州で全うします。

本格的な荷造り

日記

目次

引越し準備

いよいよ大詰め4月19日に東京から福岡への引越、九州圏内に住民票を移すのは約10年振りである。

コロナがなければそのまま東京に住み続けていたかは微妙、コロナの収束と共に約10年という節目もあり、地元へのUターン思考もあり、このタイミングで地元圏内へ戻る。

荷造りと掃除については簡単にゆるく始めているので本格的な荷造りを初めて行くとまた捨てるものが出てくる、引越し前と引越し後は必ずと言っていいほどゴミ袋を10袋ほど大量消費する。

問題は机周りのモニターとモニターアーム、パソコン、マイク、スピーカーなどの精密機器である。

使わなくなった衣類や布団を緩衝材代わりとしてやる予定、あとは2Mぐらいのメタルラックこれだけ、これもすぐに終わりそう。

既に捨てたい粗大ごみは捨てているので簡単な荷造りは一瞬で終わると思うが、大体は終わらないのである。

ここから下は引越し後にやること、やりたいことをまとめ。

引越し後にやらないといけないこと(マスト)

  • 住民票更新
  • 免許書更新
  • ライフラインの整備
  • ネット回線調査_会社PCの通信環境確認
  • 環境整理の順番
    1. 生活(衣食住)
    2. 仕事(机周り)
    3. 配信(自PC周り)

これを引っ越しして3日程度で終わらせないといけない、結構きついよ。

平日に住民票、免許証の更新、土日に生活必需品を買い揃える。

新生活はキッチン周りと掃除のしやすさに全振りする、長続き秘訣は掃除のしやすさ。

キッチン周りのベトベトはどうあがいても防ぎようがない、キッチン周りは調味料や壁掛け系は一切置かない！

引越し後にやりたいこと(ウォント)

生活系

  • ルンバ、食洗機の導入
  • ベッドのフレーム交換

レンタルでいいのでまずは3ヶ月試して設置場所や使用頻度を見て購入予定。

ヘッドレスにしたいので業者へ問い合わせ中！

これらは7月までには達成したい。

配信系

  • 料理配信(様々な配信道具を買い揃える)
  • VOCALOIDで作曲配信(v4xを購入予定)
  • ゲーミングルーム作成(LEDテープ購入予定)
  • ストレージを2TBへ増量

どれもクオリティは低めで徐々に上げるような感じであれば今年中にでも達成できそう。

東京オフ

Twitch 日記

目次

オフ会

養命酒ゔぁるしゃん、奈緒さんとオフ会を久しぶりに開催。

ゔぁるしゃんと会ったとき、サーバルキャットの帽子を被ってたから
何も考えずオナロール？と読んでしまった。邪な心・・・

出会い頭、開幕に変なことをぶっこんでしまった

さて、初っ端のお店はそば屋。オフ会2日前に急遽、蕎麦屋を追加。
この理由は蕎麦屋はあまり食べないというか、よほどのことがない限り行こうとも思わない。
それならばオフ会で行こうということで決定。

吉祥寺 中清

料理の写真は撮り忘れてしまった。。。すまぬ。。。

そば屋は最初におつまみや天ぷらなどを食べて最後に蕎麦を食べるのが習わしというか食べ方みたいである。
私が食べたのは、さとせいろという、よく見る色の蕎麦を注文。
生粉蕎麦を注文、素晴らしい。

tabelog.com

ここで出てくる前菜やわさび何から何までとても上品、
福岡に帰ったときでも蕎麦屋に行ってみるのもありかもしれない。

蕎麦ももちろんだけど、お酒とわさび、天ぷらとても良かった・・・

黒5

次は黒5という焼肉店
tabelog.com

入ってから気づいたのが、ここのお店、自分で焼くのではなく
店員さんが焼いてくれる・・・これは高級焼肉店じゃないかーーー！！

ファーストミートのサイコロステーキ、食べた瞬間、胃袋にズドーンとくる衝撃。
高級店はお通しも違う、こだわりのタレと醤油出汁を固めたものありとても美味しい！

↓↓↓↓サイコロステーキの下にある白いものが、こだわりのタレと醤油出汁を固めたもの。
これは本当まろやかで美味しかった！！

肉1品ごとに薬味が用意されており1つのショーを間近で見ている感じでした。
あまりにもスピーディー過ぎて私はもう少しゆっくりしたかったかな・・・。

最後につくづく思うのが私はそこまで食レポ用の写真を撮るのが苦手なんだと思う。
食べることに集中して、写真をほとんど撮ってないのだった・・・

初音ミクProjectDIVA

本日の紹介はEXレベル8のパーフェクト狙いとスタンダードをグレートへ昇格目標。
パーフェクト3曲、グレート昇格を複数曲達成。結構いい感じに腕前が上達してきている。
もうかれこれ、EXチャレンジは3ヶ月経過している。時の流れが早い。

後2ヶ月で1年が半分だよ！

最後に

14日の金曜日から本格的に引越に取り組むので 早くて5月1日あたりから放送になるかもしれないです。
ゔぁるしゃん、なおさん　餞別ありがとう！！