お知らせ

現在サイトのリニューアル作業中のため、全体的にページの表示が乱れています。

久々にPC構成を大刷新してみたのでベンチマークをしてみたが、かなり複雑な結果になった。

大まかにはCore Ultra 7 265FはCore i7 13700に、RTX 5070 TiはRTX 4070 Tiに劣るケースがありそうなことが判明したが、結果が複雑すぎて断言しづらい。

ベンチマーク構成

スペックアップ前後で単純に計測したところ、結果に疑問を持ったのでCPUとGPUを新旧それぞれで組み合わせて全数網羅で見ている。

デバイス 構成1-1 構成1-2 構成2-1 構成2-2
CPU Intel Core i7 13700 Intel Core i7 13700 Intel Core Ultra 7 265F Intel Core Ultra 7 265F
GPU GeForce RTX 4070 Ti GeForce RTX 5070 Ti GeForce RTX 4070 Ti GeForce RTX 5070 Ti
MEM Crucial Ballistix BL2K16G32C16U4B * 4 Crucial Ballistix BL2K16G32C16U4B * 4 Crucial CT2K16G56C46U5 * 4 Crucial CT2K16G56C46U5 * 4
M/B ASUS TUF GAMING Z790-PLUS D4 ASUS TUF GAMING Z790-PLUS D4 ASUS TUF GAMING Z890-PLUS WIFI ASUS TUF GAMING Z890-PLUS WIFI

FF14 黄金のレガシー ベンチマーク

4070Tiより5070Tiの方がベンチスコアが若干高く出るが、Core i7 13700よりCore Ultra 7 265Fの方が顕著にスコアが低い。

構成1-1 構成1-2 構成2-1 構成2-2
27,439 29,138 22,393 23,479

おまけ:ローディングタイム

構成1-2は記録し忘れたので書いていない。

構成1-1 構成1-2 構成2-1 構成2-2
6.5秒 - 7.9秒 8.6秒

ローディングタイムはストレージ依存のはずなのでCPUやGPUの性能が大きく影響することはないはずだが、かなり差が出ていたので参考程度にとどめておく。結果は小数第二位で四捨五入している。

CPUのキャッシュメモリサイズやDDR5の4枚差しによる速度低下が影響している可能性もあるが、2-1と2-2はGPUのみの差なのでよくわかっていない。ひょっとしたらグラフィック自体の読み込み速度が低下しているのかもしれない。

この差はMMORPGをする上ではかなりのハンデになるため、私が現役プレイヤーであれば、このスペックダウンは受け入れられなかっただろう。特にFF14をしていた時は誰よりも早くローディングを終えるのが自慢の一つだった。

SDベンチ

トキベンチ

ベンチマーク用のSD設定

COMMANDLINE_ARGSは--xformers --opt-channelslast --medvramを使用。

設定
Modelanimagine-xl-3.1.safetensors [e3c47aedb0]
Clip skip2
ENSD31337
Prompt 1girl, toki \(blue archive\), blue archive, toki sits cross-legged in her chair. looking at viewer, cowboy shot, masterpiece, best quality, newest,
Negative Prompt nsfw, lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, artist name,
VAE Automatic
Sampleing method Euler a
Sampleing steps 15
Width 1024px
Height 1024px
Batch count 5
Batch size 1
CFG Scale 7
Seed 50

生成ログ

構成1-1 構成1-2 構成2-1 構成2-2
15/15 [00:04<00:00, 3.12it/s] 15/15 [00:05<00:00, 2.67it/s] 15/15 [00:05<00:00, 2.92it/s] 15/15 [00:05<00:00, 2.78it/s]
15/15 [00:04<00:00, 3.34it/s] 15/15 [00:05<00:00, 2.92it/s] 15/15 [00:04<00:00, 3.35it/s] 15/15 [00:05<00:00, 2.95it/s]
15/15 [00:04<00:00, 3.34it/s] 15/15 [00:05<00:00, 2.91it/s] 15/15 [00:04<00:00, 3.44it/s] 15/15 [00:05<00:00, 2.96it/s]
15/15 [00:04<00:00, 3.36it/s] 15/15 [00:05<00:00, 2.95it/s] 15/15 [00:04<00:00, 3.46it/s] 15/15 [00:05<00:00, 2.93it/s]
15/15 [00:04<00:00, 3.32it/s] 15/15 [00:05<00:00, 2.97it/s] 15/15 [00:04<00:00, 3.46it/s] 15/15 [00:04<00:00, 3.01it/s]
75/75 [00:33<00:00, 2.24it/s] 75/75 [00:35<00:00, 2.08it/s] 75/75 [00:31<00:00, 2.40it/s] 75/75 [00:34<00:00, 2.20it/s]
75/75 [00:33<00:00, 3.96it/s] 75/75 [00:35<00:00, 3.30it/s] 75/75 [00:31<00:00, 3.96it/s] 75/75 [00:34<00:00, 3.32it/s]

平均生成速度

構成1-1 構成1-2 構成2-1 構成2-2
3.296it/s 2.884it/s 3.326it/s 2.926it/s

生成時間

構成1-1 構成1-2 構成2-1 構成2-2
33秒 35秒 31秒 34秒

まとめ

この結果からは4070Tiより5070Tiの方が生成速度が遅いことが読み取れる。またCPUがCore Ultra 7 265Fの時に僅かに高速化しているが、これはPCIe4から5への変化が効いている可能性がある。

またUltra 7 265F+4070Tiの組み合わせが最速を叩き出している点も見逃せない。つまりこれはStableDiffusionにおいてはi7 13700よりUltra 7 265Fが優位であることを示しており、FF14のベンチとは結果が逆転することを意味している。

りこベンチ

りこベンチとは個人的によく使う設定をベースにしたベンチだ。トキベンチの設定は個人的に使わず、実用性がないので今後はこちらを主にしていくと思う。

COMMANDLINE_ARGSは--xformersを使用。

ベンチマーク用のSD設定

設定
ModelntrMIXIllustriousXL_xiii.safetensors [1207404b17]
Clip skip2
ENSD31337
Propmpt (illustration:1.0), masterpiece, best quality, 1girl, solo, happy, smile, theater, (perspective:1.3), from below, (looking away:1.2), (from side:1.0), {{shot_hair}}, smile, bangs, shaggy, (brown hair:1.1), swept_bangs, thick_eyebrows, skin_fang, closed mouth, {{purple eyes}}, gray {{jacket}}, white shirt, glasses, {{small breasts}},
Negative Prompt nsfw, (worst quality, low quality:1.4), (depth of field, blurry, bokeh:1.5), (greyscale, monochrome:1.0), multiple views, text, title, logo, signature, (tooth, lip, nose, 3d, realistic:1.0), dutch angle,(cropped:1.4), text, title, signature, logo, (loli:1.2), school satchel, pink, school bag, school uniform, from behind
VAE Automatic
Sampleing method DPM++ 2M
Hires. fix True
Upscaler Latent
Hires steps 0
Denoising strength 0.8
Upscale by 2
Sampleing steps 20
Width 768px
Height 768px
Batch count 5
Batch size 1
CFG Scale 7
Seed -1

生成ログ

構成1-1 構成1-2 構成2-1 構成2-2
20/20 [00:05<00:00, 3.43it/s] 20/20 [00:06<00:00, 2.94it/s] 20/20 [00:03<00:00, 5.92it/s] 20/20 [00:04<00:00, 4.51it/s]
20/20 [00:11<00:00, 1.68it/s] 20/20 [00:17<00:00, 1.13it/s] 20/20 [00:11<00:00, 1.73it/s] 20/20 [00:17<00:00, 1.13it/s]
20/20 [00:05<00:00, 3.49it/s] 20/20 [00:06<00:00, 3.06it/s] 20/20 [00:03<00:00, 6.26it/s] 20/20 [00:04<00:00, 4.79it/s]
20/20 [00:11<00:00, 1.67it/s] 20/20 [00:17<00:00, 1.14it/s] 20/20 [00:11<00:00, 1.72it/s] 20/20 [00:17<00:00, 1.13it/s]
20/20 [00:05<00:00, 3.53it/s] 20/20 [00:06<00:00, 3.03it/s] 20/20 [00:03<00:00, 6.28it/s] 20/20 [00:04<00:00, 4.81it/s]
20/20 [00:11<00:00, 1.68it/s] 20/20 [00:17<00:00, 1.14it/s] 20/20 [00:11<00:00, 1.71it/s] 20/20 [00:17<00:00, 1.13it/s]
20/20 [00:05<00:00, 3.36it/s] 20/20 [00:06<00:00, 3.06it/s] 20/20 [00:03<00:00, 6.15it/s] 20/20 [00:04<00:00, 4.78it/s]
20/20 [00:12<00:00, 1.62it/s] 20/20 [00:17<00:00, 1.13it/s] 20/20 [00:11<00:00, 1.71it/s] 20/20 [00:17<00:00, 1.13it/s]
20/20 [00:05<00:00, 3.53it/s] 20/20 [00:06<00:00, 3.08it/s] 20/20 [00:03<00:00, 6.13it/s] 20/20 [00:04<00:00, 4.57it/s]
20/20 [00:11<00:00, 1.68it/s] 20/20 [00:17<00:00, 1.14it/s] 20/20 [00:11<00:00, 1.71it/s] 20/20 [00:17<00:00, 1.13it/s]
200/200 [01:49<00:00, 1.82it/s] 200/200 [02:11<00:00, 1.53it/s] 200/200 [01:33<00:00, 2.13it/s] 200/200 [02:00<00:00, 1.65it/s]
200/200 [01:49<00:00, 1.66it/s] 200/200 [02:11<00:00, 1.12it/s] 200/200 [01:33<00:00, 1.68it/s] 200/200 [02:00<00:00, 1.11it/s]

平均生成速度

構成1-1 構成1-2 構成2-1 構成2-2
2.567it/s 2.085it/s 3.932it/s 2.911it/s

生成時間

構成1-1 構成1-2 構成2-1 構成2-2
109秒 131秒 93秒 120秒

まとめ

結果としてはトキベンチと変わらず、Ultra 7 265F+4070Tiの組み合わせが最速でi7 13700+5070Tiの組み合わせが最も遅い。

総括

結果しては複雑で、個人的にはどの道を選ぶか未だに悩んでいる。

まず、今回新規導入したデバイスについての評価は以下の感じだ。

Core Ultra 7 265F

  • FF14ベンチではi7 13700に劣る
  • StableDiffusionの生成速度ではi7 13700を上回る

RTX 5070 Ti

  • FF14ベンチでは4070 Tiを僅かに上回る
  • StableDiffusionの生成速度では4070 Tiより1.1~1.3倍遅い

この結果は非常に悩ましい。FF14ベンチの結果からみるとゲーミング性能だけで言えばi7 13700+5070Tiが最適解だが、StableDiffusionの生成速度ではUltra 7 265F+4070Tiが最適解となった。

ただ私はもうFF14をしておらず、あまりゲームもしていないため、FF14ベンチの結果はある程度無視できる。そうなるとStableDiffusionだ。生成速度は重要な要素だ。とはいえ、4070Tiではメモリ不足でControlNetが使えないケースもあった。

また最近話題になっているFramePackのkisekaeichiではVRAM16GB必須という話もあり、今回は生成速度よりメモリを取る判断をしたいと思う。少なくとも旧環境である構成1-1と現環境である構成2-2を比べた時の差は一割程度であり、十分許容できる。

正直、私にはベンチマークのためにハードウェアを組み替える環境がないので、ある程度の情報でジャッジせざるを得ない。ちもろぐの人みたいに組み換え環境がある人はこの辺りがやりやすいと思うが、私の場合はPCケースからマザボを引っ張り出してそう取り返して、もう一度ケースに戻す手間がかかる。一連の作業には1時間ほど掛かり非常に手間だ。

今回はあまりにも結果が結果だったので、やむを得ず、新環境に組み替えてから、一度元に戻してベンチを取り直す検証を行ったが、組み換えの手間に加え、高価なCPUグリスが無くなり結構キツイ思いをしている。ちなみに今は新環境に完全に復帰している。

20250617_213614423.JPG

5070Tiが良さそうだったのでついでに今までDDR5にするのを渋ってたメモリをアップグレードするかぁ!と総入れ替えした結果の記録。

グレードアップ現新比較表

デバイス 変更前 変更後
CPU Intel Core i7 13700 Intel Core Ultra 7 265F
GPU GeForce RTX 4070 Ti GeForce RTX 5070 Ti
MEM Crucial Ballistix BL2K16G32C16U4B * 4 Crucial CT2K16G56C46U5 * 4
M/B ASUS TUF GAMING Z790-PLUS D4 ASUS TUF GAMING Z890-PLUS WIFI

今回はなんと、これだけのパーツを神戸市内、それも中央区だけで揃えてきた。通販は箱が増えて邪魔だし日本橋に行くのは大変なので、神戸で揃えられたのは非常に良かった。

組み換えシーン

20250617_214503301.JPG
20250617_214643711.JPG

机の下から薄汚れたケースを取り出すことから始まる。いい加減掃除した方がいいかなと思った。

20250617_220022221.JPG

まずは現環境をご開帳。1~2年に一度は簡単に掃除しているのもあり、中はそこまで汚れていない。

20250617_220552167.JPG

分解を進めていくときの部品入れに、いつか役に立つだろうと取っていた揖保乃糸の箱が役に立った。

20250617_220603859_1.JPG

グラボをメモリを外し、コネクタをいくらか外したところ。

20250617_220627617.JPG

CPUクーラーのヒートシンクもぼちぼち埃にまみれていた。これも掃除した方がいい。

20250617_220933627.JPG

CPUグリスは意外と乾いてなかった。このCPUを付けたのは2年半ほど前で、恐らくその時からそのままである。

20250617_221236406.JPG

オンボードLAN(Intel(R) Ethernet Controller I226-V)が腐っていたので取り付けた蟹のNICともお別れだ。新しいマザボのNICは蟹なので恐らく大丈夫という期待がある。

2025年7月2日追記

よく見たらNICはIntelで、相変わらず不安定だったため、結局蟹のNICをまた挿す羽目になった。Intel NICの不安定さについては別で記事にしようと思う。

20250617_221130769.JPG

ケースのフロントUSB用の拡張ボード。これも埃が積もっている。年期が入っているため、少しさびている気もする。

20250617_221922693.JPG

ケースからマザボを抜き取ったところ。まだNVMeSSDの抜去が残っている。マザボ交換は大変だ。

20250617_221945990.JPG
20250617_221948720.JPG

空っぽになったケース。よく見ると埃が積もっているので、やはり掃除が必要だ。

20250617_223321720.JPG

というわけで徹底的に掃除を始める。この後、全ての外装をはがし、ファンも外してクイックルワイパーとエアダスターでファンのフィンの一枚一枚や、わっか部分の内側など、掃除できる場所は掃除していった。

20250617_223400289.JPG
20250617_223357770.JPG

200mmファンの清掃ビフォーアフター。

20250617_224321081.JPG

裏配線の部分は比較的奇麗だったが、ここもクイックルワイパーやエアダスターを使って掃除していく。

20250617_225247804.JPG

一見そこまで汚れてなさそうな天面ファンも掃除する。

20250617_225300628.JPG
20250617_225257867.JPG

比較するとちゃんと奇麗になっている。こういうのは細かい積み重ねが大切なので、少しの埃であれ除去してゆく。

20250617_230004451.JPG

フロントパネルもはがして掃除する。

20250617_230732771.JPG

掃除している中でケースの前方下部にフィルターがあることに初めて気が付いた。電源ファン向けのフィルターだろうか?

今まで動かすときに何も考えずにつかんでいた気がするのでやや曲がっている。

20250617_231339545_1.JPG

完全に裸にして徹底的に掃除する。

20250617_231825455.JPG
20250617_231949573.JPG

戻していくところ。電源(PSU)を開けるのは地味に面倒なのだ。

20250617_232211695.JPG

新しいマザボには謎のパーツがたくさんついていたが、ほとんど使わなかった。ゴムだけ使った。

20250617_233336732_1.JPG

新しいマザボをケースにセットしたところ。ケーブルが多すぎて入れるのが大変だった。なお、この後のベンチマークの結果がイマイチで、元のマザボに戻し、またこのマザボに戻すという非常に面倒な工程を踏むハメになる…。

20250617_233942079_1.JPG

最近はNVMeが主流だからかSATAの数が少なかった。昔はもっとたくさんあったし、コネクタは一箇所に集中していて、こんな分散してなかったと思う。

20250617_234651015.JPG

細かいセッティングには、このようにケースの中に張り付いてくれる懐中電灯があると便利だ。ちなみにこれはヨドバシで売っている。

20250618_001800636_1.JPG

電源やリセットスイッチのケーブルを刺していて気が付いたが、このマザボにはブザーコネクタがなかった。LEDはあるものの、起動エラーを音で知れないのは少々不便である。

20250618_012346990.JPG

CPUを付けようとしたときにバックプレートが見当たらず探していたら、なんと前のマザボにセロテープでくっついていた。よく壊れなかったな…。

セロテープで固定していないと脱落してマウンタを付けづらいため、こうしていたのだと思うが、恐らくはがし忘れていたのだろう。

因みにこれはNoctuaのLGA1700用のバックプレートだが、LGA1851でもそのまま使うことができた。助かる。

20250618_014428081.JPG
20250618_014439081.JPG

マザボ現新比較。上側が今のマザボ、下が新しいマザボ。

新しい方がやや長く、薄くなっている。PCIeを複数使っている身としてはスリムになっているのは嬉しい。

20250618_014514999.JPG
20250618_014458558.JPG

PCIeスロット現新比較。左が今のマザボ、右が新しいマザボ。

今のマザボはボタンを押すとロックが外れる機構だが、ボタンが遠く、抜くとき斜めになりやすく、それが原因でロックが詰まることがしばしばあった。それに対して新しい方は位置が近いうえに、単純な作りになっており、こちらの方が抜き差ししやすいと感じた。押す場所が広く指が痛くならないのもいいところだ。

20250618_020758745.JPG

組み付け後。前よりちょっと高級感があり、チープ度が減った気がする。おそらくグラボのプラスチック感が減ったのが大きいだろう。

20250618_034516774.JPG

筐体もピカピカになっていい感じだ。しかしグラボのファンが光らなくなってしまったため回っているのか確認するのが少し煩わしくなってしまった。

セットアップ時に見舞われたトラブルの解消ログ

inaccessible boot driveというブルスクが出る

BIOSからIntel Rapid Storage TechnologyをOFFにする(デフォルトはOFF)

コマンドプロンプトで起動して以下のコマンドを流す。

sfc /scannow

OS起動時にAi Suite 3がaccess violationとかいう

Ai Suite 3を消すことで解決する。

普通に消そうとしても「The model does not support this application.」とか言われるので、公式にある適当なマザボのユーティリティからAI Suite 3 Cleanerを落としてきてAi Suite 3を消す。

モニタが片方しか映らない、モニタの映りが悪い、グラボが未検出

ZOTAC公式からドライバを落として入れる。

Ai Suite上でFan Xpertを使いたい(ASUS TUF GAMING Z790-PLUS D4)

ROG STRIX Z370-F GAMINGのツールから落としてインスコすれば使える。

ASUS TUF GAMING Z890-PLUS WIFIだと多分この方法は無理。

ASUS TUF GAMING Z890-PLUS WIFIでFan Xpertを使いたい

ASUS TUF GAMING Z890-PLUS WIFIのツールからArmoury Crateを落とし、Armoury Crateをインストール後、Armoury Crateの機能ライブラリからアシスタントをインストールすると使えるようになる。

Armoury Crateには過去に結構苦い思い出があったので入れるのを避けたかったが、他に方法はなさそうだ。ファンの細かい調整が不要ならBIOSからやってもいいかもしれない。

関連記事

ベンチスコアは複雑な結果になったので別記事、5070Tiは4070Tiより性能が悪い…?に譲る。

投稿日:
ソフトウェア::Stable Diffusion

Automatic 1111よりいいらしいので使ってみる。

日本語表示が面倒だったので、途中から表示言語を英語に変えている。

確認環境

Env Ver
ComfyUI v0.3.38

導入方法

インストール

公式サイトからインストーラーをダウンロードして実行するだけ。

Cドライブにしか対応してないらしいが、モデルや出力先は変更可能なので、インストールパスはそのままでよい。

モデルパスの変更方法

  1. ComfyUIのインストール先を開く
    標準はここ:%HOMEPATH%\AppData\Local\Programs\@comfyorgcomfyui-electron\resources\ComfyUI
  2. extra_model_paths.yaml.exampleextra_model_paths.yamlにリネームする
  3. 以下のコメントアウトをコピペして適当に治す。is_default: trueのコメントを外して有効化しておく
    #comfyui:
    #     base_path: path/to/comfyui/
    #     # You can use is_default to mark that these folders should be listed first, and used as the default dirs for eg downloads
    #     #is_default: true
    #     checkpoints: models/checkpoints/
    #     clip: models/clip/
    #     clip_vision: models/clip_vision/
    #     configs: models/configs/
    #     controlnet: models/controlnet/
    #     diffusion_models: |
    #                  models/diffusion_models
    #                  models/unet
    #     embeddings: models/embeddings/
    #     loras: models/loras/
    #     upscale_models: models/upscale_models/
    #     vae: models/vae/
    

出力先の変更方法

paste-image-2025-59-14_16-58-41-221.png

設定→サーバー設定の一番下にある「出力ディレクトリ」を設定する。

paste-image-2025-59-14_17-58-55-654.png

画像の保存ノードのファイル名プレフィックスをクリックし、Valueにフォルダ名/任意の文字列をつけることでフォルダわけもできる。フォルダ名/だけ指定してもうまくいかないので注意。

ClipSkipの設定(不明)

paste-image-2025-49-14_17-48-35-338.png

CLIP Set Last LayerノードをLoad Checkpointに接続することで実現できるらしい?

Hires.fixの設定

paste-image-2025-35-14_17-34-6-915.png

KSampler→Upscale Latent By→KSampler→VAEで繋ぐと同様のことができるらしい。

感想

起動が早い

1111は1分近くかかるがComfyは数秒で起動するため、ここはいいと思った。

保存先を柔軟に変更できる

1111では基本的に生成種別、日付別に保存されるため整理が手間である。

画像の生成品質を上げる方法がわからなかった

a_00014_.png
a_00015_.png

これはComfy UIを以下の構成にして生成したものだ。

paste-image-2025-49-14_17-48-19-287.png

一枚目はこういう絵柄だといえばまだありかもしれないが、二枚目は微妙だ。これはどうもHires.fix相当の機能が期待通りに動いていないのが理由に見えるが、恐らくそういった事柄を探求するモチベーションがないと、上手いこと使えないと思われる。

また上記のノード接続だと生成速度も速いとは言えず、これ以上要素を増やすとなると実用性は怪しいと感じた。

現状はまだ1111で十分

1111-hirefix_31sec.png

1111だとこのくらいのものがパッと出てくるため、個人的には今のところ1111でいいかなと思った。カリカリにチューニングすることで1111を超えてくる可能性は否定できないが、大抵のケースで設定値は固定であり、プログラマブルである必要性はアニメーションとかの分野になってくると思われるので、動画を作るならComfy、そうでなければ1111で十分な気がした。

投稿日:
技術::AIソフトウェア::Open WebUI

Open WebUIを使ってローカルLLMとチャットしてみたのでその記録。

確認環境

実行環境はWindows 11。

Env Ver
ollama 0.9.0
Open WebUI 0.6.6

やり方

Open WebUIをセットアップ済みという前提で進める。

  1. Ollamaをインストールする
  2. 使いたいモデルを探す
  3. ollama pull <モデル名>でモデルを取得する
    • 物次第だが数~数十GB程度ある
  4. Open WebUIを起動する
  5. 管理者設定の接続を開きOllamaをONにする(デフォルトはONのはず)
    paste-image-2025-58-4_0-57-43-743.png
  6. 管理者設定のモデルを開き、pullしてきたモデルを有効化する

Ollamaサーバーの起動方法

Ollamaをインストールした直後はOllamaサーバーが勝手に起動するが、それ以降は手動で起動する必要がある。

paste-image-2025-53-4_0-52-30-334.png

Windowsの場合スタートメニューから起動できる。Ollamaサーバーが起動していない場合、LLMとして使えないので注意。

所感

Intel Core i7 13700 + GeForce RTX 4070 Ti程度の環境では生成速度の遅さゆえに到底実用に耐えるものではなかった。質問への回答品質もあまりよくなく、実用性は疑問だ。チューニングすれば使えるのかもしれないが、よくわかっていない。

今回試した結果ではRPはGemini以上に破綻するので微妙だった。文章をある程度整理する力はある様に見えるので、用途次第では活路があるのかもしれない。

以下に実行した結果を記録している。

gemma3:27b

恐らくGoogle AI Studioにもいる子。

出力内容

gemma.png

真贋のほどはさておき、中々力の入った文章を出してくる。流石にローカルLLMの中でも注目されているモデルだけある。

しかし出力に3分半程度もかかっており、まったく実用性がない。無料の選択肢という意味ではGeminiやCopilotを使ったほうが遥かによいだろう。

マシン負荷

gemma1.png

GPU負荷はないもののCPU負荷が強い。VRAMが足りないとCPUで処理するみたいな情報をチラッと見たのでグラボの性能不足の可能性もある。

lucas2024/mistral-nemo-japanese-instruct-2408:q8_0

CyberAgentが作ったとされているモデルのOllama版?

出力内容

mistral.png

こちらも真贋のほどはさておき、中々いい感じの文章を出してくれる。

生成速度はgemma3:27bよりは早いものの、それでも1分ほどかかっていた。

マシン負荷

mistral1.png

CPU負荷はgemma3:27bよりやや低く、GPU負荷が少し上がる傾向があった。

マシン負荷

20250604_014915707.JPG
20250604_014918911.JPG

うちのマシンは200mmファンを四基、CPUにはNoctuaのヒートシンクに120mmファン、リアには140mmファンを装備しているが、gemma3:27bだとこれらがフル回転するので凄まじかった。

StableDiffusionやFF14ベンチ程度ではフル回転することはない。

関連記事

投稿日:
技術::AIソフトウェア::Open WebUI

適当にググって見つかる記事が軒並み古くアテにならなかったのでやれるようにした記録として残す。

AI StudioのUIだと再生成時に前の内容が上書きされてツリーが作れないとか、モデレーションが厳しいとかあるのでOpen WebUIから扱えると何かと便利だ。

確認環境

Env Ver
Open WebUI v0.6.6

手順

  1. Open WebUIを起動する
  2. 管理者設定→FunctuonsからFunctionの追加画面を開く
  3. gemini_manifold.pyのコードを貼り付けて保存する
    • 本家と比較した場合、Function IDの文字列が作者の予期しない内容の時にError: Invalid model name formatが出ないように調整している
  4. 追加したFunctionの設定(歯車アイコン、Valves)にAPIキーを入れて保存
  5. モデル一覧にGeminiが出ていればOK
    paste-image-2025-21-16_9-20-34-425.png

GeminiのAPIキーの作り方

Get API key | Google AI Studioを開きAPIキーを作成する。

画像も生成したい場合

このFunctionでは画像が生成できないので画像を生成したい場合はgemini_manifold_google_genaiを使うといい。ただこっちだとLLMが使えなかった。

またsafety_settingsを外すための設定がないため、モデレーションを回避するためには恐らくコードを書き換える必要があるが確認できていない。

おすすめの設定

paste-image-2025-54-16_9-53-20-540.png

モデルの数が多すぎるので管理者設定にあるモデルを開き、使わないのはOFFにしておくとよい。

レートリミット緩和

そのままだとすぐレートリミットに引っかかるが、請求情報を紐づけると緩和できる。参考までに20k Tokens叩いた程度だと課金されなかった。

ClaudeやChatGPTと異なり従量課金に見えるため、Cloud Billingで予算アラートをしておくのが無難だ。

備考

条件はよくわかっていないが上記の手順で書いたFunctionを利用してNSFWコンテンツを生成するとGemini API側が応答の途中で何も返さなくなることがあることを確認している。この場合、続きを生成すると書いてくれることがあるが、書いてくれないこともある。また続きを書こうとしたときに現在の文章が破壊されることがあるのでバックアップを取って後で整理しなおすなど注意が必要。

LLMのやつに画像生成のやつをマージしてやれば全体的にいい感じになりそうだが、個人的にはStableDiffusionで事足りてるのでモチベーションは薄い。ついでに暇な人は画像生成のやつのsafety_settingsもいじればモデレーションを超えられるかもしれない。機能するかは確認していないが、この辺りが参考になりそうだ