Lycolog

これまでLLMをしばくときはPoeを使っていたが、ぶっちゃけClaude 3.7 Sonnet以外ほとんど使わないので、節約の意味を込めて本家Claudeに移ってきた。しかし本家Claudeではアレゲな発言を繰り返しているとハードウェアモデレーションが発動してしまう。しかもこれが中々解除されない。一体いつ解除されるんだ…。

アレゲなことをするならやはりPoeだろうか…いやでもPoeもキャラクター設定に対してはハードウェアモデレーションがある。ナレッジベースならモデレーションを回避できるが、ここに入れたプロンプトは入れている間は出現頻度が極端に上がり、外すとちっとも出てこなくなる困りモノで、自然な流れにするためには手動で書いたり消したりする手間がかかり厄介だ。

そこで何かいいことはないか…と思いたどり着いたのがClaude 3.7 SonnetをAPIコールすることだ。LLMモデル本体にはソフトウェアモデレーションしか掛かっておらず、ローカルでプロンプトを組む分にはモデレーションも掛からないと睨んだ私は早速ローカル環境からLLMを呼び出してチャットするための環境を作ることとした。

確認環境

Pythonは3.11系でないと動かないっぽいので注意が必要だ。

手順

1. Anthropic Consoleにアクセスしアカウントを作成
2. 課金してAPIキーを取得
3. ローカル環境からLLMと対話するためのWebUIである、open-webuiをインストールして起動

   pip install open-webui
   open-webui serve
   

4. OPEN WEBUIのロゴが出るのを待つ
   

   

5. http://localhost:8080/にアクセス
6. アカウント作成画面が開くので適当な情報を入力して作成する
   • ローカル環境であるため、実在するメールアドレスでなくても問題なく登録できる
7. 画面左下のユーザーをクリックし、管理者パネルを開く
   

   

8. 上のほうにあるFunctionsを開く
   

   

9. 右のほうにある「＋」からFunctionを追加する画面を開く
10. Anthropic Function | Open WebUI Communityにアクセスし、Function Contentに書かれているコードをコピーする
11. 先ほどのFunctionを追加する画面に戻り、コードをペースト
12. Function NameとFunction Descriptionを適当に埋める
    • 参考までに公式の設定値はそれぞれ「Anthropic」と「Anthropic Manifold Pipe」
13. 保存ボタンを押す
14. 有効化する
15. 新しいチャットを開き、Claude 3.7 Sonnetが利用できるようになっていればOK
    

    

備考

Poeや本家Claudeにおけるナレッジベースは存在しないが、モデレーションを受けないためシステムプロンプトに全部放り込めば成立する。

Poeのキャラクター設定はやり取りを繰り返すと忘れられるが、Open WebUIのシステムプロンプトは忘れられないようでちゃんと持続してくれる。またPoeのナレッジベースのように書いたことをしつこく発言してくることもなく、自然な会話になるので便利。

またLLM側の発言を編集することにより、それ以降の会話でモデレーションを突破することができるようになるなど、いろいろ便利。

あとがき

APIコールは従量課金でお金がかかるため、Poeや本家Claude並みの感覚で使うのは厳しい。多分Poeはトークン消費を抑えるために何か細工していると思う。