Skip to content

Latest commit

 

History

History
200 lines (165 loc) · 20 KB

README_JA.md

File metadata and controls

200 lines (165 loc) · 20 KB

画像

Comfyui_llm_partyは、comfyuiという非常にシンプルなUIインターフェースを基に、LLMワークフロー構築のための完全なノードライブラリを開発することを目指しています。これにより、ユーザーは自身のLLMワークフローをより便利かつ迅速に構築でき、自身の画像ワークフローに接続することも容易になります。

効果の展示

EN.mp4

プロジェクト概要

ComfyUI LLM Partyは、最も基本的なLLMの多ツール呼び出しやキャラクター設定によって、専属のAIアシスタントを迅速に構築することから、業界に適用可能な単語ベクトルRAG、GraphRAGを用いた知識ベースのローカル管理までを行います。単一のエージェントパイプラインから、複雑なエージェント間の放射状および環状の相互作用モードの構築まで、個人ユーザーのためのSNSアプリ（QQ、Feishu、Discord）への接続から、ストリーミングメディアの作業者が必要とするワンストップLLM+TTS+ComfyUIワークフローまで、普通の学生が必要とする最初のLLMアプリケーションの簡単な導入から、研究者が一般的に使用するさまざまなパラメータ調整インターフェースやモデル適応に至るまで、これらすべての答えはComfyUI LLM Partyの中にあります。

クイックスタート

  1. もしあなたがcomfyuiを使用したことがなく、comfyuiでLLMパーティをインストールする際に依存関係の問題が発生した場合は、こちらをクリックして、LLMパーティを含むcomfyui windows ポータブルパッケージをダウンロードしてください。ご注意ください！このポータブルパッケージにはpartyと管理者の2つのプラグインのみが含まれており、windowsシステム専用となっています。（既にcomfyuiがインストールされている場合、LLM partyのインストール手順は省略できます。）
  2. 以下のワークフローをcomfyuiにドラッグし、comfyui-Managerを使用して不足しているノードをインストールします。
  1. APIを使用する場合、API LLMローダーノードにbase_url（リレーAPIでも可、末尾は/v1/であることを確認）とapi_keyを入力します。例：https://api.openai.com/v1/
  2. ollamaを使用する場合、API LLMローダーノードでis_ollamaオプションをオンにし、base_urlとapi_keyを入力する必要はありません。
  3. ローカルモデルを使用する場合、ローカルモデルローダーノードにモデルパスを入力します。例：E:\model\Llama-3.2-1B-Instruct。また、ローカルモデルローダーノードにHuggingfaceのモデルrepo idを入力することもできます。例：lllyasviel/omost-llama-3-8b-4bits
  4. このプロジェクトは使用の敷居が高いため、クイックスタートを選択した場合でも、プロジェクトのホームページをじっくり読んでいただけると幸いです。

最新の更新

  1. 新しい画像ホスティングノードが追加されました。現在、https://sm.ms の画像ホスティング（中国のドメインは https://smms.app）および https://imgbb.com の画像ホスティングをサポートしています。将来的には、より多くの画像ホスティングをサポートする予定です。サンプルワークフロー：画像ホスティング

  2. partyがデフォルトで互換性のあるimgbbの画像ホスティングはimgbbというドメインに更新されましたが、以前の画像ホスティングは中国本土のユーザーに対してあまり親切ではなかったため、変更されました。 大変申し訳ございませんが、 https://imgbb.io の画像ホスティングAPIサービスは停止しているようですので、コードは元の https://imgbb.com にロールバックされました。皆様のご理解に感謝いたします。今後、より多くの画像ホスティングをサポートするノードを更新する予定です。

  3. 更新されたMCPツールでは、partyプロジェクトフォルダ内の'mcp_config.json'ファイルの設定を変更することで、接続するMCPサーバーを調整できます。さまざまなMCPサーバーの設定パラメーターは、こちらでご確認いただけます：modelcontextprotocol/servers。本プロジェクトでは、デフォルト設定としてEverythingサーバーが用意されており、MCPサーバーが正常に機能するかのテストに使用されます。ワークフローの参照：start_with_MCP。開発者向けの注意：MCPツールノードは、設定済みのMCPサーバーに接続でき、その後サーバー内のtoolsをLLMが直接使用可能なツールに変換します。異なるローカルサーバーやクラウドサーバーを設定することで、世界中のすべてのLLMツールを体験することができます。

使用説明

  1. ノードの使用説明については、以下を参照してください：ノードの使用方法

  2. プラグインに問題がある場合や他に疑問がある場合は、ぜひQQ群にご参加ください：931057213 |discord：discord.

  3. さらに多くのワークフローはworkflowフォルダーをご覧ください。

動画チュートリアル

octocat octocat

モデルサポート

  1. 画像内のテキストと位置を認識するためのEasyOCRノードを追加しました。対応するマスクを生成し、LLMが表示するためのJSON文字列を返すことができます。標準版とプレミアム版が選択可能です！
  2. すべてのOpenAI形式のAPI呼び出しをサポートしています（oneapiを組み合わせることで、ほぼすべてのLLM APIを呼び出すことができ、中継APIもサポートしています）。base_urlの選択はconfig.ini.exampleを参考にしてください。現在、テスト済みのものは以下の通りです：
  • openai（すべてのOpenAIモデルに完全に対応しており、4oおよびo1シリーズを含みます！）
  • ollama（おすすめ！ローカルで呼び出す場合は、ollama方式を使用してローカルモデルをホストすることを強くお勧めします！）
  • Azure OpenAI
  • llama.cpp（おすすめ！ローカルgguf形式のモデルを使用したい場合は、llama.cppプロジェクトのAPIを使用してこのプロジェクトにアクセスできます！）
  • Grok
  • 通義千问/qwen
  • 智谱清言/glm
  • deepseek
  • kimi/moonshot
  • doubao
  • 讯飞星火/spark
  • Gemini(従来のGemini API LLM ローダーノードは新しいバージョンで廃止されましたので、LLM APIローダーノードをご利用ください。base_urlは以下を選択してください：https://generativelanguage.googleapis.com/v1beta/)
  1. aisuite互換のすべてのAPI呼び出しをサポート：
  1. トランスフォーマーライブラリのほとんどのローカルモデルと互換性があります（ローカルLLMモデルチェーンノードのモデルタイプは、LLM、VLM-GGUF、およびLLM-GGUFに変更され、LLMモデルの直接ロード、VLMモデルのロード、およびGGUF形式のLLMモデルのロードに対応します）。VLMまたはGGUF形式のLLMモデルでエラーが発生した場合は、llama-cpp-pythonから最新バージョンのllama-cpp-pythonをダウンロードしてください。現在テストされているモデルには次のものが含まれます：
  1. モデルのダウンロード：

ダウンロード

以下のいずれかの方法でインストールしてください。

方法1：

  1. comfyuiマネージャーでcomfyui_LLM_partyを検索し、一回のクリックでインストールします。
  2. comfyuiを再起動します。

方法二：

  1. ComfyUIのルートフォルダー内のcustom_nodesサブフォルダーに移動します。
  2. このリポジトリをクローンします。git clone https://github.com/heshengtao/comfyui_LLM_party.git

方法三：

  1. 右上のCODEをクリックします。
  2. download zipをクリックします。
  3. ダウンロードした圧縮ファイルをComfyUIのルートフォルダー内のcustom_nodesサブフォルダーに解凍します。

環境デプロイ

  1. comfyui_LLM_partyのプロジェクトフォルダーに移動します。
  2. ターミナルでpip install -r requirements.txtを入力し、本プロジェクトに必要なサードパーティライブラリをcomfyuiの環境にデプロイします。comfyuiの環境でインストールしているかどうかに注意し、ターミナルのpipエラーにも留意してください。
  3. comfyuiランチャーを使用している場合は、ターミナルにランチャー設定のパス\python_embeded\python.exe -m pip install -r requirements.txtを入力してインストールを行ってください。python_embededフォルダーは通常ComfyUIフォルダーと同じ階層にあります。
  4. 環境設定に関する問題が発生した場合は、requirements_fixed.txt内の依存関係を使用することを検討してください。

設定

  • config.iniにおいて言語を設定できます。現在は中国語（zh_CN）と英語（en_US）の2種類があり、デフォルトはシステム言語です。
  • 以下のいずれかの方法でAPIKEYを設定できます。

方法一：

  1. comfyui_LLM_partyのプロジェクトフォルダ内のconfig.iniファイルを開きます。
  2. config.iniにあなたのopenai_api_key、base_urlを入力します。
  3. ollamaモデルを使用する場合は、base_urlにhttp://127.0.0.1:11434/v1/を入力し、openai_api_keyにollamaを、model_nameにはあなたのモデル名（例：llama3）を入力します。
  4. Google検索またはBing検索ツールを使用する場合は、config.iniにあなたのgoogle_api_key、cse_idまたはbing_api_keyを入力します。
  5. 画像入力LLMを使用する場合は、画像ホスティングサービスのimgbbを推奨し、config.iniにあなたのimgbb_apiを入力します。
  6. 各モデルはconfig.iniファイル内で個別に設定でき、config.ini.exampleファイルを参考に記入できます。設定が完了したら、ノードにmodel_nameを入力するだけで済みます。

方法二：

  1. comfyuiインターフェースを開きます。
  2. 大規模言語モデル（LLM）ノードを新規作成し、ノード内に直接あなたのopenai_api_key、base_urlを入力します。
  3. ollamaモデルを使用する場合は、LLM_apiノードを使用し、ノードのbase_urlにhttp://127.0.0.1:11434/v1/を入力し、api_keyにollamaを、model_nameにはあなたのモデル名（例：llama3）を入力します。
  4. 画像入力LLMを使用する場合は、画像ホスティングサービスのimgbbを推奨し、ノードにあなたのimgbb_api_keyを入力します。

更新ログ

Click here

次のステップ計画：

  1. さらなるモデル適応;
  2. さらなるエージェント構築方法;
  3. さらなる自動化機能;
  4. さらなるナレッジベース管理機能;
  5. さらなるツール、さらなるペルソナ。

免責事項：

本オープンソースプロジェクトおよびその内容（以下「プロジェクト」といいます）は、参考用に提供されるものであり、明示または暗示の保証を意味するものではありません。プロジェクトの貢献者は、プロジェクトの完全性、正確性、信頼性または適用性に対して一切の責任を負いません。プロジェクトの内容に依存する行為は、すべて自己の責任において行うものとします。いかなる場合においても、プロジェクトの貢献者は、プロジェクトの内容の使用に起因して生じた間接的、特別または付随的な損失または損害について、一切の責任を負いません。

特別な感謝

octocat octocat octocat

参考文献

本プロジェクトのいくつかのノードは以下のプロジェクトを参考にしており、オープンソースコミュニティへの貢献に感謝します！

  1. pythongosssss/ComfyUI-Custom-Scripts
  2. lllyasviel/Omost

サポート：

コミュニティに参加

プラグインに問題がある場合や他の質問がある場合は、ぜひ私たちのコミュニティに参加してください。

  1. QQグループ：931057213

  1. WeChatグループ：we_glm（小助手のWeChatを追加した後にグループに参加してください）

  2. discord:discordリンク

私たちをフォローする

  1. このプロジェクトの最新機能を継続的にフォローしたい方は、Bilibiliアカウントをフォローしてください：派对主持BB机
  2. youtube@comfyui-LLM-party

寄付のサポート

私の仕事があなたに価値をもたらしたなら、ぜひ私にコーヒーをおごってください！あなたのサポートはプロジェクトに活力を与えるだけでなく、クリエイターの心を温めます。☕💖 一杯一杯が意義深いです！

スター履歴

Star History Chart