ChatGPTとStable Diffusionを連携した機能を建築・構造物画像生成stadi（旧studiffuse）に追加実装

入力した画像やテキストをChatGPTで解析・要約し、そのイメージを踏まえてStable Diffusionによって建築・構造物画像を自動で生成することが可能になりました。

株式会社mign（マイン | 東京都文京区 | 代表取締役 對間昌宏）は、2023年4月、ChatGPTとStable Diffusionを連携した機能を建築・構造物画像生成studiffuse（スタディフューズ）に追加実装しました。入力した画像やテキストをChatGPTで解析・要約することで、設計業務の効率化やクライアントとのコミュニケーション削減が期待できます。

 
 ​■ 入力した画像

 ​■ ChatGPTによって解析し、Stable Diffusionで生成した画像

 ■ プロダクトのデモ動画（PCでないと表示されないことがございます）
 https://www.mign.io/products/EyMu1E
 
 ■ 背景
 設計の最初のフェーズにおいては、デザイナーはクライアントのインタビューを通じて、要望に近いような様々なプランを作成し、フィードバックを受けながらプランを修正するといったプロセスを何度も繰り返しています。これには多くの手間とコミュニケーションコストがかかっています。画像生成モデルは、これらのコミュニケーションを削減することが期待できます。自動デザイン生成ソフトウェアstadi（ステイディ、旧studiffuse）は、クライアントもしくは担当のデザイナーが入力した画像やキーワードをもとに画像を作成することに加え、生成した画像に類似する画像を検索エンジンからキュレーションすることで、クライアントの要望に近いデザインを創出し、デザイナーのコミュニケーションコストを削減します。また、自社ブランドのデザイン事例画像をモデルに入力し学習させることで、自社ブランドに近いデザインを創り出すことも可能です。
 今回、新たに実装した追加機能として、ChatGPTを活用することで、入力した画像やクライアントの議事録等からデザイン案の作成に必要なキーワードの抽出が可能となり、よりクライアントのイメージに近い画像の生成ができます。
 
 ■ ユースケース（建築設計の場合）
 ①設計者がクライアントに要望をヒアリングします。
 ②デザイナーやクライアントは、クライアントのニーズに合った画像もしくはキーワードをソフトウェアに入力します。
 ③stadiが入力した情報を踏まえて様々な画像の生成や、類似する画像を収集し、画像を一覧表示します。
 ④デザイナーやクライアントが画像を見ながら打ち合わせをし、画像やキーワードの入力を修正する。
 ⑤上記を繰り返します。
 ⑥出力された画像から要望に近い画像をダウンロードし、基本設計などその後のプロセスで使用します。
 
 ■ 新規機能
 ・ChatGPT（gpt-3.5）を用いて入力した画像を解析し、類似する画像をStable Diffusionで自動生成 
 ・ChatGPT（gpt-3.5）を用いて議事録などのテキストを解析・要約し、その情報を踏まえた画像をStable Diffusionで自動生成
 
 ■ 既存機能
 ・画像の種類を選択（住宅、マンション、店舗、オフィス、ホテル、レストラン）
 ・画像生成モデル（Stable Diffusion）による画像生成
 ・Google Image Searchから生成された画像に類似する事例の収集
 ・画像とキーワードを入力
 ・キュレーション画像のダウンロード
 
 ■ カスタマイズの例
 ・自社デザイン事例画像を入力し、機械学習させることで、自社ブランドらしい画像の出力に適応できます
 ・他の画像サービス（Pinterest、Instagram、Twitter、Alibaba）からの画像収集
 ・お客様のWebサイトにアプリケーションを埋め込み、訪問したユーザーが自由にデザインをつくることができます。
 ・クライアントのヒアリングの議事録からキーワードを自動で抽出し、studiffuseで画像を出力
 ・様々なニーズに柔軟に対応することが可能です。お気軽にご相談ください。
 
 ■ 料金
 SaaS（初期セットアップ料金＋月額メンテナンス料金）。
 目安の料金はデモ動画のページに記載しています。ご面談後、お見積もりいたします。
 
 ■ 提供まで流れ
 1. ヒアリング、2.要件定義、3.お見積もり、4.初期設定、5.サービス開始。
 最短でヒアリングから1ヶ月でサービスを開始することが可能です。
 
 ■ 応用可能領域
 建築業、土木業、製造業、不動産業
 
 ■ 会社概要
 株式会社mignは、未来の都市や社会をつくることを目指し、先端技術を活用した世界初・業界初といえるソフトウェア・ハードウェア開発に取り組んでいます。
 https://www.mign.io/
 
 本プロダクトの導入に関するお問い合わせはこちらからお願いします。本プロダクト以外の開発等にも柔軟に対応可能です。
 [e-mail]