robots.txtの追加

[ayuki-joto]

改善詳細 / Details of Improvement

• 現状対象インスタンスで、ディベートの更新が積極的に行われている
• これらのディベートのバージョン部分で画像を含む更新履歴をDBから取得する処理の関係で本番インスタンスに負荷がかかっている
• robots.txtを追加してこれらのURLに定期的アクセスしてくるbotを止める

期待する見せ方・挙動 / Expected behavior

• robots.txtを追加し、botが回ってこないようにする
• 対象のURLのみ除外できるか等も併せて調査する

対象インスタンス / Instances

• hyogo-vision.diycities.jp
• kakogawa.diycities.jp

対象URL / URL

• https://hyogo-vision.diycities.jp/processes/opinions/f/120/debates/152/versions/以下

[komtaki]

robots.txt自体は既にあるので、下記のように記載すればできると思います。
ただ対処療法なので、ディベートごとに盛り上がるたびにURL追加は大変そうですね。:sweat_drops:

公開URL: https://hyogo-vision.diycities.jp/robots.txt
ファイルパス: https://github.com/codeforjapan/decidim-cfj/blob/develop/public/robots.txt

User-agent: *
Disallow: https://hyogo-vision.diycities.jp/processes/opinions/f/120/debates/152/versions/*

[ayuki-joto]

*が使えるなら

Disallow: https://*.diycities.jp/*/versions/*

こんなのだとどうなんでしょうか？

[takahashim]

robots.txtの仕様ですが、

• ホスト名は不要（普通は書かない？）
• 末尾の*は省略可

ということなので、

Disallow: /*/versions

で良いかもしれません。
https://developers.google.com/search/docs/advanced/robots/robots_txt?hl=ja

[ayuki-joto]

これで一度検証しましょうか

[ayuki-joto]

デプロイしたのに反映されない...
@komtaki 何か心当たりありますでしょうか...?

[ayuki-joto]

全然気づいてなかったんですけど，

decidim-cfj/deployments/docker-compose.yml

Lines 3 to 27 in 47230c3

	services:
	nginx-proxy:
	image: nginx:1.21
	volumes:
	- ./etc/nginx/nginx.conf:/etc/nginx/nginx.conf
	- ./etc/nginx/conf.d:/etc/nginx/conf.d
	- /var/log/nginx:/var/log/nginx
	- static-public:/app/public
	environment:
	TZ: Asia/Tokyo
	ports:
	- 80:80
	links:
	- app
	depends_on:
	- app
	app:
	image: "{RepositoryName}"
	volumes:
	- static-public:/app/public
	environment:
	NEW_RELIC_APP_NAME: decidim-app({EBEnvironment})
	env_file:
	- .env

このvolumesのstatic-publicってどんな動きしてるんでしょうか？
一応下の方で

decidim-cfj/deployments/docker-compose.yml

Lines 36 to 38 in 47230c3

	volumes:
	static-public:

これだけ書かれてるんですけど

[komtaki]

@ayuki-joto
共有ボリュームです。nginx側に静的コンテンツをマウントするために追加したのですが、同じインスタンスだとデプロイ時に更新されてないみたいですね。少し不便なのでなんとかしたい。

インスタンスを入れ替えたら、正常に表示されたように見えます。

[ayuki-joto]

解決しました！
おっしゃられたとおりインスタンスをこちらで終了して再度新しいインスタンスを立ち上げた際にきちんと反映されました！