突然 SearchConsole で、見つかりませんでした（404）が激増した
実際に存在しない https://officeueda.com/shopdetail/* が激増してる
https://officeueda.com/shopdetail/ を、削除してみたけど、しばらくすると、減るどころか増えてる
サイトマップにも、/shopdetail/ が含まれるものはない。
/shopdetail/ は、ECサイト（オンラインショップ）の商品詳細ページを表すURLの構造として、非常によく使われるパターンの一つ
調べるとそうらしく、
| 意図 | 内容 |
|---|---|
| 🔍 商品データのスクレイピング | ECサイトっぽい構造を探して自動取得を狙う（特に /shopdetail/ は狙われやすい） |
| 🐞 脆弱性のスキャン | 存在するページでセキュリティホールがないかチェックする（例：古いEC-CUBEなど） |
| 🧠 機械学習のためのクローリング | AI学習データとして「商品構造っぽいページ」を大量に巡回する |
| 🤖 Botの自動化テスト | URLの総当たり攻撃で、どんな情報が漏れてるか確認したい |
ChatGPTに聞くと、そういうことらしい
大量の 見つかりませんでした（404） は、何か問題なの?
📉 問題1：サーバー負荷の増大
何千件・何万件も404リクエストが飛んでくると、サーバーのリソースを浪費します。アクセスが多ければ表示速度にも影響します。
🔍 問題2：Search Consoleで「インデックス登録 – 見つかりませんでした（404）」が増える
Googleもそれを「何かリンクされてる？」と勘違いしてインデックスしようとしてしまうケースがあります。
🛡️ 問題3：セキュリティリスク
脆弱なCMSを使っていた場合、不正なアクセスにつながることも…。
対策：Botの総当たりアクセスを止めるには？
方法①：robots.txtでブロック
User-agent: *
Disallow: /shopdetail/※Googleなど「まじめなBot」はこれを守りますが、スパムボットは守らないことが多いです。
方法②：.htaccessで拒否する（より強力）
RewriteEngine On
RewriteCond %{REQUEST_URI} ^/shopdetail/ [NC]
RewriteRule ^.*$ - [F,L]上記を
.htaccessに書くと/shopdetail/を含む全アクセスを 403禁止 にします（サーバーで拒否）。
方法③：reCAPTCHA やWAFでBot制限（高レベル対応）
- reCAPTCHA（v3）でBotの行動をスコア化して排除
- サーバーやCDN（Cloudflareなど）でBot制限やレート制限をかける
方法②：.htaccessで拒否する を採用しました。
方法②：.htaccessで拒否する を採用しました。結果
減っていかない。
そもそも大量に検索かけているが原因なら、こちら側で防ぎようがないのかな?
.htaccessで404を明確に
# /shopdetail/ 以下をすべて404にする
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{REQUEST_URI} ^/shopdetail/
RewriteRule ^.*$ - [R=404,L]
</IfModule>
見つかりませんでした（404）その後も減らず
ということで、調べたところ対象のURLに、410エラーを返すといいらしい
404エラー対策 410エラーを返す
なぜ410エラーか?
- 「このURLは永久に存在しません」とGoogleに明示できる
- 404よりも早くインデックスから除外される
- SEO上、最も安全かつ効果的な削除手法
.htaccess に下記コードを追加
# /shopdetail/* 404対策
Redirect gone /shopdetail
RedirectMatch gone ^/shopdetail/.*$
意味：/shopdetail/anything → 410 Gone（動的URL対応）/shopdetail → 410 Gone（完全一致）
確認方法
対象のURLを入力して、410 Gone と表示されればOK
404エラー対策 悪意ある検索を防ぐ
WordPresswであれば、All In One WP Security and Firewall というプラグインで、短時間で同じIPアドレスから404エラーを繰り返し発生させているのを防ぐ設定があるので、その機能を有効にする。
