サーバー管理してる人はしってる?
これ誰かがGPTにクローラー活動させてるのか?
それともGoogleのaiと同じように、GPT5の学習に使おうとしてるのか?
User-Agentは
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.0;
googleなみのクローラー活動に、拒否るべき悩んでます!
googleより、深いページにまで入り込んでます!
筆者:かぴばら
投稿日:2023年10月06日 (金) 07時58分 [no.24345]
投稿日:2023年10月06日 (金) 07時58分 [no.24345]