パソコン / ホームページの作り方
 特定のフォルダーを検索されないようにする方法
2020/5/9 
●パスワードを設定するのが最も効果的
 レンタルサーバーに私的なフォルダーを設置し、検索されないようにするには、そのフォルダーにパスワードを設定するのが最も効果的です。多くのレンタルサーバーでは、ファイルマネージャーでパスワードを設定できるようになっています。
 なお、トップページからリンクを貼っていないページでも(つまりトップページからそのページにたどり着けないようにしておいても)検索エンジンにクロールされ、検索される可能性はあります。
 パスワード付きのページは、自分専用のウェブページとなるので、そこに個人用のリンク集を設置し、各種端末でその情報を共有するという使い方もできます。一種の個人用のクラウドコンピューティングです。

●ロボットテキストでクロール禁止 
 しかし、一般には公開したくないけれど、リンクを貼ってそのページを引用する場合にはそれでは困ります。
 そこで、ロボットテキストでクロール禁止にすれば、検索はされないけれど、リンクを貼ってそのページを引用することはできるようになります。
 一般的なサイトではあまり必要はないと思いますが、ロボットテキストについては、Search Console に詳しい説明があります。