他サイトのことなのですが、某アフィリエイトASPのリンクを掲載しているページだけアクセス数がまったくやってこない状態だったため、何か理由があるのではないかと調査してみました。
そのサイトは1日5千ページビューを超える日もあるサイトなのですが、そのアフィリエイトASPのリンクを掲載しているページだけ、なぜかアクセス数がまったくやってこないのです。他のページでは500とかあるのに、そのページでは2とか、3とかの状態です。
アフィリエイトリンクを掲載している場合、検索エンジン対策には不利ではあるため、その影響なのだろうと考えていたのですが、それを考慮に入れても明らかに違和感がありました。
そこでその某ASPのrobots.txtを確認してみたのですが、遷移先の広告主のサイトに移動する前にrobots.txtでクロールをブロックしているみたいなのです。
おそらくは、nofollowリンクになっているため、robots.txtではじいても同じことだろうという認識なのかと思いますが、robots.txtでブロックしている場合は本当にアクセスしないため、リンク先のページが何のサイトなのかの確認が不可能になってしまいます。
確認ができない以上、リンク先がフィッシング詐欺サイトである可能性もあるわけでして、そのような可能性のあるリンクを掲載しているページについては、上位表示させるわけにはいかないのだろうと思われます。
ここからは僕の主観のため、客観的な根拠はないのですが、nofollowリンクについてはページランクは渡さないものの、クロールをして確認することはしているのだろうと感じるふしはあります。
そのため、アフィリエイトリンクにnofollowを付けた場合、一応はクロールをしてどのようなサイトであるのかの安全性を確認しつつ、ページランクは渡さないという挙動になるはずですが、robots.txtでクロールすらはじいてしまえば、アフィリエイトリンクのリンク先を確認できなくなってしまいます。
万一、リンク先がフィッシング詐欺のサイトであった場合、https対応だ何だとやっても意味がなくなってしまいます。
そのため、robots.txtでクローラーをdisallowしている某ASPの広告を掲載しているページだけ、検索エンジンではヒットしないのだろうと感じています。サイトに広告を掲載する場合、そのASPのrobots.txtまで確認されることをおすすめします。