SEOツール　ahrefsのクロールエラーについて

Question

ECマスターズ　ご担当者様

お世話になります。

表題の件で質問です。
SEOツール　ahrefsを最近使用し始めたのですが
2つあるサイトの内、1つがクロールの失敗となったままの状態です。

サイトURLは
https://orlo-osaka.com/

サーチコンソールでは何もエラーがないのですが
ahrefsではクロール失敗となっています。

スクリーンショットを添付致します。

解決方法があれば教えて頂きたいです。

以上ご確認宜しくお願い致します。
ご回答お待ちしております。###HR######IMG089a533688be810a7b394c83e8a4d96bc.pngIMG0### ###IMG187750f002bf35e3579ef975e0cd13ab1.pngIMG1###

Accepted Answer

ECマスターズの田中です。

SD−01プランについて確認したところ、
すでに新規受付を終了しているプランであるということですね。
その場合、Webサーバーのスペックの低さが原因である場合がございます。

同プランについて、
受付中のプランに変更したら快適に表示されるようになった、
という体験談も下記URLにございました。
https://bondesign.jp/archives/1712/

プラン変更に伴うデータ移行作業などが必要かどうかも含め、
一度、お名前.comのサポート窓口へ
お問い合わせいただきますようお願いいたします。

Answer

ECマスターズの田中です。

おそらく、サーバー上に「robots.txt」ファイルが
存在していないことが原因ですので、

WordPressのあるフォルダ、「wp-admin」「wp-content」フォルダなどが見えるフォルダに
robots.txt という名前のテキストファイルを
下記内容で作成し、改善されるかご確認いただきますようお願いします。

Disallow: /wp-admin/

差し支えなければ、Sitemapも追加いただけるとなおよいかと思います。
詳しい書き方は、下記ページをご参照願います。
https://prograshi.com/wordpress/wp-robots-txt/

不明な点などございましたら返信にてお知らせ願います。

Answer

ECマスターズ 田中様

お世話になっております。

＞おそらく、サーバー上に「robots.txt」ファイルが
＞存在していないことが原因ですので、

＞WordPressのあるフォルダ、「wp-admin」「wp-content」フォルダなどが見えるフォルダに
＞robots.txt という名前のテキストファイルを
＞下記内容で作成し、改善されるかご確認いただきますようお願いします。

＞Disallow: /wp-admin/


こちらwindowsのメモ帳で
ファイル名をrobotsで保存し
メモ帳の中身の記述を
Disallow: /wp-admin/にするという意味であっておりますでしょうか？

作成し、サーバーの指定の場所にアップロードしましたが
やはりエラーとなります。

スクリーンショットを添付致します。

以上ご確認宜しくお願い致します。
ご回答お待ちしております。###HR######IMG0560c5008b8266d193e28e6223ea7b19a.pngIMG0### ###IMG1770c98d7b2ff9d6ec864896d6f3eff0a.pngIMG1###

Answer

ECマスターズの田中です。

ご対応ありがとうございます。
https://orlo-osaka.com/robots.txt
にアクセスすると、確かに表示できましたが、
読込に時間がかかっており、エラーの原因となっている可能性がございます。
（Fetching robots.txt took too long → robots.txtの読込に長い時間がかかっている）

たとえば、私の環境にて
https://www.yahoo.co.jp/robots.txt
Yahoo!のrobots.txtの読込にかかる時間は
おおよそ0.06〜0.08秒程度なのですが、
なおきちさんの場合、約2〜3秒（20〜30倍程）かかってしまいます。

また、

> こちらwindowsのメモ帳で
> ファイル名をrobotsで保存し
> メモ帳の中身の記述を
> Disallow: /wp-admin/にするという意味であっておりますでしょうか？

こちらの意味で正しいのですが、
実際にrobots.txtのURLにアクセスすると、異なる内容が表示されております。
もし、WordPressの何らかのプラグインで自動生成されておりましたら、
その処理に時間がかかっている可能性がございます。

WordPressの何らかのプラグインでrobots.txtを表示されていないか、
サーバーの性能の問題でWordPressの表示が遅れていないか、
サーバーとして、特定のIPアドレスの除外設定を行っていないか、
など、ご確認いただきますようお願いします。

Answer

ECマスターズ 田中様

お世話になっております。

ご回答ありがとうございます。

＞ご対応ありがとうございます。
＞https://orlo-osaka.com/robots.txt
＞にアクセスすると、確かに表示できましたが、
＞読込に時間がかかっており、エラーの原因となっている可能性がございます。
＞（Fetching robots.txt took too long → robots.txtの読込に長い時間がかかっている）

＞たとえば、私の環境にて
＞https://www.yahoo.co.jp/robots.txt
＞Yahoo!のrobots.txtの読込にかかる時間は
＞おおよそ0.06〜0.08秒程度なのですが、
＞なおきちさんの場合、約2〜3秒（20〜30倍程）かかってしまいます。

こちらかしこまりました。
なぜそれほど時間がかかるのか私にも原因がわからない状態です。

＞WordPressの何らかのプラグインでrobots.txtを表示されていないか、
＞サーバーの性能の問題でWordPressの表示が遅れていないか、
＞サーバーとして、特定のIPアドレスの除外設定を行っていないか、
＞など、ご確認いただきますようお願いします。

Sitemapsを生成するプラグイン【XML Sitemaps】を使用していますが
こちらが関係しているのでしょうか？

robots.txtのみを生成するプラグインは見当たりません。
プラグインのスクリーンショットを添付致しますので
ご確認宜しくお願い致します。

サーバーはお名前ドットコムのレンタルサーバーを使用しています。
SD-01プランというものを使用しており
サーバーの中にはもう一つ、WordPressのサイトが入っています。

プランの変更を検討した方が良いのでしょうか？
ディスク使用状況のスクリーンショットを添付致します。

特定のIPアドレスの除外設定は行っておりません。


解決方法があれば教えて頂きたいです。

以上ご確認宜しくお願い致します。
ご回答お待ちしております。###HR######IMG0dd963f6d626b7b723ceb0ff708300b8d.pngIMG0### ###IMG1e759af67def560240fc629134446e8b7.pngIMG1###

Answer

ECマスターズの星です。

週明け担当よりご回答いたしますので
今しばらくお待ちください。

お待たせして申し訳ございませんが
何卒よろしくお願いいたします。

Answer

ECマスターズ 田中様

お世話になっております。

ご回答ありがとうございます。

＞SD−01プランについて確認したところ、
＞すでに新規受付を終了しているプランであるということですね。
＞その場合、Webサーバーのスペックの低さが原因である場合がございます。

＞同プランについて、
＞受付中のプランに変更したら快適に表示されるようになった、
＞という体験談も下記URLにございました。
＞https://bondesign.jp/archives/1712/

こちら確認しました。

運用中のホームページのデータを引き続き活用できるとのことでしたので
以下のSD-11プランというものに変更してみました。

https://www.onamae-server.com/navi/sd-11/?_ga=2.1065393.1805800595.1644825956-1919568975.1644305443

これで一旦、改善するか試してみます。
サーバーの原因でない場合、再度ご質問させて頂きます。

この度はご回答ありがとうございます。

SEOツール ahrefsのクロールエラーについて

SEOツール　ahrefsのクロールエラーについて