目前有 293 位成員在線上
目前有 293 位成員在線上
AdWords新手入門,了解使用AdWords的成功基礎要訣,有關廣告活動、預算、廣告設定等基本帳戶操作問題都可以在這裡提問。
使用指南
star_border
回覆

AdsBot-Google蜘蛛每天频繁抓取订单页面,导致服务器报错

新手 ✭
# 1
新手 ✭

最近做了动态在营销,发现AdsBot-Google蜘蛛每天非常频繁的抓取订单页面和支付页面,
导致网站服务器经常报错,大家有遇到过这情况吗?
直接用robots屏蔽掉不会对应页面的抓取不会影响广告吧~
求指点,非常感谢~

 

附抓取日志:

107.21.122.104 (United States) 2013-5-5 6:30:55 /Order/Payment/V12345 709 253 302 - Found No Referrer AdsBot-Google ( http://www.google.com/adsbot.html)
107.21.122.104 (United States) 2013-5-5 5:16:36 /Order/Payment/V12345 709 253 302 - Found No Referrer AdsBot-Google ( http://www.google.com/adsbot.html)
107.21.122.104 (United States) 2013-5-5 4:49:47 /Order/OrderInfo/V12345 65785 255 500 - Internal Server Error No Referrer AdsBot-Google ( http://www.google.com/adsbot.html)
107.21.122.104 (United States) 2013-5-5 6:16:47 /Order/OrderInfo/V12345 65785 255 500 - Internal Server Error No Referrer AdsBot-Google ( http://www.google.com/adsbot.html) 
1 專家回覆verified_user

已接受解決方案
標記為最佳解答.
解決方案
接受者 Julie (社群站長)
‎2015-09-03 01:31

回應: AdsBot-Google蜘蛛每天频繁抓取订单页面,导致服务器报错

社群站長
# 2
社群站長

关于网站的问题建议在网站管理员论坛提问。

Google AdWords 社群站長

加入 AdWords 社群 |AdWords 網上小學堂

在原始文章中檢視解決方案


所有回應
標記為最佳解答.
解決方案
接受者 Julie (社群站長)
‎2015-09-03 01:31

回應: AdsBot-Google蜘蛛每天频繁抓取订单页面,导致服务器报错

社群站長
# 2
社群站長

关于网站的问题建议在网站管理员论坛提问。

Google AdWords 社群站長

加入 AdWords 社群 |AdWords 網上小學堂

回應: AdsBot-Google蜘蛛每天频繁抓取订单页面,导致服务器报错

老手 ✭
# 3
老手 ✭
您网站的某些部分可能无法起到广告的有效目标网页的作用,因此您可能需要阻止AdWords系统访问这些网页。要阻止AdWords系统访问您网站的某些部分(例如名为“/shopping_cart/”的目录),请将以下内容添加到您的 robots.txt 文件中:
User-agent: AdsBot-Google
Disallow: /shopping_cart/
參與該主題的專家
Julie