當你遇到你用python爬蟲時 沒辦法成功爬j完
這時你就必須想到有三個可能:
1.是不是你爬的網站有禁止 機器爬
如果有這個可能記得要用 slepp 跟 random函式
time.sleep(t是變數)
將自己爬蟲的行為盡可能不像機器
2.加個header下去爬 假裝自己是瀏覽器
headers = {'user-agent': 'Mozilla/5.0'}
3.有可能你的IDE沒辦法全部PRINT 出結果來
所以盡可能還是將爬蟲的資料用寫入筆記本的方式寫入
(我就是一直找不到問題 後來用筆記本寫入後才發現是ide
沒有全部print的問題)
全站熱搜
留言列表
