使用爬蟲(chóng)采集網(wǎng)站時(shí)，ip解決被封問(wèn)題的方法

如何解決使用爬蟲(chóng)采集網(wǎng)站時(shí)被封存的問(wèn)題？ip問(wèn)題？騰佑科技總結(jié)了以下方法，幫助您在日常使用爬蟲(chóng)的過(guò)程中解決問(wèn)題ip被封鎖、IP被限制。

方法1.

經(jīng)驗(yàn)如下：

1.IP例如，必須需要ADSL。如果可能的話，其實(shí)可以多向機(jī)房申請(qǐng)外網(wǎng)。IP。

2.在有外網(wǎng)IP在機(jī)器上部署代理服務(wù)器。

3.您的程序，用輪訓(xùn)代替代理服務(wù)器訪問(wèn)您想要收集的網(wǎng)站。

好處：

1.程序邏輯變化小，只需要代理功能。

2.根據(jù)對(duì)方網(wǎng)站的屏蔽規(guī)則，你只需要添加更多的代理。

3.就算具體IP如果您被屏蔽，您可以直接離線代理服務(wù)器OK，不需要改變程序邏輯。

方法2.

少數(shù)網(wǎng)站的防范措施相對(duì)較弱，可以偽裝IP，修改X-Forwarded-for(好像是這樣拼的。。)可以繞過(guò)。

如果你想經(jīng)常抓取大多數(shù)網(wǎng)站，你通常需要更多IP。我最喜歡的解決方案是出國(guó)VPS再配多IP，通過(guò)默認(rèn)網(wǎng)關(guān)切換實(shí)現(xiàn)IP切換，比HTTP代理效率高得多，估計(jì)比大多數(shù)情況下高得多。ADSL切換效率更高。

方法3.

ADSL 腳本，監(jiān)測(cè)是否被封，然后不斷切換ip

1.設(shè)置查詢頻率限制

2.調(diào)用網(wǎng)站提供的服務(wù)界面是正統(tǒng)的。

方法4.

有8年以上爬蟲(chóng)經(jīng)驗(yàn)的人告訴你，國(guó)內(nèi)有8年以上爬蟲(chóng)經(jīng)驗(yàn)的人告訴你ADSL是王道，多申請(qǐng)線路，分布在多個(gè)不同的電信區(qū)局，跨省跨市比較好寫(xiě)斷線重?fù)芙M件，寫(xiě)動(dòng)態(tài)IP跟蹤服務(wù)，遠(yuǎn)程硬件重置(主要針對(duì)ADSL貓，防止停機(jī))，其他任務(wù)分配，數(shù)據(jù)回收，都不是大問(wèn)題。我的已經(jīng)穩(wěn)定運(yùn)行好幾年了，沒(méi)問(wèn)題！

方法5.

1useragent偽裝和輪換

2使用代理ip和輪換

3cookies在處理方面，一些網(wǎng)站對(duì)登錄用戶政策更寬松

友情提示：考慮爬蟲(chóng)網(wǎng)站的負(fù)擔(dān)，bearesponsiblecrawler:)

方法6.

盡可能模擬用戶行為：

1、UserAgent經(jīng)常換一換

2.訪問(wèn)時(shí)間間隔稍長(zhǎng)，訪問(wèn)時(shí)間設(shè)置為隨機(jī)數(shù)；

3、訪問(wèn)頁(yè)面的順序也可以隨機(jī)著來(lái)

方法7.

網(wǎng)站密封的依據(jù)一般是單位時(shí)間內(nèi)的特定IP的訪問(wèn)次數(shù).我根據(jù)目標(biāo)站點(diǎn)收集的任務(wù)IP通過(guò)控制每個(gè)分組IP

任務(wù)的數(shù)量應(yīng)在單位時(shí)間內(nèi)發(fā)出，以避免被密封.當(dāng)然，這個(gè)前題是你收集了很多網(wǎng)站.如果只收集一個(gè)網(wǎng)站，只能通過(guò)多個(gè)外部IP的方式來(lái)實(shí)現(xiàn)了.

方法8.

控制爬蟲(chóng)抓取的壓力；

可以考慮使用代理訪問(wèn)目標(biāo)網(wǎng)站。

-減少抓取頻率，長(zhǎng)時(shí)間設(shè)置，隨機(jī)訪問(wèn)時(shí)間

-頻繁切換UserAgent(模擬瀏覽器訪問(wèn))

-隨機(jī)訪問(wèn)多頁(yè)數(shù)據(jù)，然后抓取數(shù)據(jù)

-更換用戶IP

騰佑科技提供動(dòng)態(tài)撥號(hào)vps騰佑科技不僅擁有全國(guó)20多個(gè)省160多個(gè)城市的動(dòng)態(tài)服務(wù)器等ip撥號(hào)VPS，還有香港、日本、美國(guó)、臺(tái)灣、韓國(guó)、菲律賓等國(guó)家和地區(qū)的動(dòng)態(tài)撥號(hào)VPS。非常適合刷排名、網(wǎng)站優(yōu)化、網(wǎng)絡(luò)營(yíng)銷、爬蟲(chóng)、數(shù)據(jù)捕獲、數(shù)據(jù)分析、刷單、投票等領(lǐng)域；請(qǐng)聯(lián)系騰佑科技客服！