熊貓智能采集軟件 v3.5

熊貓智能采集軟件是由熊貓采集官方推出的一款功能強(qiáng)大，但又操作簡(jiǎn)單的領(lǐng)先的采集器軟件。它采用熊貓精準(zhǔn)搜索引擎的解析內(nèi)核，實(shí)現(xiàn)對(duì)網(wǎng)頁(yè)內(nèi)容的仿瀏覽器解析，在此基礎(chǔ)上利用原創(chuàng)的技術(shù)實(shí)現(xiàn)對(duì)網(wǎng)頁(yè)框架內(nèi)容與核心內(nèi)容的分離、抽取，并實(shí)現(xiàn)相似頁(yè)面的有效比對(duì)、匹配。因此，用戶只需要指定一個(gè)參考頁(yè)面，熊貓采集軟件系統(tǒng)就可以據(jù)此來匹配類似的頁(yè)面，來實(shí)現(xiàn)用戶需要采集資料的批量采集。

在采集過程中，用戶不再需要使用非常專業(yè)的“正則表達(dá)式”技術(shù)，不要需要借助技術(shù)高手來編寫采集匹配規(guī)則。熊貓采集軟件系統(tǒng)會(huì)將參考頁(yè)面的內(nèi)容解析分解后，由用戶利用鼠標(biāo)點(diǎn)選需要采集的對(duì)象即可，系統(tǒng)據(jù)此就可以知道用戶需要采集的內(nèi)容?？傊瑸g覽器可見的內(nèi)容都可以采集，有興趣的用戶不妨下載體驗(yàn)！

如何用熊貓采集器實(shí)現(xiàn)網(wǎng)絡(luò)上企業(yè)名錄、客戶手機(jī)電話號(hào)碼的搜索采集

1、首先，打開軟件，點(diǎn)擊“客戶資料采集模板”標(biāo)簽。可以看到主流的電話源網(wǎng)站，都已經(jīng)內(nèi)置在軟件中了，包括“從網(wǎng)頁(yè)搜索電話”（輸入關(guān)鍵詞，即可全網(wǎng)搜索相關(guān)電話）。官方會(huì)不停的追加新的電話源采集網(wǎng)站進(jìn)去。如果你有合適的網(wǎng)站，也可以推薦給熊貓。

電話采集模板

圖示1：客戶資料采集模板

2、點(diǎn)擊你需要采集對(duì)象網(wǎng)站的圖標(biāo)，即可打開新項(xiàng)目復(fù)制對(duì)話框。

新項(xiàng)目復(fù)制對(duì)話框

圖示2：新項(xiàng)目復(fù)制對(duì)話框

3、在打開的復(fù)制項(xiàng)目對(duì)話框中，首先選擇你需要采集的城市編碼，從下拉列表中直接選擇即可（如果下拉列表太長(zhǎng)，難以找到?？梢灾苯釉谙吕斜砜蛑?，輸入你需要的城市名稱，即可快速定位該城市。）。

然后輸入你需要搜索的關(guān)鍵詞，多個(gè)關(guān)鍵詞之間可以用逗號(hào)分開即可。

再將當(dāng)前項(xiàng)目取個(gè)名字（在上述截圖左側(cè)的“項(xiàng)目名稱”輸入框中）。

然后點(diǎn)擊“確認(rèn)創(chuàng)建”按鈕，即可完成一個(gè)新的電話采集項(xiàng)目的配置。

是不是足夠簡(jiǎn)單？——已經(jīng)簡(jiǎn)單到無法再簡(jiǎn)單了！

然后點(diǎn)擊“立即運(yùn)行”按鈕，即可關(guān)閉設(shè)置界面，直接進(jìn)入數(shù)據(jù)采集運(yùn)行。

最新獲取的結(jié)果數(shù)據(jù)，會(huì)在軟件主界面下方的列表中滾動(dòng)展示：

最新獲取的結(jié)果數(shù)據(jù)

圖示3：最新獲取的結(jié)果數(shù)據(jù)

4、當(dāng)當(dāng)前項(xiàng)目的運(yùn)行進(jìn)度條全部完成，并且“項(xiàng)目當(dāng)前狀態(tài)：”出現(xiàn)“運(yùn)行已完成”字樣的時(shí)候，說明本次采集完成。

當(dāng)項(xiàng)目運(yùn)行結(jié)束后，即可選擇導(dǎo)出數(shù)據(jù)：軟件菜單：項(xiàng)目數(shù)據(jù)-導(dǎo)出數(shù)據(jù) 。（或者直接點(diǎn)擊軟件界面中間的“導(dǎo)出數(shù)據(jù)（當(dāng)前項(xiàng)目）”按鈕）

導(dǎo)出數(shù)據(jù)

圖示4：導(dǎo)出數(shù)據(jù)

5、默認(rèn)的導(dǎo)出數(shù)據(jù)設(shè)置，是只導(dǎo)出單一的電話號(hào)碼，并自動(dòng)排除重復(fù)手機(jī)號(hào)。如果需要完整數(shù)據(jù)，請(qǐng)?jiān)趶棾龅膶?duì)話框中，選擇“指定列輸出”。

導(dǎo)出數(shù)據(jù)的設(shè)置

圖示5：導(dǎo)出數(shù)據(jù)的設(shè)置

6、默認(rèn)的導(dǎo)出數(shù)據(jù)文件，會(huì)在項(xiàng)目專屬文件夾下，和當(dāng)前項(xiàng)目同名的文件。

默認(rèn)情況下，項(xiàng)目采集結(jié)果數(shù)據(jù)會(huì)存儲(chǔ)在項(xiàng)目專屬文件夾下的data.mdb文件中，為office.access軟件格式，用office.excel軟件也可以直接打開該data.mdb文件進(jìn)行查看、編輯。推薦使用access軟件打開該data.mdb文件進(jìn)行數(shù)據(jù)輸出。如果你的電腦中，沒有安裝Office或者access，可以使用“導(dǎo)出數(shù)據(jù)”功能導(dǎo)出為csv通用excel格式文件。

7、至此即可完成一個(gè)電話采集項(xiàng)目的設(shè)置、運(yùn)行、數(shù)據(jù)導(dǎo)出的全部流程。

注意同一個(gè)網(wǎng)站下，不宜同時(shí)運(yùn)行多個(gè)采集項(xiàng)目，因?yàn)檫@會(huì)給對(duì)方網(wǎng)站造成很大的訪問壓力，進(jìn)而可能會(huì)被封IP。軟件的內(nèi)置模板已經(jīng)對(duì)訪問壓力做了均衡設(shè)置，單一項(xiàng)目運(yùn)行的時(shí)候，一般不會(huì)被封IP的。但是同時(shí)運(yùn)行多個(gè)項(xiàng)目，則會(huì)超出均衡設(shè)置的范圍。

當(dāng)被封IP的時(shí)候，請(qǐng)打開“項(xiàng)目高級(jí)設(shè)置”-云計(jì)算-選擇“僅請(qǐng)求協(xié)助網(wǎng)頁(yè)的訪問”，進(jìn)行云采集，即可繞開對(duì)方網(wǎng)站的采集屏蔽。

項(xiàng)目的云采集請(qǐng)求的設(shè)置

圖示6：項(xiàng)目的云采集請(qǐng)求的設(shè)置

軟件特色

1、全方位的采集功能

采集的對(duì)象包括文字內(nèi)容、圖片、flash動(dòng)畫視頻、下載文件等等各類網(wǎng)絡(luò)內(nèi)容。支持圖文混排對(duì)象的同時(shí)采集。支持結(jié)構(gòu)復(fù)雜的采集對(duì)象集合，支持復(fù)雜多數(shù)據(jù)庫(kù)表單，支持跨頁(yè)面內(nèi)容合并采集的能力。

2、面向?qū)ο蟛杉?，采集?duì)象的內(nèi)容可以是分散在多個(gè)頁(yè)面（模板頁(yè)面的深度嵌套訪問）熊貓采集是面向?qū)ο蟮?，一個(gè)采集對(duì)象可以擁有許多需要采集的子項(xiàng)屬性內(nèi)容。這些子項(xiàng)屬性的內(nèi)容允許分散在不同的頁(yè)面內(nèi)，這些頁(yè)面可以是需要通過若干次鏈接才能到達(dá)的頁(yè)面。

此處所謂“對(duì)象”，可以理解為“（需要采集的數(shù)據(jù)的）數(shù)據(jù)集合 ”的意思。這個(gè)數(shù)據(jù)集合的內(nèi)容和范圍由用戶根據(jù)實(shí)際需求自行決定，沒有特定的要求。也可以將該對(duì)象范疇囊括到“標(biāo)題列表頁(yè)面”，這屬于變通使用的方法，在此不多做贅述。靈活的使用面向?qū)ο蟮姆椒ǎ粌H可以實(shí)現(xiàn)很多復(fù)雜的采集需求，更可以使得采集設(shè)置過程更為簡(jiǎn)單。

3、采集速度快

熊貓采集的采集速度是采集軟件中最快的（之一）。不使用落后低效的正則匹配技術(shù)。也不使用第三方內(nèi)置瀏覽器訪問的技術(shù)。使用自己研發(fā)的解析引擎，實(shí)現(xiàn)對(duì)網(wǎng)頁(yè)源碼的仿瀏覽器解析。分解網(wǎng)頁(yè)可視化內(nèi)容元素，在此基礎(chǔ)上進(jìn)行機(jī)器學(xué)習(xí)、批量采集匹配。經(jīng)實(shí)際測(cè)試，是傳統(tǒng)的正則匹配方式采集速度的2~5倍。是基于第三方內(nèi)置瀏覽器采集速度的10~20倍。

4、結(jié)果數(shù)據(jù)完整度高

實(shí)際采集過程中，由于目標(biāo)頁(yè)面存在豐富的內(nèi)容頁(yè)面板式的情況，此時(shí)就需要使用熊貓獨(dú)有的“多模板功能”，才能實(shí)現(xiàn)完整的采集。同時(shí)，看起來頁(yè)面版面一致的情況下，也可能會(huì)存在因?yàn)轫?yè)面內(nèi)部的少量差異而采集采集匹配失敗，此時(shí)就需要采集器具有智能容錯(cuò)能力。智能容錯(cuò)能力，是衡量一個(gè)采集器是否成熟的基本標(biāo)志之一。熊貓追求的是采集結(jié)果100%的完整。包括有效頁(yè)面100%的采集，頁(yè)面中采集的內(nèi)容100%的采集。只要設(shè)置恰當(dāng)，不會(huì)出現(xiàn)采集結(jié)果遺漏的情況。——只有熊貓才能讓結(jié)果如此完整。

5、JS解析的自動(dòng)判斷識(shí)別

現(xiàn)在很多網(wǎng)頁(yè)都采用了ajax網(wǎng)頁(yè)內(nèi)容動(dòng)態(tài)生成技術(shù)。此時(shí)僅僅依靠網(wǎng)頁(yè)源碼，并不能獲取需要的有效內(nèi)容。此時(shí)就需要對(duì)被采集的頁(yè)面執(zhí)行JavaScript（JS）解析，獲取JS執(zhí)行后的結(jié)果代碼。熊貓支持對(duì)需要JS解析的頁(yè)面，執(zhí)行JS解析，獲取JS解析后的實(shí)際內(nèi)容。鑒于執(zhí)行JS解析的速度效率很低，因此熊貓內(nèi)置了智能判斷功能，自動(dòng)檢查是否需要對(duì)被采集的頁(yè)面執(zhí)行JS解析，如果不需要的，盡量不使用低效的JS解析模式。

6、多模板自動(dòng)適應(yīng)能力

很多網(wǎng)站的“內(nèi)容頁(yè)面”會(huì)存在多個(gè)不同種類的模板，因此熊貓采集軟件允許每個(gè)采集項(xiàng)目可以同時(shí)設(shè)置多個(gè)內(nèi)容頁(yè)面參考模板，在采集運(yùn)行時(shí)，系統(tǒng)會(huì)自動(dòng)匹配尋找最合適的參考模板用來分析內(nèi)容頁(yè)面。

7、實(shí)時(shí)幫助窗口

在采集項(xiàng)目設(shè)置環(huán)節(jié)，系統(tǒng)會(huì)在窗口右上顯示與當(dāng)前配置相關(guān)的實(shí)時(shí)幫助內(nèi)容，為使用新手提供實(shí)時(shí)幫助。因此熊貓采集軟件的使用可以輕松上手。配合全程智能化輔助能力，即便是第一次接觸熊貓采集軟件，也可以較輕松實(shí)現(xiàn)采集項(xiàng)目的配置工作。

8、正文和回復(fù)內(nèi)容同時(shí)采集的能力

典型如論壇頁(yè)面，正文內(nèi)容在前，若干回復(fù)內(nèi)容在后，或者還存在若干個(gè)回復(fù)分頁(yè)存在。熊貓采集可以將這些作為一個(gè)“對(duì)象”來對(duì)待，一并同時(shí)完整采集，其配置過程也非常簡(jiǎn)單。

9、分頁(yè)內(nèi)容的輕松合并

支持各種類型的分頁(yè)模式，用戶只需要做兩步就可以實(shí)現(xiàn)分頁(yè)內(nèi)容的合并：鼠標(biāo)點(diǎn)選確認(rèn)分頁(yè)鏈接所在，將需要分頁(yè)合并的字段項(xiàng)勾選上“分頁(yè)合并”項(xiàng)即可。如果頁(yè)面內(nèi)具有重復(fù)子項(xiàng)存在，則能自動(dòng)在分頁(yè)中尋找該重復(fù)子項(xiàng)，隱含自動(dòng)進(jìn)行分頁(yè)內(nèi)容合并。

典型如上述的論壇例子，分頁(yè)頁(yè)面內(nèi)的回復(fù)內(nèi)容，可自動(dòng)實(shí)現(xiàn)歸并，此時(shí)用戶只需要鼠標(biāo)點(diǎn)選確認(rèn)分頁(yè)鏈接所在即可。有些場(chǎng)合下，在論壇內(nèi)容頁(yè)面的分頁(yè)中也會(huì)同時(shí)出現(xiàn)主體（主表）內(nèi)容，此時(shí)系統(tǒng)會(huì)自動(dòng)進(jìn)行判斷，不會(huì)將主表內(nèi)容當(dāng)成重復(fù)子項(xiàng)的子表內(nèi)容進(jìn)行采集。

10、利用cookie方式模擬登錄網(wǎng)站

對(duì)于需要登錄才能訪問采集頁(yè)面的網(wǎng)站（包括Discuz等各類型論壇），可以利用賬號(hào)進(jìn)行模擬登錄。熊貓采集可以通過模擬瀏覽器機(jī)制，利用動(dòng)態(tài)cookie和網(wǎng)站進(jìn)行cookie動(dòng)態(tài)對(duì)話。有些網(wǎng)站，為了加強(qiáng)數(shù)據(jù)的安全性，利用cookie對(duì)網(wǎng)頁(yè)內(nèi)容數(shù)據(jù)進(jìn)行加密，此時(shí)就需要使用熊貓采集特有的“動(dòng)態(tài)Cookie”功能。

11、支持常見類型數(shù)據(jù)庫(kù)引擎。支持FTP上傳

熊目前版本的熊貓，支持Access/mssql/mysql/Oracle 四種常用數(shù)據(jù)庫(kù)類型，以后可能會(huì)視需求進(jìn)行擴(kuò)充。支持將下載的各類文件圖片等同時(shí)FTP上傳到遠(yuǎn)程服務(wù)器內(nèi)。用戶利用此項(xiàng)功能就可以將在本地電腦上采集的數(shù)據(jù)同時(shí)更新到自己網(wǎng)站內(nèi)，充實(shí)欄目?jī)?nèi)容。對(duì)于其他的動(dòng)態(tài)數(shù)據(jù)發(fā)布方式，熊貓會(huì)在用戶使用反饋的基礎(chǔ)上盡快實(shí)現(xiàn)。

12、無人值守自動(dòng)定時(shí)運(yùn)行

提供更新采集訪問的能力，自動(dòng)定時(shí)更新運(yùn)行。無需人工干預(yù)，系統(tǒng)自動(dòng)封閉運(yùn)行。

13、文字內(nèi)容的“偽原創(chuàng)”修改。支持文章時(shí)間的提前

提供文字內(nèi)容的“偽原創(chuàng)”修改。還可以將文章時(shí)間做“提前”修改，文章的發(fā)表時(shí)間是搜索引擎用來區(qū)別文章是否原創(chuàng)的一個(gè)參考因素。

軟件功能

1、大數(shù)據(jù)采集

熊貓擁有極高的采集速度和效率，是大數(shù)據(jù)采集場(chǎng)合的最優(yōu)選擇。同時(shí)熊貓獨(dú)有的海量數(shù)據(jù)處理能力，可以應(yīng)付大數(shù)據(jù)采集的需要。是大數(shù)據(jù)采集場(chǎng)合的首選

2、輿情監(jiān)測(cè)

借助全部中文搜素引擎，輕松實(shí)現(xiàn)全網(wǎng)輿情信息的監(jiān)測(cè)，信息覆蓋面廣。對(duì)于需要重點(diǎn)監(jiān)測(cè)的網(wǎng)站，只需要錄入網(wǎng)址即可實(shí)現(xiàn)監(jiān)測(cè)。PC端獨(dú)立運(yùn)行，普通的移動(dòng)PC即可勝任輿情監(jiān)測(cè)工作。同時(shí)熊貓智能采集監(jiān)測(cè)引擎，也是第三方輿情系統(tǒng)內(nèi)置爬蟲的首選。

3、招標(biāo)信息監(jiān)測(cè)

利用熊貓智能采集監(jiān)測(cè)引擎，可以輕松實(shí)現(xiàn)對(duì)招標(biāo)信息發(fā)布網(wǎng)站的最新招標(biāo)信息進(jìn)行監(jiān)測(cè)。熊貓采集，是招標(biāo)信息監(jiān)測(cè)軟件的最優(yōu)選擇：操作容易、維護(hù)簡(jiǎn)單、結(jié)果直觀方便。

4、客戶資料收集

利用熊貓可以輕松從網(wǎng)絡(luò)中批量獲取需要的客戶信息，利用熊貓的各類繞開防采集機(jī)制（，如熊貓獨(dú)有的云采集功能），可以輕松繞開被采集網(wǎng)站的防采集機(jī)制。如58、趕集、百姓網(wǎng)、阿里巴巴、慧聰?shù)鹊取?

5、眾多站長(zhǎng)：網(wǎng)站搬家、網(wǎng)站內(nèi)容自動(dòng)填充

熊貓是操作最簡(jiǎn)單的采集器，是眾多網(wǎng)站站長(zhǎng)的首先。同時(shí)熊貓也是功能復(fù)雜的采集器，可以應(yīng)用幾乎所有的復(fù)雜網(wǎng)站的采集、搬家操作。

6、采集互聯(lián)網(wǎng)資源

利用熊貓采集軟件，可以將互聯(lián)網(wǎng)資源實(shí)現(xiàn)批量、格式化的下載到本地。 可選的采集工具軟件是在太多了，但都屬于DOS時(shí)代，操作繁瑣、作用簡(jiǎn)單、需要專業(yè)技術(shù)人員才可以勉強(qiáng)操作。而熊貓不同，全程可視化鼠標(biāo)操作，操作簡(jiǎn)單，且功能全面，尤其熊貓可以實(shí)現(xiàn)非常復(fù)雜的采集需求，不懂技術(shù)的人也可以輕松操作。熊貓采集是采集軟件的換代產(chǎn)品，——輕松采集，從熊貓開始！

7、充實(shí)用戶網(wǎng)站內(nèi)容

用戶可以利用熊貓，將互聯(lián)網(wǎng)上零散或集中的資源批量采集拷貝到自己網(wǎng)站內(nèi)，充實(shí)自己網(wǎng)站內(nèi)容。不需要懂技術(shù)、不要資金、不要人力投入、借助熊貓，任何人都可以輕松成為一個(gè)大站的站長(zhǎng)。

8、行業(yè)垂直搜索引擎

利用熊貓采集，配合熊貓采集配套的分詞索引檢索系統(tǒng)，用戶就可以輕松構(gòu)建一個(gè)行業(yè)垂直搜索引擎。例如招聘、人才、房產(chǎn)、旅游、購(gòu)物、商務(wù)、分類信息、二手、醫(yī)療健康等等。

熊貓采集軟件，從開發(fā)伊始，就是為了做通用搜索引擎而設(shè)計(jì)，如果僅僅認(rèn)為熊貓只是原始而廉價(jià)的采集軟件，那就是對(duì)熊貓大誤解。熊貓采集的技術(shù)，是源于熊貓精準(zhǔn)搜索引擎。

9、作為相關(guān)軟件的功能配套

可以作為輿情、監(jiān)控、情報(bào)等互聯(lián)網(wǎng)相關(guān)軟件的配套軟件，節(jié)約重復(fù)高成本開發(fā)，關(guān)鍵是可以提高用戶的使用體驗(yàn)，提升軟件自身的技術(shù)形象。

技術(shù)特點(diǎn)

1、搜索引擎解析內(nèi)核

熊貓利用的是搜索引擎的智能解析內(nèi)核，實(shí)現(xiàn)對(duì)網(wǎng)頁(yè)內(nèi)容的仿瀏覽器解析、分解、內(nèi)容提取、近似頁(yè)面比對(duì)等等。

2、內(nèi)置分詞/索引/檢索引擎

軟件內(nèi)置有熊貓獨(dú)立研發(fā)的分詞索引檢索引擎，用于文章的分詞、文章內(nèi)容相似度的分析匹配，摘要自動(dòng)生成等應(yīng)用。性能強(qiáng)悍，內(nèi)存占用小，效率極高。

3、視覺模擬技術(shù)

熊貓采集軟件會(huì)模擬人的視覺來分析網(wǎng)頁(yè)，在此基礎(chǔ)上利用參考（模板）頁(yè)面實(shí)現(xiàn)采集匹配工作。

4、網(wǎng)站頁(yè)面邏輯關(guān)系分析技術(shù)

這是熊貓?zhí)赜械脑瓌?chuàng)技術(shù)。是熊貓采集軟件所依賴的基礎(chǔ)技術(shù)之一。