1、下載nutch-1.0.tar.gz.http://apache.etoak.com/lucene/nutch/2、解壓縮nutch-1.0.tar.gz,放在自己熟悉的目錄下面,比如workspace.3、解壓完后會有一個目錄:webapps.這個目錄是hadoop自己所對應的頁面。datanode、hdfs、j" />

日韩久久久精品,亚洲精品久久久久久久久久久,亚洲欧美一区二区三区国产精品 ,一区二区福利

Nutch1.0 Ui啟動在tomcat中的配置

系統 2336 0

<!-- @page { margin: 2cm } P { margin-bottom: 0.21cm } A:link { so-language: zxx } -->

1 、下載 nutch-1.0.tar.gz. http://apache.etoak.com/lucene/nutch/

2 、解壓縮 nutch-1.0.tar.gz, 放在自己熟悉的目錄下面,比如 workspace.

3 、解壓完后會有一個目錄: webapps. 這個目錄是 hadoop 自己所對應的頁面。

datanode hdfs job secondary static task

4 、下載 tomcat 5.5 版本以上的都行,然后進行配置。 Sudo gedit /etc/profile 配置你的 JAVA_HOME TOMCAT_HOME.

5 、打開 tomcat conf/server.xml 。配置一個虛擬的目錄

<Context path="/crawl" docBase="/home/user/tools/nutch-1.0/webapps/task/" reloadable="true" debug="0"/>

6 、在 task 的目錄下面就可有寫 jsp 頁面了。在 task 下有一個 WEB-INF. 在它下面建立一個 classes 文件夾。這里面主要放的是 .class lib.

7 nutch 所編譯生成的 .class 文件和所需要的 lib 都要拷貝到 /WEB-INF/classes/.

8 、最主要的是在 nutch1.0 的目錄下面有一個 plugins 。這個也要放在 /WEB-INF/classes/.

9 、同時拷貝完了還不行,因為還沒有做一些其它的相應配置:

<a> hadoop-env.sh 改變 JAVA_HOME.

<b> crawl-urlfilter.txt 改變抓取的 URL.

<c> regex-urlfilter.txt 屏蔽 URL 的后綴 .

<d> :所拷貝的 plugins 文件目錄需和 nutch-default.xml 放在同一目錄下面,如果不是需要改變 nutch-default.xml 中配置 plugin 的路徑。

要不然會報 plugin.floders not find 等錯誤。

10 、因為我們是在頁面來啟動 nutch 的,當然 nutch 所抓取的頁面得有存放位置。目前我是放在 /tomcat/bin/ : 在這個目錄下面我建立了

myUrls ---- > url.txt -----> http://www.163.com/

crawl : 存放抓取完后頁面存放路徑。

11 、頁面的部分就很簡單了。兩個輸入框 : dept topN. 如果想加 thread ,也可以。然后就是提交。可以是一個 jsp 也可以是一個 servlet.( 注意要把所編譯 的 .class 文件放到 /WEB-INF/classes/).

12 、打開瀏覽器啟動下試試。不報錯說明它已經啟動了,或者是去 tomcat/bin/crawl/ 看看有沒有東東。

Nutch1.0 Ui啟動在tomcat中的配置


更多文章、技術交流、商務合作、聯系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號聯系: 360901061

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對您有幫助就好】

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長會非常 感謝您的哦!!!

發表我的評論
最新評論 總共0條評論
主站蜘蛛池模板: 丁青县| 揭东县| 舒城县| 增城市| 福清市| 平和县| 桦川县| 沙河市| 永春县| 五台县| 古交市| 恩平市| 类乌齐县| 甘孜| 调兵山市| 南昌县| 泰兴市| 太湖县| 平顺县| 东乡| 志丹县| 宜都市| 施甸县| 磐安县| 沙河市| 德清县| 班戈县| 东至县| 武定县| 双鸭山市| 青州市| 岚皋县| 普兰店市| 阿拉善右旗| 莆田市| 靖宇县| 兴隆县| 永春县| 根河市| 澄城县| 道真|