万博max手机版|首页欢迎您!

  • <tr id='x7Z9WK'><strong id='x7Z9WK'></strong><small id='x7Z9WK'></small><button id='x7Z9WK'></button><li id='x7Z9WK'><noscript id='x7Z9WK'><big id='x7Z9WK'></big><dt id='x7Z9WK'></dt></noscript></li></tr><ol id='x7Z9WK'><option id='x7Z9WK'><table id='x7Z9WK'><blockquote id='x7Z9WK'><tbody id='x7Z9WK'></tbody></blockquote></table></option></ol><u id='x7Z9WK'></u><kbd id='x7Z9WK'><kbd id='x7Z9WK'></kbd></kbd>

    <code id='x7Z9WK'><strong id='x7Z9WK'></strong></code>

    <fieldset id='x7Z9WK'></fieldset>
          <span id='x7Z9WK'></span>

              <ins id='x7Z9WK'></ins>
              <acronym id='x7Z9WK'><em id='x7Z9WK'></em><td id='x7Z9WK'><div id='x7Z9WK'></div></td></acronym><address id='x7Z9WK'><big id='x7Z9WK'><big id='x7Z9WK'></big><legend id='x7Z9WK'></legend></big></address>

              <i id='x7Z9WK'><div id='x7Z9WK'><ins id='x7Z9WK'></ins></div></i>
              <i id='x7Z9WK'></i>
            1. <dl id='x7Z9WK'></dl>
              1. <blockquote id='x7Z9WK'><q id='x7Z9WK'><noscript id='x7Z9WK'></noscript><dt id='x7Z9WK'></dt></q></blockquote><noframes id='x7Z9WK'><i id='x7Z9WK'></i>
                設計 任務書 論文 開題 答辯 說明書 格式 模板 外文 翻譯 範文 資料 作品 文獻 課程 實習 指導 調研 下載 網絡教育 計算機 網站 網頁 小程序 商城 購物 訂餐 電影 安卓 Android Html Html5 SSM SSH Python 爬蟲 大數據 管理系統 圖書 校園網 考試 選題 網絡安全 推薦系統 機械 模具 夾具 自動化 數控 車床 汽車 故障 診斷 電機 建模 機械手 去殼機 千斤頂 變速器 減速器 圖紙 電氣 變電站 電子 Stm32 單片機 物聯網 監控 密碼鎖 Plc 組態 控制 智能 Matlab 土木 建築 結構 框架 教學樓 住宅樓 造價 施工 辦公樓 給水 排水 橋梁 剛構橋 水利 重力壩 水庫 采礦 環境 化工 固廢 工廠 視覺傳達 室內設計 產品設計 電子商務 物流 盈利 案例 分析 評估 報告 營銷 報銷 會計
                 首 頁 機械畢業設計 mile米乐集团 計算機畢業設計 土木工程畢業設計 視覺傳達畢業□ 設計 理工論文 文科論文 畢設資料 幫助中心 設計流程 
                墊片
                您現在所在的√位置:首頁 >>幫助中心 >> 文章內容
                                 
                墊片
                   我們提供全套●畢業設計和mile米乐体育服務,聯系點¤擊這裏給我發消息   1257590467   
                Python+scrapyd服務部署爬蟲項目部署運行
                文章來源:www.biyezuopin.cc   發布者:mile米乐集团  

                目錄

                                     

                一、需要安裝scrapyd==2.0  scrapyd-client==2.0a1

                二、啟動scrapyd服務

                三、配置爬蟲項目(scrapy.cfg文件中配置)

                四、開始向scrapyd中部署項▓目

                4.1、新打開cmd窗口執行命令!

                4.2、進入scrapy:workon  scrapy的名字

                4.3、進入需要部署的項目根目錄:cd 根目錄地址

                4.4、通過scrapyd-deploy命令測試scrapyd-deploy是否可用。

                4.5、查看當∮前可用於部署到scrapyd服務中的爬蟲有哪些。

                4.6、命令scrapy list用來查看當前項目中,可用的爬蟲。

                4.7、列舉scrapyd服務中已▃經部署的爬蟲項目:

                4.8、上傳項目(重點):

                4.9、查詢當前項目中的爬蟲◥個數

                4.10、啟動爬蟲

                4.11、關閉(取消)爬蟲

                4.12、打包爬蟲項目①到scrapyd服務(打包後)——同4.8(文檔多做了一步!!!)

                4.13、註意瀏覽器中查看(scrapyd提供了一個查看界面!)

                4.14、其他操作api(刪除項目),查看官方文檔

                一、需要安裝scrapyd==2.0  scrapyd-client==2.0a1

                命令:pip install scrapyd==1.2.0   pip install scrapyd-client==1.2.0a1

                註意:如何查詢最新版本 ==後面輸入一個沒有的版本運行,會報錯同時會提示不同的版本!!

                運行安裝後,查看:

                二、啟動scrapyd服務

                啟動後不要關閉,要基於scrapyd服務來運行後面的部署和爬蟲。(後面的命令新打開cmd窗口!!)

                三、配置爬蟲項目(scrapy.cfg文件中配置)

                四、開始向scrapyd中部署項目

                4.1、新打開cmd窗口執行命令!

                4.2、進入scrapy:workon  scrapy的名字

                4.3、進入需要部署的項目根目錄:cd 根目錄地址

                4.4、通過scrapyd-deploy命令測試scrapyd-deploy是否可用。

                命令:scrapyd-deploy

                4.5、查看當前可用於部署到scrapyd服務中的爬蟲有哪些。

                命令:scrapyd-deploy -l

                參數1: [deploy: jobbole]

                參數2: scrapy.cfg文中中的url

                4.6、命令scrapy list用來查看當前項目中,可用的爬蟲。

                命令:scrapy list

                可能會報錯:

                4.7、列舉scrapyd服務中已經部署的爬蟲項目:

                命令:curl http://localhost:6800/listprojects.json

                兩種情況:沒有項目 ,  有項目

                註意:cmd運行時可能會報錯——curl不是內部⊙文件..,解決方式網址:

                (依照操作下載解壓縮到相應的位置如下圖,配置就OK!)

                4.8、上傳項目(重點):

                命令:scrapyd-deploy jobbole –p bole

                註意:區分兩個名字;自定義上傳後的名字『是後面主要使用的!

                status: 上傳至scrapyd的狀態
                project: 上傳的項目名稱
                version: 此次上傳項目的版本號,因為項目可以多次打包上傳,每次上傳都會有不同的版本號
                spiders: 該項目中包含的爬蟲個數

                4.9、查詢當前項目中的爬蟲個數

                命令:curl http://localhost:6800/listspiders.json?project=bole

                註意:結果中的名字是一個爬蟲文件有多個爬▆蟲項目name=’   ’中的名字!!

                4.10、啟動爬蟲

                命令:curl -d project=bole -d spider=bole

                4.11、關閉(取消)爬蟲

                命令:curl http://localhost:6800/cancel.json -d project=bole -d job=53cf9f428a6911e88b11005056c00008

                上述幾步可能會有一個錯誤如下圖(嘗試下面的解決辦法!!):

                import sys
                reload(sys)
                sys.setdefaultencoding('utf-8')

                4.12、打包爬蟲項目到scrapyd服務(打包後)——同4.8(文檔多做了一步!!!)

                命令:scrapyd-deploy jobbole -p testbole

                註意:jobbole是[deploy:jobbole]

                testbole是自∏定義的

                4.13、註意瀏覽器中查看(scrapyd提供了一個查看界面!)

                4.14、其他操作api(刪除項目),查看官方文檔

                地址:#

                  全套畢業設計論文現成成品資料請咨詢點擊這裏給我發消息1257590467      返回首頁 如轉載請註明來源於www.biyezuopin.cc  

                                 

                打印本頁 | 關閉窗口
                本類最新文章
                Eclipse for pyth Python+scrapyd服務 Python+Flask項目部署
                Python+Django項目部 Python完整環境的搭建(Li Python完整環境的搭建(wi
                | 關於我們 | 友情鏈接 | 畢業設計招聘 |

                Email:biyeshejiba@163.com 在線QQ:   1257590467 mile米乐集团  
                本站畢業設計mile米乐体育資料均屬原創者所有,僅供學習交流之用,請勿轉載並做其他非法用◥途.如有侵犯您的版權有損您的利益,請聯系我們會立即改正或刪除有關內容!
                蜀ICP備10201305號-4

                mile米乐集团bms-sports.net

                mile米乐集团bms-sports.net