dz1984 / eia_crawler Goto Github PK
View Code? Open in Web Editor NEWCrawl the EIA reports via Scrapy.
eia_crawler's People
Contributors
Watchers
Forkers
g0veia_crawler's Issues
調整csv檔的Header
自訂CSV檔案Header，讓人淺顯易懂。
__VIEWSTATE
Add __VIEWSTATE value of form data to each parse.
環評書件欄位資料錯誤
案號與欄位不符合，下列資料很明顯發現重複寫入CSV檔案。
1030121T,說明書,姜樹成,臺中市,1030325,臺中市政府經濟發展局,園區之開發,公頃,,1030311,審查中,臺中市政府,-,14.78,初審中,14.78
1030114T,說明書,姜樹成,臺中市,1030325,臺中市政府經濟發展局,園區之開發,公頃,,1030311,審查中,臺中市政府,-,14.78,初審中,14.78
1030112A,說明書,姜樹成,臺中市,1030325,臺中市政府經濟發展局,園區之開發,公頃,,1030311,審查中,臺中市政府,-,14.78,初審中,14.78
1030111D,說明書,姜樹成,臺中市,1030325,臺中市政府經濟發展局,園區之開發,公頃,,1030311,審查中,臺中市政府,-,14.78,初審中,14.78
1030111X,說明書,姜樹成,臺中市,1030325,臺中市政府經濟發展局,園區之開發,公頃,,1030311,審查中,臺中市政府,-,14.78,初審中,14.78
1030104T,說明書,姜樹成,臺中市,1030325,臺中市政府經濟發展局,園區之開發,公頃,,1030311,審查中,臺中市政府,-,14.78,初審中,14.78
1030104X,說明書,姜樹成,臺中市,1030325,臺中市政府經濟發展局,園區之開發,公頃,,1030311,審查中,臺中市政府,-,14.78,初審中,14.78
1030102A,說明書,姜樹成,臺中市,1030325,臺中市政府經濟發展局,園區之開發,公頃,,1030311,審查中,臺中市政府,-,14.78,初審中,14.78
1030094D,說明書,姜樹成,臺中市,1030325,臺中市政府經濟發展局,園區之開發,公頃,,1030311,審查中,臺中市政府,-,14.78,初審中,14.78
1030093A,說明書,姜樹成,臺中市,1030325,臺中市政府經濟發展局,園區之開發,公頃,,1030311,審查中,臺中市政府,-,14.78,初審中,14.78
1030091E,說明書,姜樹成,臺中市,1030325,臺中市政府經濟發展局,園區之開發,公頃,,1030311,審查中,臺中市政府,-,14.78,初審中,14.78
1030091T,說明書,姜樹成,臺中市,1030325,臺中市政府經濟發展局,園區之開發,公頃,,1030311,審查中,臺中市政府,-,14.78,初審中,14.78
1030084X,說明書,姜樹成,臺中市,1030325,臺中市政府經濟發展局,園區之開發,公頃,,1030311,審查中,臺中市政府,-,14.78,初審中,14.78
1030083A,說明書,姜樹成,臺中市,1030325,臺中市政府經濟發展局,園區之開發,公頃,,1030311,審查中,臺中市政府,-,14.78,初審中,14.78
1030083E,說明書,姜樹成,臺中市,1030325,臺中市政府經濟發展局,園區之開發,公頃,,1030311,審查中,臺中市政府,-,14.78,初審中,14.78
1030081D,說明書,姜樹成,臺中市,1030325,臺中市政府經濟發展局,園區之開發,公頃,,1030311,審查中,臺中市政府,-,14.78,初審中,14.78
1030081T,說明書,姜樹成,臺中市,1030325,臺中市政府經濟發展局,園區之開發,公頃,,1030311,審查中,臺中市政府,-,14.78,初審中,14.78
增加缺少資訊
當環評書通過後，就會有環境敏感區位資料可以抓。
待辨事項
- 環境敏感區位
- Details缺少名稱
- Lists資料的Status欄位，有些資料過長，出現
…，應修正。Ex:審核修正…,商維庭,台9線南迴公路拓寬改善後續計畫第二次環境影響差異分析報告,,環保署,差異分析報告,1021223A
詳細資料少案件編號
環評書件詳細資料少了將案件編號也儲存下來，使得CSV檔打開，找不到對應Key值。
環評書件欄位資料缺少
部份環評書件確實存在，但Crawler沒有抓到對應欄位，共計11筆。
1021414A,,,,,,,,,,,,,,,
1021424A,,,,,,,,,,,,,,,
1021393A,,,,,,,,,,,,,,,
1021404A,,,,,,,,,,,,,,,
1020474D,,,,,,,,,,,,,,,
1020461X,,,,,,,,,,,,,,,
1020351X,,,,,,,,,,,,,,,
1020331B,,,,,,,,,,,,,,,
1020351A,,,,,,,,,,,,,,,
1020351D,,,,,,,,,,,,,,,
1010314F,,,,,,,,,,,,,,,
書件摘要資料
Recommend Projects
-
React
A declarative, efficient, and flexible JavaScript library for building user interfaces.
-
Vue.js
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
-
Typescript
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
-
TensorFlow
An Open Source Machine Learning Framework for Everyone
-
Django
The Web framework for perfectionists with deadlines.
-
Laravel
A PHP framework for web artisans
-
D3
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
-
Recommend Topics
-
javascript
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
-
web
Some thing interesting about web. New door for the world.
-
server
A server is a program made to process requests and deliver data to clients.
-
Machine learning
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
-
Visualization
Some thing interesting about visualization, use data art
-
Game
Some thing interesting about game, make everyone happy.
Recommend Org
-
Facebook
We are working to build community through open source technology. NB: members must have two-factor auth.
-
Microsoft
Open source projects and samples from Microsoft.
-
Google
Google ❤️ Open Source for everyone.
-
Alibaba
Alibaba Open Source for everyone
-
D3
Data-Driven Documents codes.
-
Tencent
China tencent open source team.