從EXCEL VBA到Python開發第8次上課(抓取開放資料CSV檔&將SQL改寫為查詢蔬菜名稱關鍵字&HTML與CSS基礎與擷取JSON格式&json轉存為CSV檔&xml與用ElementTree解析)
01_重點回顧與HTML網頁概說
02_BeautifulSoup安裝與爬蟲基礎
03_用id與class抓取網頁資料
04_範例三練習抓取網頁資料
05_爬取TQCPLUS官網的證照名稱
06_TQCPLUS資料存CSV與爬取YAHOO新聞
07_分兩次爬取ETTODAY新聞
08_下載台銀外匯與存為CSV檔
09_爬蟲其他與ending
完整教學
http://goo.gl/aQTMFS
吳老師教學論壇
http://www.tqc.idv.tw/
教學論壇(之後課程會放論壇上課學員請自行加入)：
https://groups.google.com/forum/#!forum/scu_python111
課程簡介：入門
建置Python開發環境
基本語法與結構控制
迴圈、資料結構及函式
VBA重要函數到Python
檔案處理
資料庫處理
課程簡介：進階
網頁資料擷取與分析、Python網頁測試自動化、YouTube影片下載器
處理 Excel 試算表、處理 PDF 與 Word 文件、處理 CSV 檔和 JSON 資料
實戰：PM2.5即時監測顯示器、Email 和文字簡訊、處理影像圖片、以 GUI 自動化來控制鍵盤和滑鼠
上課用書：
參考書目
Python初學特訓班(附250分鐘影音教學/範例程式)
作者： 鄧文淵/總監製, 文淵閣工作室/編著?
出版社：碁峰 出版日期：2016/11/29
Python程式設計入門
作者：葉難
ISBN：9789864340057
出版社：博碩文化
出版日期：2015/04/02
吳老師 109/8/31
EXCEL,VBA,Python,自強工業基金會,EXCEL,VBA,函數,程式設計,線上教學,PYTHON安裝環境
beautifulsoup xml 在 [問題] Beautifulsoup find_all 找不到符合標籤- 看板Python 的推薦與評價
各位大大好：
小弟目前在學寫python+beautifulsoup+lxml
目前有個練習是讀取一份清單中的資料，來此資料再讀取、辨斷某個xml資料中是否有符合的tag存在：
比如xml中只有<centos>：
<centos>
<name>centos</name>
<version>7</version>
<download-url>https://ftp.ksu.edu.tw/pub/CentOS/7/isos/x86_64/CentOS-7-x86_64-DVD-1511.iso</download-url>
</centos>
並用下面的code讀取xml檔案後並嘗試判斷是否有找到或找不到對應的tag:
from bs4 import BeautifulSoup
soup = BeautifulSoup(open(os.xml))
os = "fedora"
for item in soup.findAll( os ):
print item.tag,item,attrib
if item == "":
print "OS %s not exist in DB"
else:
print "OS %s exist in DB"
看起來並不會執行，如果 os = "centos"，就能抓到對應的資料，但 os = "fedora"不行
求教：
1，如何判斷才是正確的方法？bs的網站說，findall在找不到tag時會return空字串，但我不太理解如何可以判斷空字串？看起來用 == ""是不行的。
2，另外執行python時會有下列錯誤，這個如何解決？
/usr/local/lib/python2.7/site-packages/bs4/__init__.py:166: UserWarning: No parser was explicitly specified, so I'm using the best available HTML parser for this system ("html.parser"). This usually isn't a problem, but if you run this code on another system, or in a different virtual environment, it may use a different parser and behave differently.
To get rid of this warning, change this:
BeautifulSoup([your markup])
to this:
BeautifulSoup([your markup], "html.parser")
markup_type=markup_type))
我有先爬過文，各種解決都不行，比如 BeautifulSoup(markup, "xml")
抱歉問的可能是很基本的問題，感謝指導：D
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 123.194.30.193
※ 文章網址: https://www.ptt.cc/bbs/Python/M.1462443807.A.61D.html
... <看更多>