課程特價中
什麼是網頁爬蟲？
假設你的老闆給了你一個任務，他希望你從一個網站上提取大約 1000 個產品，將資料結構化並儲存到資料庫中，你會手動複製貼上所有的產品細節，包括產品名稱、網址和價格？我可以想像你會工作幾天幾夜，但你不會完成這個任務，所以這就是網頁爬蟲的優勢。因此，網頁爬蟲，或網頁採集或網頁資料提取就像寫一個指令碼，可以在幾分鐘內自動從網站上提取資料！。
為什麼是 LXML 而不是 BeautifulSoup？
LXML 是一個輕量級的 HTML 解析器，即使是最流行的網頁抓取框架（Scrapy）也是建立在LXML之上的，BeautifulSoup 在開放給我們的功能數量上有點過剩，它有更多的功能可以使用，是的，沒錯 然而，在Web Scraping中，大多數時候我們使用 XPath 和 CSS 選擇器來瀏覽和選擇要從HTML網頁（樹）中爬取的內容，所以沒有必要學習新的功能，也沒有必要浪費那麼多時間來熟悉 BeautifulSoup 的 API 和內部架構，此外，LXML在效能方面也比BeautifulSoup好得多。
https://softnshare.com/web-scraping-with-python-using-requests-lxml-splash/
python爬蟲 網址 在 [問題] 新手問爬蟲換分頁但網址不變的情形- 看板Python 的推薦與評價
連假來學爬蟲~XD"
問題超級新手...麻煩餵我關鍵字+鞭小力一點~謝謝!
====
我有6個地區 每個區域有不同的地點
從html裡可以看到不同區域內，裡頭的地點有不同的value
目前我想做的事是「把不同地區的每個地點都爬出來」
爬了一些文章
像這種類似「下一頁」的概念，大概知道關鍵點是「找到網址規律」
遇到的問題是 不同的6個地區 該網站是用下拉選單做的
切換選單內的地區 並不會讓網址改變 囧
研究了他的html 切換不同的區域只會讓 <option select>改變而已
這樣我就不知道如何去取區域內 不同地點的value了@_@|||
請問在網址不變的情況下 我應該怎麼去爬蟲呢？
謝謝!
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 118.166.214.220
※ 文章網址: https://www.ptt.cc/bbs/Python/M.1465556140.A.584.html
下拉選單1（地區） 下拉選單2（不同地區內的地點）
改了下拉選單1 選點2的應的地點就會改變
M大說的取下拉選單1的值是可以做到的
試一下M大後面說的再爬一次該網址怎麼做+_+~
感謝回覆
※ 編輯: relievezaoc (118.166.214.220), 06/10/2016 19:13:09
感謝M大、S大、B大以及R大的回覆及幫忙!!
成功解決~\A口A>
※ 編輯: relievezaoc (118.166.214.220), 06/11/2016 00:10:17
... <看更多>