作者Carlchen (backenfuerLily)
看板Python
標題[問題] Selenium locating elements Dcard
時間Sat May 7 13:47:44 2016
我想要做到的是
step1.自動登入Dcard
step2.進入抽卡的page
step3.save page
一開始上網查到mechanize這個工具
https://wwwsearch.sourceforge.net/mechanize/documentation.html
不過在step1就卡關，因為
https://www.dcard.tw/login
找不到<form>的tag
所以我放棄了mechanize，上網查到了selenium這個工具
https://selenium-python.readthedocs.io/
用find_element_by_XXX()的方法做完了step1
不過在step2又卡關了
如圖
抽卡的page是在點擊紅色圈圈處會到的page
而紅色圈圈處對應的code是紅色框框處
我試過了
find_element_by_partial_link_text('card')
find_element_by_class_name('fa-book')
find_element_by_css_selector('i.fa.fa-book')
find_element_by_css_selector('i.fa-book')
結果都是
NoSuchElementException: Message: Unable to locate
element: {"method":"METHOD_NAME","selector":"XXX"}
而
find_element_by_class_name('fa fa-book')
結果是
InvalidSelectorException: message: The given selector
fa fa-book is either invalid or does not result in a WebElement.
The following error occurred:
InvalidSelectorError: Compound class names not permitted
請問大家這是發生了什麼問題？find_element_by_XXX()應該要怎麼寫？
還是用別的方法來寫會比較好寫？
假如後來有順利寫完step1~step3，有辦法排程讓程式每天固定執行一次嗎？
另外想問如果用jQuery做我這個需求會更簡單，更好做嗎？
以上謝謝
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 122.147.21.11
※ 文章網址: https://www.ptt.cc/bbs/Python/M.1462600069.A.E3A.html
※ 編輯: Carlchen (122.147.21.11), 05/07/2016 13:50:01
→ s860134: fa05/07 16:55
s86大，你說的是find_element_by_class_name('fa')嗎？這個我有試過，只是它回傳的是第一個出現class='fa'的地方，也就是會到feedback的pa
ge，可惜不是我要前往的page
→ s860134: 因為他只吃 class name 所以你可以換成用 css_selector 05/07 19:03
→ s860134: find_element_by_css_selector( 05/07 19:04
→ s860134: '''li[ng-click="onClickNavigationItem('dcard')"]') 05/07 19:04
剛剛試了這個find_element_by_css_selector(
'li[ng-click*="onClickNavigationItem(\'dcard\')"]')
還是 NoSuchElementException...
不知道是怎麼回事@@
→ s860134: 剛剛測試應該是他頁面是動態生成，所以你必須要有等待 05/08 11:23
→ s860134: 這是剛剛寫的你參考看看 https://i.imgur.com/mnbLRan 05/08 11:29
→ s860134: 至於排程這也不難 如果是 windows 用內建的就好 05/08 11:30
→ s860134: 附屬應用程式＞系統工具＞工作排程器＞建立工作 05/08 11:33
→ s860134: 觸發程序>設定時間 動作設定 python 執行 scrpit 05/08 11:35
謝謝s大的幫忙，剛剛試過了，是OK的不過動態生成是什麼我不知道@@
另外還有個問題，selenium的作法是要打開browser
如果在server上跑(純文字介面)，是不是就不會work了？可能要用別的工具來寫？
→ AndCycle: 你要用 PhantomJS 之類的東西 05/08 17:14
噓 peace9527: 迪卡好像不太想要使用者截抽到的卡的圖 05/08 19:54
謝謝指教喔～如果我只是想要截圖，我就不會上來問了XD※ 編輯: Carlchen (122.147.21.11), 05/08/2016 20:32:16
→ s860134: AndCycle 有提到 PhantomJS selenium 是有支援 05/08 22:21
→ s860134: 可以解決你要在伺服器執行，動態生成是指並不是一次傳給 05/08 22:22
→ s860134: 你整個做好的網頁，而是給瀏覽器程式碼去執行和呈現 05/08 22:24
... <看更多>
可惜不是你dcard 在 [問題] Selenium locating elements Dcard - 看板Python - 批踢踢 ... 的推薦與評價
我想要做到的是
step1.自動登入Dcard
step2.進入抽卡的page
step3.save page
一開始上網查到mechanize這個工具
https://wwwsearch.sourceforge.net/mechanize/documentation.html
不過在step1就卡關，因為
https://www.dcard.tw/login
找不到<form>的tag
所以我放棄了mechanize，上網查到了selenium這個工具
https://selenium-python.readthedocs.io/
用find_element_by_XXX()的方法做完了step1
不過在step2又卡關了
如圖
抽卡的page是在點擊紅色圈圈處會到的page
而紅色圈圈處對應的code是紅色框框處
我試過了
find_element_by_partial_link_text('card')
find_element_by_class_name('fa-book')
find_element_by_css_selector('i.fa.fa-book')
find_element_by_css_selector('i.fa-book')
結果都是
NoSuchElementException: Message: Unable to locate
element: {"method":"METHOD_NAME","selector":"XXX"}
而
find_element_by_class_name('fa fa-book')
結果是
InvalidSelectorException: message: The given selector
fa fa-book is either invalid or does not result in a WebElement.
The following error occurred:
InvalidSelectorError: Compound class names not permitted
請問大家這是發生了什麼問題？find_element_by_XXX()應該要怎麼寫？
還是用別的方法來寫會比較好寫？
假如後來有順利寫完step1~step3，有辦法排程讓程式每天固定執行一次嗎？
另外想問如果用jQuery做我這個需求會更簡單，更好做嗎？
以上謝謝
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 122.147.21.11
※ 文章網址: https://www.ptt.cc/bbs/Python/M.1462600069.A.E3A.html
※ 編輯: Carlchen (122.147.21.11), 05/07/2016 13:50:01
這個我有試過，只是它回傳的是第一個出現class='fa'的地方，也就是會到feedback的pa
ge，可惜不是我要前往的page
find_element_by_css_selector(
'li[ng-click*="onClickNavigationItem(\'dcard\')"]')
還是 NoSuchElementException...
不知道是怎麼回事@@
不過動態生成是什麼我不知道@@
另外還有個問題，selenium的作法是要打開browser
如果在server上跑(純文字介面)，是不是就不會work了？可能要用別的工具來寫？
※ 編輯: Carlchen (122.147.21.11), 05/08/2016 20:32:16
... <看更多>