動態網頁爬蟲第二道鎖 — Selenium教學:如何使用find_element(s)取得網頁元素(附Python 程式碼)

  1. 定位網頁元素
  2. Selenium函式的使用規則
  3. Selenium函式八大選擇器的使用方法:id、classname、tagname、link_text、XPath 、css_selector

1. 定位網頁元素

程式碼1
圖一、網頁檢視器示意圖。
圖二、點擊鼠標。
動畫一、瀏覽網頁原始碼及對應的區塊。(資料畫面來源:https://www.instagram.com/p/CEYqVrtp1HA/)
動畫二、查找對應的網頁原始碼段落。

2. Selenium函式的使用規則

  1. find_element:抓取符合條件的第一個項目,可搭配By方法。
  2. find_elements:抓取所有符合條件的項目,並回傳成list
  1. ID = id
  2. CLASS_NAME = class_name
  3. NAME = name
  4. LINK_TEXT = link_text
  5. PARTIAL_LINK_TEXT = partial_link_text
  6. TAG_NAME = tag_name
  7. XPATH = xpath
  8. CSS_SELECTOR = css_selector

3. Selenium函式:八大選擇器的使用方法

程式碼2
程式碼3
程式碼4

以下將對 WebDriver提供的八種內建選擇器分別進行說明。

圖三、找到網頁元素包含id屬性者。
程式碼5
<selenium.webdriver.remote.webelement.WebElement (session=”d4de9095fa86aee9883f7c01c3f0b723", element=”35ebc8f8–2381–46b5-b32e-8bdebc65186a”)>
程式碼6
<selenium.webdriver.remote.webelement.WebElement (session=”d4de9095fa86aee9883f7c01c3f0b723", element=”7fe8dafa-bd78–4a7b-801f-df37eeb18346")>
圖四、找到網頁元素包含class屬性者。
程式碼7
圖五、找到網頁元素包含name屬性者。
程式碼8
圖六、Google首頁「關於Google」按鈕的位置標示圖。
圖七、找到網頁元素包含href屬性者,並找到內含的文字內容。
程式碼9
程式碼10
圖八、Google首頁相關按鈕位置標示圖。
圖九、Google首頁相關按鈕網頁原始碼。
程式碼11
圖十、HTML網頁標籤內容示意圖。
程式碼12
  1. 打開網頁檢視器,找到目標網頁元素的內容,如圖十一所示。
圖十一、網頁檢視器示意圖
圖十二、在內容上點擊右鍵。
圖十三、找到選單內Copy清單。
圖十四、點擊Copy XPath。
程式碼13
  1. 「/」改寫成「>」
XPath: //div/aCSS: div > a
XPath: //div//aCSS: div a
XPath: //div[@id=’example’]CSS: #example
XPath: //div[@class=’example’]CSS: .example
歡迎加入我們的Telegram獲取即時訊息!https://t.me/marketingdatascience
歡迎加入我們的Line@獲取即時訊息!https://line.me/R/ti/p/%40cde8265r

您可能有興趣:

📢TMR為您量身打造「全方位數據課程」

【TMR】 X 【 好學校】
👨‍💼Python商業全系列數位課程👨‍💼

#行銷人必學實用Python課程

#實用投資分析課程

#好學校企業百大課程之一:

【TMR】 X 【工研院】
🏭工業4.0大數據智慧應用課程🏭

2020課程地圖

🏆 國內第一本行銷資料科學專書

🏆 國內第一本行銷資料科學 ” 實作 ” 專書

🏆國內第一本「股票小祕書」專書

  1. 天瓏書局:http://bit.ly/stock-secretaryBot
  2. 博客來:https://www.books.com.tw/products/0010833772

--

--

--

Marketing data science. 台灣第一個行銷資料科學(MDS)知識部落,本粉絲專頁在探討行銷資料科學之基礎概念、趨勢、新工具和實作,讓粉絲們瞭解資料科學的行銷運用,並開啟厚植數據分析能力之契機。粉絲專頁:https://www.facebook.com/MarketingDataScienceTMR

Love podcasts or audiobooks? Learn on the go with our new app.

Get the Medium app

A button that says 'Download on the App Store', and if clicked it will lead you to the iOS App store
A button that says 'Get it on, Google Play', and if clicked it will lead you to the Google Play store
行銷資料科學

行銷資料科學

Marketing data science. 台灣第一個行銷資料科學(MDS)知識部落,本粉絲專頁在探討行銷資料科學之基礎概念、趨勢、新工具和實作,讓粉絲們瞭解資料科學的行銷運用,並開啟厚植數據分析能力之契機。粉絲專頁:https://www.facebook.com/MarketingDataScienceTMR

More from Medium

Galaxy A52 5G review — Creative Tech News

A workshop! Interactive, Innovative, and Insightful.

Applications of Computational Geometry

THM — Burp Suite