跟著IG潮流來爬蟲 — 如何爬取IG貼文讚數&留言數 — 系列3(附Python程式碼)

(資料畫面來源:https://www.instagram.com/p/CE_vJOwMUZR/

為何要爬 Instagram 貼文的讚數與留言數呢?

接下來,我們就開始教各位如何獲取這些資料吧!!

網頁檢視器概念說明

圖一、網頁檢視器(資料畫面來源:https://www.instagram.com/bbcnews/
圖二、點擊網頁元素選項(資料畫面來源:https://www.instagram.com/bbcnews/
圖三、檢測元素的鼠標(資料畫面來源:https://www.instagram.com/bbcnews/

尋找

圖四、有些貼文為影片或IGTV,會出現觀看次數,但是不會影響抓取內容以及後續分析(資料畫面來源:https://www.instagram.com/bbcnews/
圖五、取得貼文的網頁元素(資料畫面來源:https://www.instagram.com/bbcnews/
動畫一、滑鼠移到貼文上方才能找到其元素(資料畫面來源:https://www.instagram.com/bbcnews/

但,您可能心中會有個疑問 :

可是我沒有兩隻滑鼠可以用啊!
那我們應該如何才能找到它們的元素呢?

圖六、讚數及貼文數的所在位置(資料畫面來源:https://www.instagram.com/bbcnews/
  1. 動態網頁爬蟲第一道鎖 — Selenium教學:如何使用Webdriver、send_keys(附Python 程式碼)
  2. 動態網頁爬蟲第二道鎖 — Selenium教學:如何使用find_element(s)取得網頁元素(附Python 程式碼)

開始爬取貼文讚數及留言數

程式碼 1
程式碼 2
程式碼 3

以上程式碼解析

  1. 前往特定貼文頁面,如下程式碼。
url = 'https://www.instagram.com/bbcnews/'
browser.get(url) # 前往該網址
post_url = '/p/CEriQnOMwW9/'
# 找到對應的貼文,鼠標移入
post_elem = browser.find_element_by_xpath('//a[@href="'+str(post_url)+'"]')
action = ActionChains(browser) action.move_to_element(post_elem).perform()
# 找到需要的網頁元素
n_like_elem = browser.find_elements_by_class_name('-V_eO')
# 取得讚數、留言數
n_like = n_like_elem[0].text
n_comment = n_like_elem[1].text

這時我們再回到網頁元素的地方來觀察,要從哪裡來抓取讚數與貼文數的內容呢?

圖七、讚數與貼文數的網頁元素

目前為止需要的東西已經到手了,但…還沒完!
如果現在 browser 的畫面中看不到欲爬取的那篇貼文,電腦也是找不到的喔~

find = False
# 不在目前的網頁元素裡,則往下滑,加載新貼文
while not find:
try:
----------------------
取得讚數及留言數的程式內容
----------------------
# 找到之後就可以回傳‘找到了’
find = True
except:
# 找不到就往下滑
scroll = 'window.scrollBy(0,250)'
browser.execute_script(scroll)
continue
  1. FB 爬蟲可以更簡單-用Selenium自動登入FB-系列1(附Python程式碼)
  2. 好奇自己FB的互動性指標嗎?!用Selenium爬蟲-搞定貼文按讚數、留言數、分享數-系列2(附Python程式碼)
  3. 用Selenium爬蟲-抓取FB文章內容、時間-系列3(附Python程式碼)
  4. 跟著IG潮流來爬蟲-用Selenium帶您自動登入 IG -系列1(附Python程式碼)
  5. 跟著IG潮流來爬蟲 — 如何爬取IG貼文短連結 — 系列2(附Python程式碼)
歡迎加入我們的Telegram獲取即時訊息!https://t.me/marketingdatascience
歡迎加入我們的Line@獲取即時訊息!https://line.me/R/ti/p/%40cde8265r

您可能有興趣:

📢TMR全新線上直播課程

👨‍🎓TMR為您量身打造「全方位數據課程」

【TMR】 X 【 好學校】
👨‍💼Python商業全系列數位課程👨‍💼

#行銷人必學實用Python課程

--

--

--

Marketing data science. 台灣第一個行銷資料科學(MDS)知識部落,本粉絲專頁在探討行銷資料科學之基礎概念、趨勢、新工具和實作,讓粉絲們瞭解資料科學的行銷運用,並開啟厚植數據分析能力之契機。粉絲專頁:https://www.facebook.com/MarketingDataScienceTMR

Love podcasts or audiobooks? Learn on the go with our new app.

Get the Medium app

A button that says 'Download on the App Store', and if clicked it will lead you to the iOS App store
A button that says 'Get it on, Google Play', and if clicked it will lead you to the Google Play store
行銷資料科學

行銷資料科學

Marketing data science. 台灣第一個行銷資料科學(MDS)知識部落,本粉絲專頁在探討行銷資料科學之基礎概念、趨勢、新工具和實作,讓粉絲們瞭解資料科學的行銷運用,並開啟厚植數據分析能力之契機。粉絲專頁:https://www.facebook.com/MarketingDataScienceTMR

More from Medium

NaXum Reviews: 3 Keys To Creating A Remarkable Referral Marketing Channel

Best SEO toll & marketing

Affiliate Marketing tips and strategies

Colour Models in Digital Art