跟著IG潮流來爬蟲-如何爬取IG貼文短連結-系列2(附Python程式碼)

為何需要爬取貼文短連結呢?

(資料畫面來源:https://www.instagram.com/p/CGTFa-EHt2q/

接下來,我們就開始教各位如何獲取這些短連結的資料吧!!

網頁檢視器概念說明

圖一、網頁檢視器(資料畫面來源:https://www.instagram.com/bbcnews/
圖二、點擊網頁元素選項(資料畫面來源:https://www.instagram.com/bbcnews/
圖三、檢測元素的鼠標(資料畫面來源:https://www.instagram.com/bbcnews/

尋找短連結所在位置

圖四、貼文短連結顯示處(資料畫面來源:https://www.instagram.com/bbcnews/
圖五、點擊貼文區塊元素(資料畫面來源:https://www.instagram.com/bbcnews/
圖六、貼文短連結網頁元素

知道了貼文短連結的所在位置之後,我們就可以開始把他們抓下來囉!

開始爬取貼文的短連結

以上程式碼解析

由於 Instagram 是一個動態加載的網頁,若沒有將網頁下滑就會無法加載較底下的貼文

for i in range(n_scroll):
scroll = 'window.scrollTo(0, document.body.scrollHeight);'    browser.execute_script(scroll)
html = browser.page_source 
soup = Soup(html, ‘lxml’)
圖七、貼文短連結標籤位置
soup.select('article div div div div a')
# 尋找所有的貼文連結
for elem in soup.select('article div div div div a'):
if elem['href'] not in post_url:
post_url.append(elem['href'])
  1. FB 爬蟲可以更簡單-用Selenium自動登入FB-系列1(附Python程式碼)
  2. 好奇自己FB的互動性指標嗎?!用Selenium爬蟲-搞定貼文按讚數、留言數、分享數-系列2(附Python程式碼)
  3. 用Selenium爬蟲-抓取FB文章內容、時間-系列3(附Python程式碼)
歡迎加入我們的Telegram獲取即時訊息!https://t.me/marketingdatascience
歡迎加入我們的Line@獲取即時訊息!https://line.me/R/ti/p/%40cde8265r

您可能有興趣:

📢TMR全新線上直播課程

👨‍🎓TMR為您量身打造「全方位數據課程」

【TMR】 X 【 好學校】
👨‍💼Python商業全系列數位課程👨‍💼

#行銷人必學實用Python課程

#實用投資分析課程

#好學校企業百大課程之一:

【TMR】 X 【工研院】
🏭工業4.0大數據智慧應用課程🏭

2020課程地圖

🏆 國內第一本行銷資料科學專書

🏆 國內第一本行銷資料科學 ” 實作 ” 專書

🏆國內第一本「股票小祕書」專書

  1. 天瓏書局:http://bit.ly/stock-secretaryBot
  2. 博客來:https://www.books.com.tw/products/0010833772

--

--

--

Marketing data science. 台灣第一個行銷資料科學(MDS)知識部落,本粉絲專頁在探討行銷資料科學之基礎概念、趨勢、新工具和實作,讓粉絲們瞭解資料科學的行銷運用,並開啟厚植數據分析能力之契機。粉絲專頁:https://www.facebook.com/MarketingDataScienceTMR

Love podcasts or audiobooks? Learn on the go with our new app.

Get the Medium app

A button that says 'Download on the App Store', and if clicked it will lead you to the iOS App store
A button that says 'Get it on, Google Play', and if clicked it will lead you to the Google Play store
行銷資料科學

行銷資料科學

Marketing data science. 台灣第一個行銷資料科學(MDS)知識部落,本粉絲專頁在探討行銷資料科學之基礎概念、趨勢、新工具和實作,讓粉絲們瞭解資料科學的行銷運用,並開啟厚植數據分析能力之契機。粉絲專頁:https://www.facebook.com/MarketingDataScienceTMR

More from Medium

First of all…

Outliers — Book Review

Projected standings

Let data “speak for itself”