Python爬蟲入門:股票範例的網路爬蟲教學

數據是我們的新石油,但與石油不同的是,數據在網路上隨處可得。要取得這些數據,我們通常需要透過網路爬蟲來獲取,這也是為何Python網路爬蟲技術如此重要的原因。本文將以股票數據為例,提供一個Python爬蟲的基本教學。


什麼是爬蟲?

網路爬蟲(Web Crawler),也稱作網路蜘蛛(spider)、機器人(bot)或自動索引器,是一種自動瀏覽世界廣網的網際網路機器人。網路爬蟲的主要功能是抓取網頁資料,並從這些資料中提取有用資訊或索引,讓用戶能夠輕易地檢索這些資訊。

網路爬蟲的主要特點和功能包括:

  1. 自動化訪問網頁:爬蟲可以模仿人類瀏覽器行為,自動訪問並抓取指定的網頁。
  2. 大量抓取:爬蟲能夠在短時間內訪問並抓取大量網頁,遠超過人工操作的能力。
  3. 資料提取:從抓取的網頁中提取有用的資訊,例如文字、圖片、影片、連結等。
  4. 資料儲存:將提取的資料儲存到本地或雲端資料庫中,供後續分析和處理使用。
  5. 連結追蹤:爬蟲能追蹤網頁中的超連結,並訪問這些連結所指向的新網頁,實現網路的廣泛抓取。

網路爬蟲的應用範圍

  • 搜尋引擎:如Google、Bing等搜尋引擎使用爬蟲來收集網頁資訊,建立大型的網頁索引。
  • 資料挖掘:爬蟲用於收集特定領域的資料(如財經資訊、社交媒體資料),進行資料分析和挖掘。
  • 價格監控:用於追蹤電商平台的商品價格變化,進行市場分析。
  • 內容彙整:自動收集新聞、部落格等內容,提供彙整服務。

爬蟲的基本工作流程

爬蟲的基本工作流程可以分為以下四個步驟:

  1. 發送HTTP請求:爬蟲首先會向目標網站的伺服器發送一個HTTP請求。這個請求通常是GET請求,目的是取得網頁的內容。
  2. 接收並解析響應:伺服器收到請求後,會返回一個HTTP響應。這個響應中包含了網頁的HTML內容。爬蟲收到響應後,會解析HTML,找出需要的數據。
  3. 提取數據:爬蟲解析HTML後,會使用特定的規則(例如XPath或CSS選擇器)來提取出需要的數據。
  4. 儲存數據:提取出的數據通常會被儲存到一個數據庫或一個檔案中。

Python爬蟲工具

Python有多種爬蟲框架和函式庫可以使用,其中最知名的包括Scrapy、BeautifulSoup和requests等。

Python 自學,給初學者快速上手的7個學習資源和工具

requests

requests是Python中用來發送HTTP請求的函式庫。它支援各種HTTP方法(如GET、POST等),並允許我們定制請求頭、處理cookies等。

BeautifulSoup

BeautifulSoup是Python中用來解析HTML並提取數據的函式庫。它將HTML文檔轉化為一個樹狀結構,我們可以使用各種方法(例如標籤名、CSS選擇器等)來查找和提取節點。

Scrapy

Scrapy是一個強大的爬蟲框架,它提供了許多方便的功能,如請求管理、數據管道、中間件接口等。儘管它的學習曲線較陡,但對於複雜的爬蟲項目,Scrapy無疑是一個好選擇。

Selenium

Selenium主要用於測試網頁應用,但也常被用於爬取JavaScript生成的動態內容。能夠模擬瀏覽器行為,如點擊、滾動等。

從資料分析入門課開始建立數據思維,4 週養成數據洞察力與實戰問題解決力


以股票為例的Python爬蟲教學

下面,我們將以股票數據為例,實戰演示如何用Python和requests、BeautifulSoup兩個函式庫實現一個簡單的爬蟲。我們將抓取Yahoo財經的股票價格數據。

首先,我們需要安裝requests和BeautifulSoup兩個函式庫。我們可以使用pip命令來安裝:

pip install requests
pip install beautifulsoup4

接著,我們將發送一個HTTP GET請求至目標網站,然後使用BeautifulSoup來解析返回的HTML內容。

import requests
from bs4 import BeautifulSoup

url = 'https://finance.yahoo.com/quote/AAPL'

# 發送HTTP請求
response = requests.get(url)

# 用BeautifulSoup解析HTML
soup = BeautifulSoup(response.text, 'html.parser')

現在,我們已經有了網頁的HTML內容,接下來就是找到我們需要的數據,也就是股票價格所在的HTML元素。

我們可以打開瀏覽器,前往Yahoo財經的蘋果公司股票頁面,然後找到顯示股票價格的部分,右鍵點擊並選擇檢查元素。這會打開瀏覽器的開發者工具,並且會高亮顯示我們右鍵點擊的HTML元素。

在這個例子中,我們看到股票價格被包裹在一個<div>標籤內,並且這個<div>標籤有一個名為”My(6px) Pos(r) smartphone_Mt(6px)”的class。現在,我們可以用BeautifulSoup來查找這個元素:

price_div = soup.find('div', {'class': 'My(6px) Pos(r) smartphone_Mt(6px)'})

注意到這個<div>標籤內有兩個<span>標籤,股票價格就在第二個<span>標籤裡。我們可以用.find_all()來找到所有的<span>標籤,並選擇第二個:

price = price_div.find_all('span')[1].text

現在,我們已經成功地抓取了股票價格。我們可以把它print出來:

print('AAPL current price:', price)

這就是一個基本的BeautifulSoup爬蟲的實例。然而,實際的網頁結構可能會比這個例子更複雜,你可能需要使用更多的BeautifulSoup功能來定位和提取所需的數據。

在實戰中,你可能會遇到各種挑戰,例如動態載入的內容、反爬機制等等。不過,只要你熟練地掌握了Python和BeautifulSoup,就能克服這些挑戰,成功地抓取所需的數據。

最後,我們需要注意,在使用爬蟲的同時,我們應尊重網站的使用條款,並避免對網站伺服器造成過大的負荷。在某些情況下,網站可能會明確禁止使用爬蟲。在這種情況下,我們應尋找其他方法來獲取數據,例如使用官方的API。


結語

本文介紹了Python爬蟲的基本概念和工具,並以股票數據為例,提供了一個實戰教學。希望透過這個教學,你可以對Python爬蟲有一個初步的理解,並能夠開始你的Python爬蟲學習之旅。

網路爬蟲是一個非常強大的工具,可以讓我們獲取大量的網路數據。但是,也要注意,我們在使用爬蟲的時候,必須尊重網站的使用規則,並避免對網站伺服器造成過大的負荷。

最後,祝你在Python爬蟲的學習路途上順利!