python爬虫教程及代码

python 爬虫是一种使用 python 语言从网页中提取数据的程序，广泛用于数据收集、网络监控和信息提取。入门 python 爬虫的步骤包括：安装 requests 和 beautifulsoup4 库；选择目标网站并发送 http 请求；解析 html 响应；使用 css 选择器或 xpath 提取所需数据；保存或处理数据。

Python 爬虫教程及代码

什么是 Python 爬虫？

Python 爬虫是一种使用 Python 编程语言自动化从网页中提取数据的计算机程序。它可以广泛用于数据收集、网络监控和信息提取。

入门 Python 爬虫

立即学习“Python免费学习笔记（深入）”；

点击下载“修复打印机驱动工具”；

1. 安装必要的库：

pip install requests
pip install BeautifulSoup4

2. 选择一个目标网站：
选择一个你想爬取数据的网站。例如，假设我们要爬取 Stack Overflow 的问题列表。

3. 发送 HTTP 请求：
使用 requests 库发送一个 HTTP GET 请求到目标 URL：

import requests

url = "https://stackoverflow.com/questions"
response = requests.get(url)

4. 解析 HTML：
使用 BeautifulSoup 库解析 HTML 响应：

from bs4 import BeautifulSoup

soup = BeautifulSoup(response.text, "html.parser")

5. 提取数据：
使用 CSS 选择器或 XPath 从解析后的 HTML 中提取所需的数据：

# 使用 CSS 选择器
questions = soup.select("div.question-summary")

# 使用 XPath
questions = soup.find_all("div", class_="question-summary")

6. 保存或处理数据：
将提取的数据保存到文件或数据库中，或根据需要进一步处理。

完整的 Python 爬虫示例

以下 Python 代码是一个完整的示例，演示如何爬取 Stack Overflow 的问题列表：

import requests
from bs4 import BeautifulSoup

# 发送 HTTP GET 请求
url = "https://stackoverflow.com/questions"
response = requests.get(url)

# 解析 HTML
soup = BeautifulSoup(response.text, "html.parser")

# 提取问题标题
questions = soup.find_all("div", class_="question-summary")
for question in questions:
    title = question.find("a", class_="question-hyperlink").text
    print(title)

这个示例程序将打印 Stack Overflow 上问题列表的标题。你可以根据需要修改代码以提取不同的数据或从不同的网站爬取数据。