vscode写python爬虫教程

创建 python 爬虫步骤：创建虚拟环境：在 vs code 中，使用 python: create virtual environment 命令。激活虚拟环境：在终端中，输入 source .venv/bin/activate。安装爬虫库：使用 pip 安装 requests 和 beautifulsoup4 库。创建 python 爬虫：导入库、定义 url、发送请求、解析 html 内容并提取信息。

VS Code 中创建 Python 爬虫教程

创建虚拟环境

1. 打开 VS Code，按 Ctrl + Shift + P（macOS 为 Cmd + Shift + P）打开命令面板。
2. 输入 “Python: Create Virtual Environment” 并回车。
3. 选择要创建的环境的目录，然后按回车。这将在该目录中创建一个名为 .venv 的虚拟环境。

激活虚拟环境

1. 在 VS Code 中打开终端（Ctrl + Shift + ~ 或 Cmd + Shift + ~）。
2. 输入 “source .venv/bin/activate” 并回车。

安装爬虫库

立即学习“Python免费学习笔记（深入）”；

点击下载“修复打印机驱动工具”；

1. 在终端中输入 “pip install requests” 并回车。这将安装用于发送 HTTP 请求的 requests 库。
2. 输入 “pip install BeautifulSoup4” 并回车。这将安装用于解析 HTML 的 BeautifulSoup4 库。

创建 Python 爬虫

1. 在 VS Code 中创建一个新的 Python 文件。
2. 导入 requests 和 BeautifulSoup4 库。
3. 定义爬取的目标 URL。
4. 发送 HTTP 请求以获取目标页面的内容。
5. 使用 BeautifulSoup4 解析 HTML 内容，提取所需的信息。

示例代码

import requests
from bs4 import BeautifulSoup

# 定义目标 URL
target_url = "https://example.com"

# 发送 HTTP 请求
response = requests.get(target_url)

# 解析 HTML 内容
soup = BeautifulSoup(response.content, "html.parser")

# 提取所需信息
title = soup.find("title").text
body_text = soup.find("body").text

保存和运行爬虫

1. 保存爬虫文件。
2. 在 VS Code 中按 F5 或 Ctrl + F5 （macOS 为 Cmd + F5）运行爬虫。

提示

• 使用 pprint.pprint() 函数以美观的方式打印提取的信息。
• 使用 with 语句自动关闭 HTTP 响应。
• 探索 BeautifulSoup 文档以了解如何提取更复杂的数据。