Scrapy 项目流程架构说明手册
Scrapy 的运行流程Scrapy 的运行流程由以下几个步骤组成，每个步骤对应一个组件，分别负责请求的拦截、响应的解析、数据项的处理等任务：
中间件（Middleware）：拦截和修改请求、响应的中间层。
Spider：定义爬虫的主要逻辑，负责解析响应内容、生成数据项和新请求。
管道（Pipeline）：对由 Spider 生成的数据项进行清洗和存储。
以下是对这些组件及其配置的说明，帮助快速理解 Scrapy 的架构及组件配置方法。
1. 中间件（Middleware）中间件用于对请求和响应进行预处理和后处理。在 Scrapy 中，可以通过配置多个中间件，并按照优先级顺序执行。这使得我们可以通过中间件实现诸如设置代理、重试机制等功能。
示例代码：
12345678910111213# middlewares.pyclass ProxyMiddleware: def process_request(self, request, spider): # 设置代理 request.meta['proxy'] = 'htt ...
fnm安装配置手册
fnm安装配置手册安装参考fnm的Github仓库MarkDown
基于Scoop安装：1.如果没有Scoop环境先安装Scoop：
12Set-ExecutionPolicy -ExecutionPolicy RemoteSigned -Scope CurrentUserInvoke-RestMethod -Uri https://get.scoop.sh | Invoke-Expression
2.安装FNM：
1scoop install fnm
配置在 $profile 文件中添加以下命令，使 fnm 在 PowerShell 中生效：
1fnm env --use-on-cd | Out-String | Invoke-Expression
统一将fnm的所有Node.js设置为国内镜像源阿里云源：
1[Environment]::SetEnvironmentVariable('FNM_NODE_DIST_MIRROR', 'https://mirrors.aliyun.com/nodejs-release/', 'Us ...
Centos Docker-Compose安装手册
下载Docker Compose的二进制文件：Docker Compose下载从Docker Compose GitHub页面下载适用于您的Linux平台的二进制文件。下载和安装最新版本的Docker Compose，确保与您的Docker引擎版本兼容。
将二进制文件移动到/usr/local/bin目录：1mv docker-compose-Linux-x86_64 /usr/local/bin/docker-compose
设置二进制文件的权限：1chmod +x /usr/local/bin/docker-compose
检查安装：输入下面的命令检查是否正确安装了Docker Compose二进制文件： docker-compose –version 如果正确安装了Docker Compose，您将看到该命令的版本信息。 至此，您已完成了在CentOS上安装Docker Compose的二进制安装。
如果您在CentOS 7.9上安装完Docker Compose的二进制文件后，执行
1docker-compose --version
未能正确显示 ...
Centos Docker安装手册
物料包下载Docker下载
进入服务器ssh 登陆 / 进入终端
解压tar -xvf docker-20.10.8.tgz
将解压出来的docker文件内容移动到 /usr/bin/ 目录下
cp docker/* /usr/bin/
注册docker.servicevim /etc/systemd/system/docker.service
将下列配置加到docker.service中并保存
123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263[Unit]Description=Docker Application Container EngineDocumentation=https://docs.docker.comAfter=network-online.target firewalld.serviceWants=network-online.target[ ...