爬虫兼职, 要求爬取一亩三分地, twitter, 知乎, 公众号等渠道的招聘和招生信息

职位概述

我们正在寻找一位经验丰富的兼职爬虫开发工程师，负责从国内外多个平台自动化采集招聘和招生相关信息。该职位工作时间灵活，按项目结算报酬，合作起步价 1 万人民币。

工作职责

设计并实现稳定高效的网络爬虫系统，定向采集指定平台的公开信息
负责爬虫架构设计、数据采集、清洗、去重和存储全流程开发
监控爬虫运行状态，及时处理反爬机制、封禁等问题
与数据分析团队协作，确保数据质量和交付时效性
编写技术文档和操作手册

核心技术要求

熟练使用 Python 及 Scrapy 、BeautifulSoup 、Selenium 、Playwright 等爬虫框架
掌握 HTTP/HTTPS 协议、Cookie 、Session 、代理 IP 池等技术
熟悉常见反爬机制（验证码、IP 限制、User-Agent 检测、动态加载等）及应对策略
具备数据清洗、去重和结构化存储经验
了解爬虫法律法规和 robots.txt 协议

平台特定要求

一亩三分地：
熟悉论坛类网站结构，能处理登录态保持和权限限制
具备动态页面渲染和 AJAX 请求分析能力

Twitter：
熟练使用 Twitter API v2 或具备爬虫逆向能力
了解 GraphQL 接口调用和速率限制处理
能够模拟真实用户行为规避检测

知乎：
熟悉知乎反爬策略（如滑块验证、IP 封禁等）
能够处理动态加载内容和登录状态管理

加分项
有招聘/招生类信息爬取项目经验
具备分布式爬虫（ Scrapy-Redis ）和云端部署经验
熟悉 Docker 、Kubernetes 等容器化技术
有自然语言处理基础，能进行简单文本分类和实体提取

申请说明
请将简历和爬虫项目案例（ GitHub 链接或代码片段）发送至招聘邮箱 samuel.gao023@gmail.com ，并说明擅长和可以开始兼职的时间。