我构建了一个爬虫机器人来逃离云咨询行业——它是开源的
来源：dev.to — 2026-07-22
📋 概述
作者在四周内投了 73 份简历却颗粒无收后，决定将求职流程自动化。他构建了一个基于 Python 3.11 + asyncio 的爬虫管道，从多个招聘网站抓取职位、用 LLM 按技能栈匹配排序、并每天早晨通过 Telegram 推送精选 TOP 3 职位摘要。该工具使用 SQLite 存储、httpx + BeautifulSoup 爬取、自适应退避限速，完全开源，欢迎协作者加入。
🔑 核心要点
- Python asyncio 管道：使用 Python 3.11 的异步架构同时爬取多个招聘网站，显著提升效率。
- LLM 驱动的匹配排序：根据求职者的具体技术栈（Go、Kubernetes、Cilium/eBPF 等）对职位进行智能评分和排序。
- Telegram 每日摘要：每天早上 7 点推送精选 TOP 3，省去刷招聘网站的碎片时间。
- SQLite 零基础设施存储：单文件数据库，WAL 模式支持并发读取，无需额外部署 PostgreSQL。
- 自适应限速：指数退避加随机抖动，避免被招聘网站封禁 IP。
💡 金句
我在求职的流程中精疲力竭，而不是在真正提升求职能力。所以我做了任何工程师都会做的事：把痛苦自动化。
👍 0👎 0
← 返回 Dev.to 首页