用 Python 加 Playwright 抓 JS 重站点的完整流程

📋 概述

你 requests.get() 一把，BeautifulSoup 一解析，发现页面上只有一个空的 div#root——因为 React、Vue、Angular 这类客户端渲染的站点，初始 HTML 只是个壳，真正的内容要等 JavaScript 拉 JSON、建 DOM 再注入。快速验证的方法也写在文里：在 DevTools 里看「查看源代码」而不是「检查」，搜屏幕上能看到的文字；如果搜不到，就说明是 JS 渲染。Playwright 的解法是驱动真实浏览器引擎，跑完页面脚本、等内容出现，再像用户看到的那样抽取。指南覆盖了完整工作流：安装与浏览器下载、等待策略、无限滚动、拦截 API 调用、性能调优，以及怎样让抓取脚本可靠到可以无人值守运行。