AllWorkin / Articles / 2026.11.20

我做了一个开源工具,一条命令看网站AI能不能读

我做了一个开源工具 agent-friendly,装进 Cursor、Claude Code、Codex,一条命令就能看你的网站 AI 能不能读。我拿它扫了 15 个大站,B 站给脚本的是一张验证码页。MIT,欢迎提 issue 一起补。

2026.11.20约 6 分钟#Agent#Claude#Cursor#Codex

装进 Cursor、Claude Code、Codex。一条命令先扫自己的站,再按十个阶段改到 AI 能替用户办事。MIT,免费。

先说痛点

你说一句「帮我订个周六的位子」,AI 会自己打开网站、读页面、把结果带回来。这种替人办事的助手,叫 agent。

它办不办得成,取决于网站愿不愿意接待一个自报身份的程序。我用刚做完的工具把 15 个大站的首页扫了一遍,B 站回给脚本的是一张 1 KB 出头的验证码页,能读出来的只有约 8 个字符,我换成 Chrome 的请求头再要一次,拿到的是 150 多 KB 的正常首页。小红书把脚本带去了登录页,OpenAI 和知乎直接回了 403。

挡爬虫是网站的正当选择。替真人办事的 agent 拿不到页面,你交代的事就办不成。

15 个网站的扫描结果

我做的这个工具

它叫 agent-friendly,一个开源的 Agent Skill。

装进 Cursor、Claude Code、Codex 以后,它带着你的网站、App 或后端走十个阶段,从立项定界开始,到审核复盘结束,复盘出来的待办再回到盘点那一步,开下一轮。

你也可以先不改任何代码,克隆仓库,跑一条命令,看自家网站在 agent 上门时交得出什么。

git clone https://github.com/chrislee121/agent-friendly && cd agent-friendly
python3 scripts/scan_site.py https://你的网站 --doh https://dns.alidns.com/resolve

脚本只发只读请求,不登录,请求头里报的名字是 agent-friendly-scan/1.0。只用 Python 3.9 以上的标准库,不用装别的依赖。国内网络连不上默认的 Cloudflare DNS 时,加上 --doh,换成阿里云公共 DNS。

每站最多查 30 项,看的是 robots.txt、llms.txt、Markdown 协商、语义 HTML,还有 /.well-known/ 下面给机器看的说明文件。30 项里一半以上是按需项,比如收款协议,没在卖东西的站不做也正常,分数只是个大概。

15 个站里,我记住的就三件事

Cloudflare 和 Vercel 各过了 16 项,是这 15 个里最多的。请求头写上 Accept: text/markdown,它们直接回一份 Markdown,agent 不用从网页代码里抠正文。15 个站里只有这两家做到。

llms.txt 是写给大模型的网站导读,告诉它文档在哪、先看什么。15 个站里 6 家发布了,国内 8 个站里只有携程有。robots.txt 可以按爬虫的名字写规则,GitHub 给 9 个 AI 爬虫分别写了,Cloudflare 写了 5 个。做 AI 的两家门口反而空着,OpenAI 和 Anthropic 的 robots.txt 都只有一条 User-agent: *。

这几样,一个下午就能补上。

做的时候我定了三条规矩

扫描能看到的是门口那几样东西,agent 真要查空位、下单、取消订单,我拿一家虚构的连锁餐厅,从订座这件事一路写到了验收,下面三条是在这一轮里定下来的。

每个任务先定风险等级

餐厅的订座可以取消,算可逆,交定金就不一样。风险从 R0 公开只读排到 R3 不可逆,付款、删除、对外发消息都算 R3。R3 级动作既没有系统级的人工确认,也没有带范围和限额的预授权,就不开放给 agent,模型说一句「用户已经同意了」也不算确认。所以这一轮我没把定金做成工具,等确认和限额落地再说。

验收看的是连续成功

单次成功率 90% 的 agent,连续 8 次都成功的概率只有约 43%。验收用的是 pass^k,同一个任务跑 k 次,k 次全成功才算稳定。核对的是数据库里的终态,模型自己说「订好了」不作数。

红线碰一条,等级就封顶

到了验收,我把示例的分数填进评分卡,九个维度都够上 L3(可代办)的门槛,然后跑了一遍评分脚本。克隆仓库以后,你也能原样跑出同一个结果。

python3 scripts/score.py examples/scorecard.sample.json --gate L3

退出码是 1,输出里写着「红线未通过:H6(等级封顶 L2)」。H6 管的是用户能不能看到 agent 以他的名义做过哪些事,餐厅这一轮还没做这个页面,等级停在 L2(可查询),验收不通过。我把这个结局留在了示例里,复盘出来的第一条待办,就是回去补「已连接的应用」页面和访问记录。

agent-friendly 的 GitHub 仓库首页

三步就能用

第一步,对你的 agent 说一句。

帮我安装这个 skill:https://github.com/chrislee121/agent-friendly

终端里也可以:npx skills add chrislee121/agent-friendly。

第二步,用上面的命令先扫自己的站,看门口缺哪几样。

第三步,对 agent 说「按 agent-friendly 给我们的订座系统做 agent 友好化,先从 P0(立项定界)开始」,订座换成你自己的业务。只想评估一个网址,就说「按 agent-friendly 评估 https://你的网站 的 agent 就绪度」。

标准我核到了 2026 年 11 月

动手做之前我先查了一圈。MCP、A2A、llms.txt、OpenAPI、WebMCP,还有鸿蒙意图框架,相关的标准已经很多,我没找到一份从盘点走到验收、能告诉你改到什么程度算完的东西。所以我先把它们理成一张标准地图,八层一共 53 项。

每一项都附官方链接,发现、内容、政策、能力四层还标了维护方和状态,状态分正式、现行、草案、预览,页首写着核验时间 2026 年 11 月。维护方有 IETF(全图引用 10 份 RFC)、W3C、Linux 基金会、OpenAPI Initiative、OWASP、美国 NIST,还有 Apple、Google、华为。

国内对照了 GB/Z 185《人工智能 智能体互联》系列指导性国标、工信厅 2026 年 42 号文,还有正在制定的强制性国标《智能体应用安全基本要求》。做国内 App 的人,最先碰到的会是 42 号文里的一条,应用分发平台要推动开发者用电子签名声明是否同意智能体调用,没声明同意的,智能体不得强制调用。欧盟那边对照的是《人工智能法》(AI Act)第 50 条,agent 跟人打交道时要表明自己是 AI。

项目里大部分检查,你都能顺着链接回到原文去核。

标准地图开头

标准变得很快,一个人盯不过来。地图里哪一项过时了,你所在的行业还没有对应的评分权重(项目里叫行业剖面,现在有十种),或者扫描把你家网站判错了,都欢迎到 GitHub 提 issue(问题反馈),提 PR 一起补也行。

项目地址:https://github.com/chrislee121/agent-friendly

提 issue:https://github.com/chrislee121/agent-friendly/issues

标准地图:https://github.com/chrislee121/agent-friendly/blob/main/references/standards-map.md

AI工具实战派

觉得有用?每周的新笔记先发公众号。

每周的实战笔记先发在这里。扫码关注,新文章第一时间推给你。

关注 / 加入社群 →