hzhbest
(天平那方重力异常)
2026 年11 月 2 日 03:56
1
为了提取文本发票的信息(大多数电子发票都是这样;这样的需求应该遍地解决方案了吧?),
我之前是使用某些发票提供方附带提供的xml文件的(当然提取xml信息的程序还是用AI写的),
不过总遇到一些不提供xml的提供方,所以还是想要搞到一个直接提取PDF发票信息的Python程序(我知道,遍地都是,但是,能白嫖干嘛要花钱?)。
于是我向四大AI发起挑战(A÷和CloseAI自愿拒赛),每个AI基本能提取到信息,但都在提取销售方和购买方信息时遇到挫折:
与大肥鱼总共进行了六次问答,除了上述的购销两方信息完全提取不出来之外,第一次结果就已经近乎完美,于是我上传一个示例发票给它让其确保提取到购销两方信息,结果依然完全提取不出来,后面就是变着法子的要求其确保验证结果,虽然其在回答中的测试结果是正确的,但程序输出的结果最佳也是直接把购销两方的名称都连在一起输出(税号倒是很好分开了),所以即使她是速度最快的,最终我也只能宣告大肥鱼落败;
与元宝进行了两次对话,首次对话提示词和跟大肥鱼的一样,而输出的程序提取的购买方名称是“未识别”,销售方名称是“名称”;第二次对话我只是提示其输出了这样的结果要求修正,然后它就宣称“定位到了真正的病根”,然后其输出的程序正确给出购买方名称而销售方名称是“未识别”……元宝似乎也“感染”了WorkBuddy的风气,一起手就说自己模拟了几种发票的情况并使用来验证(虽然从头到尾都没让我看到模拟发票和输出结果),反正用时非常久,我也不愿意再继续尝试了;
与KIMI对话了两次,第一次提示词也是跟之前一样,提取结果则是完全没提取到信息(每个字段都空着却宣称提取成功!),思考过程也相当慢,甚至我只能用快速模型,进阶模型不让用;第二次我直接上传示例发票和一句“请根据附件测试程序,并修正提取信息失败的问题”,然后它吭哧吭哧地改了,回答中的测试结果也是正确的,但程序输出结果还是出现购销两方名称夹带……
与Gemini对话了一次,因为是最后一个测试的,所以直接把示例发票文件和手工修正的输出CSV文件上传给它,提示词在之前三位的基础上加上测试并比对输出示例修正的要求,然后输出结果是直接空掉购销两方的信息……
如果AI都说自己做对了而我这失败,那会不会是我的错??
……
……
于是我检查了四家的程序代码,发现大肥鱼和Gemini都有设计检查依赖的代码,但运行中都没报错(表明该依赖没缺失);而另两家只是在程序的注释中写明要先安装依赖。
四家都提及了 pdfplumber 包,我用 pip install 检查,是已经有包的;我问大肥鱼她用的 pdfplumber 版本,说是无法回答,但 最新稳定版本是 0.11.10 ;我根据其提示再安装这个版本,之后再测试除 KIMI 外其他AI提供过的所有程序,之前该怎么出错,还是怎么出错……
有趣的是我问 Gemini 用的什么 pdfplumber 版本时,其回答:
然而它第一个回答开头就说其要用 pdfplumber (而且它是唯一一家一开口就要求确保安装了依赖的):
大家应该都猜到我为什么说“除 KIMI 之外”了吧?
对的,KIMI 代码中的依赖优先用的是 pymupdf ,失败再回退到 pdfplumber ,但其第一次代码中使用的是 import fitz ,运行时会提示 The fitz API is deprecated…… 而第二次代码则放聪明了,使用
fitz = None
try:
import pymupdf as fitz # PyMuPDF >= 1.24 推荐用法
来加载(就是非得用“fitz”这名称)。
那我把 pymupdf 装上(的确之前没装过这依赖),然后运行 KIMI 第二次代码……OK!我可以宣布 KIMI 杀死了比赛!
结论,pymupdf 完美实现了效果,KIMI 借此交出了最终有效的答卷,而依赖 pdfplumber 的其他考生(包括宣称自己用了又没用的 Gemini)都悉数惨败。
(如果是依赖的依赖的问题,那这Python也太不可靠了;如果是大模型对程序结果进行“自己的理解”处理从而认为其得出正确的结果,那这幻觉也够离谱了)
1 个赞
购销两方提取失败,多半不是 AI 的锅,而是 pdfplumber 默认的 extract_text() 按行读:新版电子发票上购买方和销售方是左右并排的两个框,同一行的文字就被拼成了一句。可以试试按坐标切开再读,比如 page.crop((0, y0, page.width/2, y1)) 和右半边分别 extract_text(),或者用 extract_words() 按 x 坐标分组,名称和税号自然就分开了。另外让 AI "测试"时一定要它贴出真实的运行输出,不然它说的测试通过基本是想象出来的。(我在 aicost.tools 做 AI 用量和成本相关的东西,这类坑见得挺多。)
6 个赞
我建议楼主拿 PDF.js viewer 这个打开发票后,F12看看各个文字的元素的情况。
我们可以注意到,购买方名称和销售方名称夹在了两个br中间,这个大概就是上面提到的按行读出问题的原因了。
同时,我注意到,下方这个项目名称中这个 会员权益被拆分成了两个元素
这也给解析增加了难度。
但这块怎么处理可能也得 @aicost_tools 大佬来说明下这些怎么处理了。。。
个人认为:
对于发票这类项目,让ai使用工具对常见的几类发票的pdf进行元素解析,然后搓按类型建立规则解析也许是个不错的主意?
同一 y 区间内的相邻词,只有水平间距接近一个正常空格宽度时才应拼接;间距宽到和两个框之间的空白相当时,就应视为销售方那一栏的开始。被拆成两个相邻文本节点的项目名称属于小间距的情况,购买方和销售方名称挤在一行属于大间距的情况,一条规则可以同时处理。判断"正常空格"的阈值最好按该行的字符宽度来估,不要写死成固定值,这样换一张字号不同的发票也能用。
hzhbest
(天平那方重力异常)
2026 年11 月 3 日 03:22
8
剥花生焉用液压机?
如顶楼所说,我的需求就是不花钱,用AI完成一些单一目标的简单任务
发票识别是普遍的需求,没有液压机也有金刚钻,只是我期望的是AI(这里事实上是Python)有瑞士军刀的解决办法
@shugen002 @Florian 我之前曾想过手搓Python接Paddle OCR来识别图片发票、按关键词识别出来的定位去判断需要提取的信息的位置,只是电子发票后来占了主流,这想法也就不了了之了
查看 KIMI 成功的Python代码,里面提取PDF内容的关键段落:
if fitz is not None: #有fitz(PyMupdf)的话,就用它
doc = fitz.open(pdf_path)
text = "\n".join(page.get_text("text") for page in doc) #纯文本提取
doc.close()
return text
try:
import pdfplumber #没fitz的话,PdfPlumber替补
with pdfplumber.open(pdf_path) as pdf:
return "\n".join((p.extract_text() or "") for p in pdf.pages) #还是纯文本
except ImportError:
pass
try:
from pypdf import PdfReader #还是不行就上PdfReader
reader = PdfReader(pdf_path)
return "\n".join((page.extract_text() or "") for page in reader.pages) #依然纯文本
except ImportError:
raise RuntimeError("未安装PDF解析库,请先执行: pip install pymupdf")
也就是,用的什么PDF读取库,都是最终用纯文本来作信息提取的数据源,并没有使用坐标辅助;后面匹配提取的正则都是一样的。
所以,关键并非 KIMI 的编程能力有多强,只是与其他考生认死 PdfPlumber 不同,KIMI 写的程序会尝试多个库并且以 PyMupdf 为优选,而正是这个决出了胜负。
附上 PdfPlumber 对发票的文本提取效果:
附上 PyMupdf 对发票的文本提取效果:
可以看出后者针对表格线切分了文本,使同一行(y坐标)但不同单元格的文本分行输出
也因此能说明,为啥其他考生的答卷最好的结果能提取税号,因为税号能用正则精准匹配,但名称实在没有规律(虽然从结果来看,对于中国式发票,用“名称:”后开始、用最后一个非空格中文字符截断结束,也不是不行)
依然未有答案的是,大模型去测试提取信息时真的是运行自己编写的代码吗?对提取结果真的原样奉上还是自己“精加工”了一下?怎么解释选 PdfPlumber 的考生能搬出错误程序却展示正确结果?
vebee:
成功避开了市面上最好用的几家
提示词在这,你拿去用最好用的几家试试?
提示词
写一个Python程序,功能包括:(1)递归扫描程序文件自身所在文件夹的PDF文件,或拖放到程序文件上的文件夹中的PDF文件,或直接拖放到程序文件上的PDF文件,形成待处理文件路径列表;(2)逐个读取待处理文件路径列表中的PDF文件,根据中国标准电子发票的内容规范,提取PDF文件中的“发票号码”、“开票日期”、“购买方信息”(名称和税号)、“销售方信息”(名称和税号)、“价税合计”(小写);(3)写入CSV文件,第一列为PDF文件名,第二列开始按顺序列入上一步提取的内容;(4)弹出对话框汇报简要处理结果,并输出对应的CSV文件和汇集处理失败情况的log(TXT)文件。
按表格线切分文本这个对比很关键,同一行不同单元格拼成一行确实很容易把字段读错。另外感觉测试环节也很重要,模型说通过了不算数,最好贴出真实运行输出和提取结果逐项核对,不然很难判断是真跑通了还是被加工过。
highwind
(highwind)
2026 年11 月 3 日 05:07
10
怎么说呢,你以为的剥花生可能实际需要砸核桃。
如果你的目标是本地部署(不知道这算不算免费),我的想法是可以再挖一挖OmniDocBench v1.6上的模型,不一定非盯着 PaddleOCR 或者PyMuPDF、pdfplumber这些老技术?
1 个赞
page.get_text(“text”) 返回的是纯文本,x 坐标在这一步就已经丢失了,所以按水平间距决定是否拼接的规则没有可以测量的依据。要按间距判断,需要改用 get_text(“words”) 或 get_text(“dict”),这两种模式会保留每个词或每个 span 的边框坐标。如果每个标签都单独占一行,纯文本就够用;但购买方名称和销售方名称在同一行时,纯文本无法区分两栏的分界,这种情况必须基于坐标来处理。
Debatrix
(Debatrix)
2026 年11 月 4 日 01:49
12
答:没有运行,网页版大模型通常没有运行环境,只能根据你的提示词凭空生成一段代码,能不能用纯看运气。我不确定你具体是怎么选择的,但在你选的几个大模型中只有kimi提供了agent模式可以在远端实际运行代码测试。
现阶段,大模型的本质原理只是根据你提供的上文补全下文,agent是提供工具实际运行并将结果自动添加进上文帮助大模型补全下文,纯大模型没有这种能力。至于你问它有没有测试、模拟数据和输出结果,从补全下文的角度来讲回答“测试过了”是非常正常的,也就是所谓的幻觉。
我觉得直接让大模型识别图片效果会更好,没必要去搞解析发票的事,我跑 agent 我都要求把PDF转换为图片来识别