所谓“工欲善其事，必先利其器”。常见的文字处理软件，比如Word、Excel、WPS等等，只能解决文字输入以及简单的排版问题。古籍整理作为一种专业性很强的工作，需要新的专业工具，使古籍整理工作更为轻松便捷，摆脱单调枯燥，从而吸引更多专业人士愿意将精力投入到古籍整理领域。这也是我们发展OCR、自动标点等技术以及相关应用的初心。

OCR（全称“光学字符识别”）是从图像中提取文字信息的技术。面向印刷字体的OCR技术已经比较成熟了，但是面向古籍字体的OCR，其效果并不理想。直至深度学习兴起之后，古籍OCR的准确率才有显著提升。我们与相关研究单位在佛教古籍OCR方面开展了深入合作，由我们提供训练数据，由对方提供算法和技术，开发针对佛教大藏经的OCR技术，取得了一系列学术成果。1 2 3

自动标点是借助算法给古文添加现代标点的技术。通常认为，给古籍添加标点需要相当的古文素养和专业知识，电脑难以胜任。然而，日新月异的技术发展正在将过去的不可能逐渐变为现实。将深度学习技术应用于古文断句已有多例。4 5 自动断句用到的标点种类只有句号一种。相比之下，自动标点涉及句号、逗号、问号、感叹号、冒号、分号、顿号等多种标点符号，比自动断句更有难度。我们与相关研究单位合作，也先后开发了“快速标点”和“精确标点”两种算法：第一种是基于LSTM（长短时记忆），使用5000多万字的古文数据进行训练；6 第二种是基于BERT（来自Transformer的双向编码器表示），训练数据量达到18多亿字。这两种算法都可以给古文添加句号、逗号、问号、感叹号、冒号、分号、顿号七种标点符号。

这些技术的新颖之处在于利用人工智能，在特定任务上实现了比基于人工设计规则或是基于统计规律的传统算法更高的准确率，从而大幅减少人力投入中的机械性、重复性的成分，让工作更加具有创造性。在内部测试中，“精确标点”的准确率已经超过了人类一般使用者，接近专家水平，可以达到每秒钟50余字的处理速度，相当于一整天完成430余万字的高质量古文标点。

在取得学术成果的同时，我们也致力于让OCR、自动标点走出实验室，成为古籍工作者触手可及的得力工具。在彩云科技、华南理工大学深度学习与视觉实验室、房山石经与云居寺文化研究中心等单位的多方支持下，我们将OCR、自动标点部署到AI算力服务器，做成网络服务接口，开发了古籍OCR桌面软件和自动标点网站7。自动标点还应用在了中华电子佛典协会（CBETA）的新式标点专案和CBETA Online线上阅读8之中，目的是为佛教经典添加现代标点，帮助现代人使用阅读。

目前我们正在将OCR、自动标点整合进一个命名为“古文工具箱”的桌面软件，并逐步融入版本校勘、文白句对等更多功能。

图1：“古文工具箱”自动标点功能演示

图2：“古文工具箱”OCR功能演示

1.Yang, Hailin, Lianwen Jin, and Jifeng Sun. "Recognition of chinese text in historical documents with page-level annotations." 2018 16th International Conference on Frontiers in Handwriting Recognition (ICFHR). IEEE, 2018.

2.Yang, Hailin, et al. "Dense and tight detection of chinese characters in historical documents: Datasets and a recognition guided detector." IEEE Access 6 (2018): 30174-30183.

3.Xie, Zecheng, et al. "Weakly supervised precise segmentation for historical document images." Neurocomputing 350 (2019): 271-281.

4. 俞敬松, 魏一, and 张永伟. "基于BERT的古文断句研究与应用." 中文信息学报 33.11(2019).

5.胡韧奋, 李绅, and 诸雨辰. "基于深层语言模型的古汉语知识表达及自动断句研究."  第十八届全国计算语言学学术会议(CCL). 2019

6. Shi, Xianchao, et al. "一種自動標點的方法與實現." 數位典藏與數位人文 3 (2019): 1-19.

7.http://www.gj.cool

8.http://cbetaonline.cn

本文转自：微信公众号“贤超小和尚”