古いOCRの誤認識がAI学習データを汚染する

Hugging FaceとEleutherAIが共同で進める「FineBooks」プロジェクトが、歴史的な書籍をデジタル化する際に使われるOCR（文字認識）技術の精度を大規模に評価した。オープンソースのOCRモデル14種類を対象に、2,000ページ以上の歴史書籍のスキャン画像でテストを実施し、各モデルの性能と実用性を比較している。

そもそもOCRとは、紙の本や文書をスキャンした画像から文字を読み取り、テキストデータに変換する技術のことだ。古い書体や印刷のかすれ・ゆがみが多い歴史的書籍では、現代の文書よりも正確な読み取りが難しく、エラーが生じやすい。こうした誤りを含んだテキストがAIの学習データとして使われると、モデルが誤った言語パターンを学んでしまう可能性があり、データ品質の確保が課題となっている。

テストの結果、最も精度が高かったモデルは「dots.mocr」で、文字単位の正確さ（文字精度）は97.6%に達した。コスト面でも1,000ページあたり2ドル未満と低く抑えられており、大量の書籍をデジタル化する用途での現実的な運用が見込める水準だ。一方、プロジェクトチームは、この精度は「AIの学習データとしては十分だが、学術的な転写には不十分」と評価している。歴史研究などで一字一句の正確さが求められる場面には、まだ追加の工夫が必要だということだ。

このプロジェクトが注目される背景には、近年のAI開発におけるデータ品質への意識の高まりがある。大規模言語モデル（LLM）の性能は学習に使うデータの量だけでなく質にも左右されるため、誤字や文字化けが混入したテキストは学習効果を下げる要因になりうる。インターネット上の現代的なテキストはすでに大量に活用されており、書籍や文書のアーカイブは次の有力なデータ源と位置づけられている。

歴史的書籍のデジタル化は、図書館や研究機関がこれまで長年取り組んできた分野だが、品質基準が学術用途に設定されていたため、コスト面での制約も大きかった。FineBookのアプローチは、AI学習用途に絞ることでコストと精度のバランスを現実的な線に引き直すものと見ることができる。この「学術用途未満でもAI用途には十分」という考え方は、大規模なデータ整備を進める上で一つの実用的な指針になりうる。

今後の焦点は、97.6%という文字精度がAI学習の現場でどこまで通用するかにある。残る約2.4%の誤りが長文テキスト全体に積み重なった場合の影響は文脈によって異なるため、実際の学習への影響を継続的に検証していく必要がある。また、歴史的書籍の文体や語彙がAIモデルの言語能力の多様化にどう貢献するかも、引き続き注目すべき点といえる。