台湾のカルテの一行を読むために、私たちは自分でモデルを育てました

8 年間、私たちは健診センター・企業の職場・地域拠点で同じことをしてきました。他人の手元にあるファイルを、使える健康記録に変えることです。そのファイルはどんな姿でしょうか。1 マスに「定期心內門診-戒菸」とあれば、それは 2 つの事実です。循環器内科のフォローが続いていること、そして禁煙。「成健」は成人予防保健。「檳榔」（ビンロウ咀嚼）は社会歴の欄で、喫煙・飲酒と並びます。

これらは誤字ではなく、台湾の医療現場が実際に使う書き方です。毎日生まれる記録に大量に現れ、しかし公開されている学習データにはほぼ存在しません。だから既製のモデルでは読めないのです。

ある機関固有の略語をモデルに覚えさせたいとき、直感的な手はその文字列でファインチューニングすることです。計測して得た結論は、この道は通らない、そして理由は計算できる、というものでした。

小さなモデルを int8 に量子化すると、各ベクトルは一定量ゆらぎます。私たちの測定値は 0.44。一方、機関の略語の山から正しいものを選べるかは、1 位と 2 位の差にかかっていて、その中央値は 0.14 です。モデルは自分の誤差の内側で選んでいることになります。略語を重みに学習させても、その差はさらに縮むだけで、誤差は元のまま。だから調整するほど悪くなります。18 通りの構成（テンソル単位・チャネル単位の int8、fp16、混合精度、重み補間、QAT、量子化制約付き LoRA など）を試しましたが、導入できるサイズでフル精度に追いついたものは 1 つもありませんでした。

有効なのは、その知識を別の場所に置くことです。モデルは完全に凍結し、機関の語彙はモデルの外側、数 KB の対照表に持たせ、手前にゲートを置きます。既知の項目に十分近ければその標準概念に置き換え、近くなければ元のまま通す。だから対照表を足しても、もともと正しかったものが崩れることはありません。

教訓は一文にしました。量子化する前に、判断の余裕が量子化の誤差より大きいかを測ること。そうでなければ、重みに何をしても救えません。この一文と、行き止まりだったすべての試行は、公開の研究ログにあります。