AIが自社で使えるかは、自社の書類10件で採点すると分かる

「使える」「使えない」が割れるのは、試した書類が違うから

社内で評価が割れたとき、多くの会社は「もっと詳しい人に聞こう」とします。けれど原因は知識の差ではありません。試した書類が違うだけです。

感想は、試した人の担当業務に引きずられる

営業の担当者が試したのは、たぶん提案書の下書きか、訪問後のお礼メールでした。多少表現がずれても、自分で直せば済みます。直す前提で読むので「使える」になります。

経理の担当者が試したのは、請求書の金額の転記か、経費の分類でした。ここは1字違えば全部やり直しです。直す前提が成立しない仕事なので「使えない」になります。

同じツールで、どちらの感想も正しい。だから議論では決着しません。決着させるには、業務ごとに、同じやり方で測るしかありません。

ベンダーの精度の数字が自社に当てはまらない理由

「精度90%」と言われたとき、その10%に何が入っているかは分かりません。語尾の表現ゆれが10%なら実務に影響しませんし、金額の桁違いが10%なら使えません。

しかも、その数字を出すのに使われたのは他社のデータです。自社の書類は、社内でしか通じない略語、取引先ごとに違う書式、前任者が作った項目名でできています。他社のデータで出た数字は、自社の書類に対する数字ではありません。

測るなら自社の書類です。他に方法はありません。

自社の書類を10件選ぶ

測ると決めたら、最初にやるのは書類を集めることです。ここで件数と選び方を間違えると、あとの採点が無駄になります。

なぜ3件でも50件でもなく10件か

3件だと、当たり外れが分かりません。たまたま得意な型が3件続くことはよくあります。

50件だと、誰もやり切りません。採点は途中で止まり、集めたフォルダだけが残ります。

10件なら、1件5分として1時間かからずに終わります。そして7件成功と3件成功は、見ればはっきり違います。判断に必要な差は、10件で十分に出ます。

うまくいきそうな書類だけを選ばない

最も多い失敗がこれです。社内で試す人は、無意識にうまくいきそうな書類を選びます。 悪い結果を見たくないからではなく、手近にあるのが典型例だからです。

その結果、9勝1敗の資料が社長に上がり、導入が決まり、3か月後に現場では誰も使っていない、という状態になります。現場が実際に扱うのは、典型例ではない3割のほうだからです。

10件の内訳

次の配分で選びます。

例外3件は、過去に社内で「これは面倒だった」と言われた案件から選ぶのが早いです。担当者に聞けばすぐ出てきます。

例外を入れるのは、そこでの結果が導入後の定着を決めるからです。例外でも「直せば出せる」なら現場は使います。例外で「使えない」が出るなら、例外だけは人が処理する、という運用を最初から設計できます。

逆に、例外を入れずに測った結果だけで導入を決めると、現場は導入初日に例外へぶつかって「やっぱり使えない」と判断し、二度と開かなくなります。定着しないツールの大半は、性能ではなく、最初に当たった1件で信用を失って止まっています。

3段階で採点する

書類が集まったら採点します。ここが記事の中心です。採点の定義を決めないまま結果を見ると、結論が採点者の気分で動きます。

そのまま出せる／直せば出せる／使えない

3段階にします。

5段階にしないでください。真ん中に寄って、何も決まらなくなります。

Cの後半、「間違いに気づけない」は特に重要です。もっともらしい文章の中に事実でない数字が混ざっている場合、読み直しても見つかりません。気づけない誤りは、手直しの時間の問題ではなく、出してはいけない種類の出力です。 迷ったらCにします。

採点するのは、その業務を毎日やっている人

社長や情報システム担当が採点すると、Bが増えます。どこが間違っているか分からないからです。

その業務を毎日やっている人なら、10秒で「これは違う」と分かります。採点者を変えるだけで結果が変わるので、採点者は先に決めて記録しておきます。

採点表の作り方

表計算ソフトで足ります。項目はこれだけです。

Cの理由は必ず書いてください。あとで見返すと、Cが全部同じ原因だった、ということがよくあります。原因が1つなら、指示の出し方を変えるだけでBに変わる場合があります。

ここで「指示の出し方が下手なだけで、うまく書けば全部Aになるのではないか」と思う人がいます。そのとおりです。だから採点は1回で終わりにせず、Cの理由を見て指示を直し、同じ10件でもう一度採点するのが正しい進め方になります。2周目で結果が動けば、それは指示の問題でした。動かなければ、その業務には向いていません。どちらにしても、次に何をすればいいかが決まります。

合格ラインを、採点する前に決める

採点表を作ったら、採点を始める前に合格ラインを書いておきます。紙でも表計算のセルでも構いません。

後から決めると、結論が動きます。「6勝4敗か。まあ、こんなものかな」と思った瞬間に、判断は数字ではなく気分になっています。

業務ごとに合格ラインは違う

一律のラインはありません。その仕事で、間違いが出たときに何が起きるかで決まります。

「使えない」が1件でも出たら止める業務

請求、発注、在庫数、納期回答。ここは10件中1件でもCが出たら、その業務への適用は止めます。

理由は確率ではありません。1件の桁違いが、取引先との関係を壊すからです。 9件正しかったことは、1件の誤請求の埋め合わせになりません。

こういう業務は、AIに答えを出させるのではなく、人が作ったものを点検させる側に回します。役割が逆になるだけで、同じツールが使えることもあります。

取引先ごとに条件が違う価格や納期を、そもそもAIに答えさせない理由は生成AIの社内ルールの記事に書いています。

この採点で分かること、分からないこと

分かるのは、特定の業務で、今のAIが自社の書類に対してどう振る舞うかです。それ以上ではありません。

分からないことが3つあります。

1. 正解が一つに決まらない業務の良し悪し。 企画案やキャッチコピーは、A・B・Cで採点できません
2. 半年後の精度。 ツールは更新されます。数か月で結果が変わることがあります
3. 人が使いこなせるかどうか。 出力が良くても、指示の出し方を誰も覚えなければ定着しません

3つめは採点では出ません。定着は別の問題です。しがビズでは、AI導入支援を業務棚卸し、一業務試験、手順ルール作成、定着確認の順で進めています。この記事の採点は、そのうちの一業務試験を自社だけでやる形にしたものです。

まとめ

社内で評価が割れているなら、話し合いでは決まりません。試した書類が違うからです。

今日やることは1つだけです。直近1か月で自分が書いた同じ種類の書類を、10件フォルダにまとめてください。 採点はその後で、1時間かかりません。合格ラインを先に書いてから始めれば、結果が出た時点で判断は済んでいます。