確かにめちゃくちゃ難しい内容です。
だって世界トップの大学の教授が大学のPhD向けに書いているんですからw
https://note.com/tagtag/n/nb8b736371fe3
田口教授の記事です。
LLMの特徴、そしてハルシネーションとは。
なぜ起きるのかが明記されています
ちなみに、田口先生というお方は、過去連続4年でスタンフォード大学が選ぶ世界でもっとも影響力があるトップ2%のリサーチャーとして選ばれた日本の教授です。
こういう人たちが日本にいらっしゃるんです！
日本、まだ終わっちゃいないぜ。
ナンちゃってAI活用家の自分ですら、たまに忘れることがあるのですが、
先生のこのような記事を読み直すことで、
あっ！そうだったということが思い出します。
ここでも何度か紹介している先生の本です
アマゾンで購入できます
ってことでたまに読み返しています（初心に戻るって大切）。
最近、ChatGPTもGeminiもハルシネーションがだいぶ少なくなったと思います。
あのPerplexityでもかなりありました。
なぜ、そんなウソをつく（実際データ推論が間違っていたり－－東京都23区の火葬場が8つしかないとか）
ーーいやいや「戸田葬祭場を忘れているだろ・・・
ーー「戸田」だから埼玉県と思っているなって・・・
ーー戸田葬祭場がなぜ東京都にありながら「戸田」なのか歴史的背景を知らん（データーセットがない）なっていう
たとえば、「中核的機能」があり、動的にトークン（言葉）とトークンを結びつける。これが「アテンション」というのかな。
いわゆるCPUやGPUみたいなモンや！
これは結びついたトークンに間違いがあったりすると回答が変わってしまう（言葉遣いも変わる）。
つまり、外部から指示された「計算」脳なんです。
たしかにMLP（マルチレイヤーパーセプトロン）ということばを見たことない人たちもいます。
だが、この画像は多くの人は見たことがあるかと思います。
このMLPは静的機能で内部の接続機能になるわけです。
先ほどの動的機能（CPU/GPU処理のアテンション）というのは外からの刺激（命令とでもいえるのかな）で反応で次の言葉の組み合わせを作り出し、MLPが逆に内部の知識データを探り出すわけです。
つまりハードドライブに入ったデータってわけです。
こっちは「物語」脳なんです。
ハードディスクの中にデータがないとミスマッチの答えが返ってきます。
そして、答えも変わってきます。
つまり、Fiction作家になるわけです。
よくあるのが、単純計算が出来ないAIだと言われてました。
ハイブリッドなので、難しいわけです。
1＋1が2というのと1.0＋1.0＝2.0、しかし、1+1.0＝？？？となったりするわけです。だいぶ修正はされたので、こんな単純なことはもうあり得ないのですが（笑）
LLMは計算能力ではなく、ディープラーニングは推論ですから許してあげてw
「たぶん、これかな？」ってことを自信満々でいうのです（あーあーあー、どこかの詐欺師と変わらんw）
つまり、途中の抽出の過程で排出物（汚いな～w）が異なってしまいます。
思考の便秘で口の下痢（意味ないことをべらべら喋る）状態。
今の生成AIは賢すぎて、わからないことは「わからない」と言えないので「何かと回答を作る」構造をするのが命令処理に入っているのです。
そこでラリパッパ回答が出てきます。
そういうのがあるので、私はプロンプトで「わからないことやより情報が必要であれば、答えを出さずに聞き返して」と指示を出します。
そして「ステップ・バイ・ステップで処理して」と伝えます。
私が9月15日にお伝えした、カナダのニューファンドランドで発行した10年教育指針みたいな本のチェック機能がイマイチで、AIを活用して調査した内容に存在しないところや情報が15箇所掲載されていました。
N.L.’s 10-year education action plan cites sources that don’t exist
すでに修正した新しいのは刊行してます。
この前、ダウンロードできたので、確認しましたw
葬儀業界で今のLLMが使えないという大きな理由は私以外に誰も書いていないのですが、本当のデータが存在しないからです。
LLMが保有しているデータは第三者のデータなんです。
葬儀社からのデータではなく、業界の中にいる人たちですが、「葬儀社ではない」人たちの分析データやブロガーやこじつけた推論を呈している人たちのデータなのです。
燦ホールディングスやティア、セレモアの社長らがこんなことを書くか？
書かんわな。
葬儀は必要だ～！とか色々と書くけど、葬儀業界の真髄は書かないわな。
それは、この人たちは経営が仕事であり、内部のことを書くの仕事ではないからです。
下手したら自社の株価を下げる行為にもつながるからです。
つまり、葬儀屋がビジネスの本当の仕組みを書くか？というと書かないのです。
そして、それは自社の経営の企業秘密だからです。
あと、そこまで書ける人が業界にほとんどいないんです。
それ、仕事じゃないので、そういうことを書いている葬儀屋さんって自分以外一人、二人くらいかも。いや、マジにいないかもw
業界の裏の重鎮に「葬儀業界で一番不思議な人」だと言われたんですw
そしてローカルルールがあって、千差万別の対応をアナログ的に処理しているからAIはそういう情報を持っていないのです。
そのシステムを構築しようと思ったのですが、きっと軽く100億円くらい必要で、すべての自治体などを調査するのに、毎年20～30億の予算が必要となる（法改正もあったりすると追いつかない）。
ダレトクでもないので、SMBCでファンドを扱っている知人が「和田さん、おカネ引っ張ってくるよ」って言われましたが、「無駄になるから、やめよう」って伝えましたw
そんな世界で葬儀屋さんって仕事をしているのです。
ハルシネーションなんか当たり前なんです。
世の中の人たちはその臨機応変に葬儀屋さんが処理していることは理解していないわけです。
1＋2＝3ではないから。
1.7＋2.3ー0.9＝3.1にしてからお客さんに3です（または4です）って伝えるのが葬儀屋さんなんです。
何しろ、田口先生のこの記事を読んでいただきたいです。
理解ができなければ、Google NotebookLM にぶち込むとか、ChatGPTに要約してくれって頼んでください。
私の説明よりずっといいだろうからwwwwww