LLMに雑談をさせようとすると、あんまりうまくいかない。もっと積極的に、そしてこちらの予想もつかないことを話させるためにはどうするべきか？
適当にネットサーフィンとか青空文庫でも読ませて、コンテキストを「汚染」するべき？ たぶんその方向性はあっていて、本テキストをこちらの会話内容以外のものから入れて、もっと多様な、記憶というか文脈を、変なもの、特殊なものにさせないといけない。
その一つとして俺が思っているのは、乱数で例えば「あ」とか「タ」とかを生成して、その5文字を頭文字にした単語をいくつか作る。さらに、その5文字のうちどれかを使って文章を作る。そういうことをやった後で、それらについて雑談する、みたいな工程を一回挟む。
つまり、決定論的な過程によってランダムを無理やり作る。それによって雑談の独自性や独創性を上げる必要があるのかなと思う。
これって人間でもやっていて、ランダムなワードメーカーみたいなもので適当に複数の単語を出力して、それらを組み合わせて新しいものを発見する、というのはよくある手法なんだけど、その応用みたいなことができるんじゃないかなとはちょっと思ってる。
あと、人間において雑談が面白く感じるのって、その人が自分とは違う体験をしているからだと思う。ってことは、AIというかLLMエージェントにおいても、自分とは全然違う体験をさせる必要がある。
それをどうやるかとなると、やっぱりこの現実世界に放流することなんじゃないかと思う。現実世界こそが一番ランダム性を生み出しやすい場所なので、そこに何らかの形で参画させて、そこでコンテキストを「汚染」する必要があるんじゃないかなと思うん。
それこそSNSとかに放流して体験を蓄えさせたり。そうしないと、なんかつまらないエージェントにしかならない気がする。