LLM作業：雑感

“LLM作業：雑感” に対して6件のコメントがあります。

1. ponlon2000 より:

   2023年12月25日 6:36 AM

   ・langchainで直接動くモデルを探す。huggingfaceをかまさない。
   ・もしかしたらopencalmも直接動いたりして？
   ・(今まで通り)huggingface経由のlangchain

   返信
2. ponlon2000 より:

   2024年1月3日 12:32 PM

   そもそもLLM_BaseとChatModelの（とエンバリッジ）違いがある
   Huggingfaceにあるものの多くはLLM_Base
   langchainのメソッドも上記によって使い分けるのが基本
   ローカルファイル(or url)の読み込みによる学習は、LLM_Baseでも可能？
   次のタスク
   ・LLM_Baseによるローカルファイル(or url)の読み込み
   ・オープンソースのChatModelの探し
   ・オープンソースのChatModelHuggingfaceの探し
   また、
   ・LLM_Baseをソースコードを変更することにより、ChatModel可
   →これは後回し
   また、Argentなどの各種機能があるがこれも後回し

   上記と並行して、Webサービスとして成立させるための、
   ・FastAPIを学習していく
   ・langchainの中に↑上記がなかったか？

   返信
3. ponlon2000 より:

   2024年1月3日 12:57 PM

   LangChain TemplatesでLangChainのアプリをお手軽に作る
   https://qiita.com/sl2/items/da81f0eb0c03c07e32d5

   返信
4. ponlon2000 より:

   2024年1月6日 9:58 AM

   〇第１月(12/15～1/14)の活動を振り返って
   ・LLM(とLangChain)を実際に動かしてみるのは、結構、色んな壁というか、ふえー、というのがありました。
   ・ＧＨＱ焚書の方は、(ある程度は想定してましたが)、どうしても後回しになりましたが、ただ、本によっては、国会図書館からテキストをダウンロードできる、というのが大きな発見でした。そして、パパッと勉強するのではなくて、じっくり、(出来れば他の人と)勉強しようと思いました。
   ・第１月は、年末年始の連休があったので、それなりの進捗を得ることが出来ましたが、今後は、そういう訳にも行かないので、引き続き、プログラム面を進めていくことにしました。

   〇半年後（6/14）のゴール
   ・（ショート動画用の）クックパッドみたいなシステム(のプロトタイプ)
   →ＧＨＱ焚書本にも対応する（国会図書館の情報など）
   ・あらすじ生成ＡＩシステム（LMM活用）(のプロトタイプ)
   →プロンプトエンジニア(LMM)を内包するインターフェイスを実装する。

   〇第２月(1/16～2/14)
   メイン
   ・Django(PythonのWebフレームワーク)
   →ざっくり、クックパッドシステムを作ってみる。
   時間を見つけて
   ・Django REST Framework(DjangoでREST APIを構築するための強力な Toolkit )
   ・FastChat(Local LLMをAPIサーバー化)
   ・LLM(ChatModel)で、実験的に使えるもの
   →FastChatで必要無し？
   ・LangChain(色々ななLLMを扱いやすくするフレームワーク)
   ・llama.cpp(大きなLMMを小さくするフレームワーク)
   ・LoRA(LMMを賢く再調整する手法)
   ・LlamaIndex(外部データとChatGPTのようなLLMを連携させるライブラリ)
   ・ChromaDB(ベクトルDB)
   ・テンプレートエンジン(Jinja2 etc)
   →Djangoの標準機能との比較
   ・Wagtail(CMS)
   他
   ・小説生成AIサービスを使ってみる
   ・音声（変換）AI
   ・国立国会図書館(デジタルコレクション、次世代デジタルライブラリ)
   ・近現代史？サークルや社会人大学院などの調査

   返信
5. 匿名 より:

   2024年1月22日 7:54 AM

   https://prtimes.jp/main/html/rd/p/000000014.000063544.html

   返信
6. 匿名 より:

   2024年1月22日 8:43 AM

   ●あらすじ(小説)生成ＡＩサービス
   ～最初に～
   頂いたフォーマットではありませんが、
   「あらすじ　生成」でググって出て来た代表的なサービスを、
   エンジニア目線で、リサーチしたら、
   ああ、なるほど的な感じになりましたので、共有します。
   ただ、具体的なサービスはちょっとだけ使っただけので、
   多分に私の推測が入っています。

   今回は､｢小説生成ＡＩ｣ですが､
   考え方は、自己紹介生成ＡＩ、でも、ブログ記事生成ＡＩでも
   同じかと思います。
   また、今回は取り上げませんが、
   ブログ記事生成ＡＩサービスや、ビジネス向けのも
   色々ありました。
   ————————————–

   このリサーチを読むには、どうしても、
   「プロンプトエンジニアリング」という考え方(手法)を、理解する必要があります。
   ユーザーとして、ChatGPTを使う上でも、大切なので、これを機会に覚えちゃいましょう！

   プロンプトエンジニアリングとは？
   https://aismiley.co.jp/ai_news/what-is-prompt-engineering/

   さて、個別サービスにおけるLLM(AI脳)の活用ですが、
   開発エンジニア目線で言うと、次の３手法あります。
   1.)独自LLMの開発
   2.)特定の目的(ex.小説生成)の為に、LLMを、再トレーニングする。
   ところで、プロンプトエンジニアリングのリンク先ですが、読まれましたか？
   ・・・ぶっちゃけ、面倒ですよねｗ
   そうなんです、そうなんですよ！
   それで、サービス提供側が、自然なインターフェイスを提供して、
   ユーザーが「プロンプトエンジニアリング」を意識しないように、ユーザーにあれこれ入力させて、
   サービスの内側で、「プロンプトエンジニアリング」して、ChatGptに投げる、
   なことをしているんだな、ということが、今回のリサーチで分かりました！

   3.)内部プロンプトエンジニアリング用のインターフェイスを提供する。

   次のリストは、あらすじ(小説)生成サービスのリストです。
   凡例）サービス名 / 提供会社 / LLM / 上記1.)2.)3.)
   2.)に関しては、HPなどで明示的に、記述されてるものをマークしました。

   ①AI Buncho / インダストリアル・ドリーム株式会社 / japanese-novel-gpt-j-6b / 2.)3.)
   ②AIのべりすと / 株式会社Bit192(Bit192 Labs)、代表のSta氏ひとり / やみおとめ２０B / 1.)? 2.)3.)
   ③オーダーメイドAI / 株式会社AI tech / (有料版は恐らく)ChatGPT / 3.)

   下記は、個人ブログですが、ストーリー作成方法が面白い。
   ④https://ai-blog.top/4638/

   LLM補足
   ①GPT-J-6BをTPUで2週間日本語tokenizerを用いて日本語データで事前学習し、その後2週間小説データで転移学習したものです。
   GPT-J-6Bはオープンソースです。
   ②日本語で史上最大、総2テラバイト以上のコーパスからフルスクラッチで訓練した小説AI
   有料で？(開発者が使用する)APIを提供。

   〇リサーチをしてみて
   ざっと見た感じですが、既存サービスは、私の欲しいものには足りない、感じでした。
   と言っても、生成サービスに何処までやらせるか（判断させるか）な面があるので、
   好みの問題かもしれません。
   もちろん、へえー、こんなことも提供してるんだ、みたいなものもありました。

   ————————————————————-
   「AI Buncho」についての記事
   https://xrcloud.jp/blog/articles/business/11727/

   ————————————————————-

   返信