IT RAGを開発してみたい!ので簡単なものでもいいので作ってみよう!part10 完 RAG開発の一旦終了と成果物の共有とりあえず目標としていたものが完成したので開発はこれで一旦終わりとします。完成して動いたものを動画にして3つほどはります。動画の内容とモデルの読み込みファイル数別に動画を取ってみました。ベクトルモデルの読み... 2024.05.31 IT
IT RAGを開発してみたい!ので簡単なものでもいいので作ってみよう!part9 一旦行き詰ったのでここまでを記録として残しておきます。行き詰った内容としてはローカルで実行できないこと、無料枠のcolabを利用してもダメだったことです。今回実施した内容としては以下ベクトルデータベースの完成生成モデルを利用して質問+ファイ... 2024.05.24 IT
IT RAGを開発してみたい!ので簡単なものでもいいので作ってみよう!part8 前回問題としていたベクトル化についてですが解決して、ようやく2つ目の目標が終わりました!まずはこちらをご覧ください。こんな感じになりました。今はまだファイル数は20~30なのでまだまだ足りませんが、前回に比べるとかなりましになりました。今回... 2024.05.14 IT
IT RAGを開発してみたい!ので簡単なものでもいいので作ってみよう!part7 目標としていた部分が完成したのでデモ版という形でお見せしようと思います。想定していた形が取れたので割と嬉しいですね!ただ、上記はファイルが2つの場合でこのくらい時間がかかっています。次はファイルが5つの場合です。かなり時間がかかってますね。... 2024.05.09 IT
IT RAGを開発してみたい!ので簡単なものでもいいので作ってみよう!part6 PCが故障したという話をしたのですが、コンセントから電源が抜けてたというオチでした。なのでRAGの開発を再開しました!前回開発した部分は質疑応答画面の作成今回開発する部分は画面(Next.js)から送られるデータを受け取るエンドポイントをF... 2024.05.04 IT
IT RAGを開発してみたい!ので簡単なものでもいいので作ってみよう!part5 さて前回までやったこととしては全データのベクトル化(途中で断念)画面の作成(Next.jsのインストールと起動)というところまでやってみました。今回は質疑応答画面の作成というところまでやってみます。Next.jsは初めて触るので進みが遅々と... 2024.04.22 IT
IT RAGを開発してみたい!ので簡単なものでもいいので作ってみよう!part4 前回で一通り作りたいものが作れたのでこの先はWebアプリ化できないかな~?という緩い感じで進めていこうと思います。前回行ったのは検索クエリのベクトル化コサイン類似度の計算今回行ったのはpdfファイルの全データベクトル化(途中で断念)Web画... 2024.04.19 IT
IT RAGを開発してみたい!ので簡単なものでもいいので作ってみよう!part3 このpartで目標としていた基本形は作れたことになります。簡単な質問で"タイトル"と"内容"が返ってくるものになります。前回やったのは特殊文字の削除大文字小文字統一ベクトル変換今回行ったのは検索クエリのベクトル化コサイン類似度の計算になりま... 2024.04.14 IT
IT RAGを開発してみたい!ので簡単なものでもいいので作ってみよう!part2 このpartで基本が8割がた作れました。内容としては簡単な質問をすると"タイトル"と"内容"が返ってくる程度です。まだまだ理想には遠いですね。前回やったのはPDFファイル読み込みページ番号取得と削除色んな空白を削除今回行ったのは特殊文字の削... 2024.04.13 IT
IT RAGを開発してみたい!ので簡単なものでもいいので作ってみよう!part1 大規模言語モデルが出てきてChat-GPTやGemini、Claudeが出てきましたが、"ハルシネーション"は中々解決できない問題ですね。人間でも勘違いや嘘を堂々と言うことはあるのでどっこいどっこいですが、なるべくなら減らしていきたいですね... 2024.04.07 IT