キーワード: LangChain, SpaCy, HuggingFace, NLTK, Llama-Index

• 企業の歴史や知識を活かした、効果的な質問応答システムの構築
• 社内技術レポートや顧客対応履歴にもとづいた質問応答システムの構築
• AI アシスタントの記憶管理と安全策の実装
• 連続した記憶を持つ AI アシスタントの構築
• ChatGPT スタイルの先進的なインターフェース開発
• プロンプト保存、共有等の機能の開発

キーワード: Vision Language Model, Autonomous Agents

• 新しい自律エージェントの開発
• AutoGPT, babyAGI 等のカスタマイズにより、市場調査、文献調査等を自動化
• Multimodal Embedding によるマルチモーダル処理の実装
• 埋込ベクトルを経由した、画像を入力可能なチャットボットの実装
• 既存アプリケーションへのチャット インターフェースの追加
• 自然言語によるチャット インターフェースを既存アプリケーションに追加

キーワード: Local LLM

• オンプレ環境で動作するローカル LLM の実装とチューニング
• 機密データを外部に公開せずに使用できるチャットボット システムの開発
• オンプレ環境で動作するリアルタイム議事録生成システムの開発
• ローカルで動作する音声認識モデルを使い会議音声から議事録を生成
• 固有表現抽出にもとづいた非構造化データの匿名化
• 非構造データ中の人名、地名、住所などを匿名化し、AI 開発外注を効率化

キーワード: Ray, Kubernetes, TensorFlow, JAX, PyTorch

• Transformer メカニズムの高速化
• 大規模 ETL 開発
• LLM の分散トレーニング
• 言語モデル内のトークン間のアテンションの視覚化
• カスタムドメインの大規模言語モデルのファインチューニング

LLM を用いた大規模非構造データからの質問応答

大規模言語モデルを用いて、ファインチューニングなしに大規模な非構造データに対する質問応答を可能にするシステムを構築し、その精度を評価しました。

大規模言語モデルの応用においては、入力トークン数の制約がボトルネックとなりますが、ドキュメントをベクトル データベースに格納し、必要に応じて探索しコンテキストに加えることで、この問題を回避することができます。

＜開発環境・技術分野: GPT-4, LangChain, Llama-Index, in-context learning, embedding, Semantic Search＞

LLM を再帰的に利用した自動計画システム

大規模言語モデルの出力を再帰的に詳細化することで、ソフトウェア開発分野の自動計画を行うシステムを構築しました。

本システムは、ソフトウェアの要求仕様を入力として与えると、GUI 上で対話的に要求の詳細を確認しながら、目標達成に必要なタスクへの分解を行います。実際に弊社での業務に使用しています。

＜開発環境・技術分野: 大規模言語モデル, Autonomous Agents, トークン圧縮, プロンプト エンジニアリング＞