Skip to content

About

An experimental LLM platform for local and cloud inference, chat, RAG, agents and tools, guardrails, security, monitoring, evaluation, LLM-as-a-Judge, and research into original features.

Resources

Stars

0 stars

Watchers

0 watching

Forks

 
 

Repository files navigation

MARGPA Runtime LLM

本Projectはまだ開発途中です。現在の実装状況および今後の予定は、Roadmapをご確認ください。

本Projectは、動作、可用性、継続性、互換性、正確性、安全性および特定目的への適合性を保証しません。

Public Demo

匿名で利用可能なPublic Demoを公開しています。

公開デモURL: https://7861-01kyc9kdceq27tpty2nk3dpwbb.cloudspaces.litng.ai

留意事項: Lightning AIの性質上、起動に10分程度かかる場合があります。また、現在の環境上の制約により、動作は遅くなっています。将来的に高性能Model、高性能GPUなどへ変更する予定です。

Public Demoは研究開発中の環境であり、機能、利用条件、利用可能時間および制限は予告なく変更される場合があります。

共有について

当Organization内の公開情報およびデモ環境は、作者個人情報、その他識別可能情報などを意図的かつ機械的に削除済みであり、採用または共同研究を目的とした組織内外での共有が可能です。

macOS/Finder Artifact、macOS拡張属性、画像Metadata などのファイルやメタデータも削除済みです。

概要

MARGPA Runtime LLMは、LLMを利用した対話、情報参照、外部機能連携、評価および運用を行うためのLLM Platformです。

Local環境、Server環境およびCloud環境での利用を想定し、用途や実行環境に応じてModel、Backendおよび実行設定を変更できる構成を段階的に整備しています。

また、一般的なLLM Platform機能の開発と並行し、Nazuna Research独自の機能群を順次追加します。

詳細は、Overviewをご確認ください。

現在利用可能な機能

  • Local環境でのLLM実行
  • CLI
  • Web UI
  • Streaming応答
  • 生成停止
  • 複数Turnの対話
  • 日本語/英語対応
  • 回答要約
  • Markdown表示
  • Message Copy
  • macOSおよびLinux環境での動作
  • CPU、MetalおよびCUDA環境
  • 認証付きPreview
  • 匿名Public Demo
  • Documentation RAG

現在のModelおよび技術構成は、Platformの開発、動作確認および機能検証を行うための初期構成です。進捗に応じて、一部を再構成する予定です。

Documentation

内容 Document
Project全体の概要 Overview
Projectの目的および基本方針 Concept
現在の実装状況および今後の予定 Roadmap
現在使用している技術および将来候補 Technology Selection
ModelおよびDocumentation RAGの配置 Model and Documentation RAG Setup
利用規約 Terms of Use
Copyrightおよび第三者成果物に関する通知 Notice
Repository成果物の利用許諾 License
引用情報 Citation

利用条件

現在のRepositoryはResearch Previewとして公開しています。現時点ではOpen Source Softwareではありません。

許可される利用

  • 閲覧
  • 評価
  • 公式Public Demoの使用
  • 採用を目的とした組織内外での共有
  • 共同研究を目的とした組織内外での共有

許可されない利用

明示的に許可された範囲以外の利用は認めていません。改変、一般的な再配布、商用・本番利用、独自Deployment、Re-hosting、Hosted Service化その他の利用には、Nazuna Researchによる事前の書面による許可が必要です。

正確な条件は、LICENSEおよびTERMS_OF_USE.mdをご確認ください。

将来的なOSS化を想定していますが、現在の利用条件が自動的に拡張されるものではありません。

Citation

本Projectを採用評価、共同研究または研究上の参照で扱う場合は、CITATION.cffの情報をご利用ください。

Author

  • Project: MARGPA Runtime LLM
  • Public Author: Nazuna Research
  • Organization: Nazuna Research Labs
  • Repository: nazuna-research-labs/margpa-runtime-llm

English Summary

MARGPA Runtime LLM is an experimental LLM platform for local and cloud inference, chat, RAG, agents and tools, guardrails, security, monitoring, evaluation, LLM-as-a-Judge, and research into original features.

The Project is under active development and is provided without warranty. Current models, features, technologies, execution environments, and usage conditions may change as development progresses.

An anonymous Public Demo is available:

https://7861-01kyc9kdceq27tpty2nk3dpwbb.cloudspaces.litng.ai

The Lightning AI environment may take approximately ten minutes to start, and the current demo may operate slowly because of its available resources.

Documentation

Content Document
Overview of the entire Project Overview
Purpose and basic policies of the Project Concept
Current implementation status and future plans Roadmap
Technologies currently in use and future candidates Technology Selection
Model and Documentation RAG placement Model and Documentation RAG Setup
Terms of use Terms of Use
Copyright and third-party materials notice Notice
License for the repository materials License
Citation information Citation

This repository is currently distributed as a restricted Research Preview and is not open-source software. Viewing, evaluation, use of the Official Public Demo, and internal or external sharing for recruitment or joint-research purposes are permitted. Other uses require prior written permission from Nazuna Research.

See the documentation listed above, the LICENSE, and the Terms of Use for details.

Sharing

Public information and demo environments within this Organization have been intentionally and mechanically stripped of the author's personal information and other identifiable information. They may be shared within or outside an organization for recruitment or joint-research purposes.

Files and metadata such as macOS/Finder artifacts, macOS extended attributes, and image metadata have also been removed.

About

An experimental LLM platform for local and cloud inference, chat, RAG, agents and tools, guardrails, security, monitoring, evaluation, LLM-as-a-Judge, and research into original features.

Resources

Stars

0 stars

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages