using System; using System.Collections.Generic; using System.Text; namespace LLama { using llama_token = Int32; public record LLamaState(Queue<llama_token> EvalTokens, Queue<float[]> EvalLogits, byte[] State, int Size); }
C#/.NET上易用的LLM高性能推理框架,支持LLaMA和LLaVA系列模型。