浏览代码

Merge pull request #499 from martindevans/better_batch_processing

Using `AddRange` in `LLamaEmbedder`
tags/v0.10.0
Martin Evans GitHub 1年前
父节点
当前提交
a8f9262b7f
找不到此签名对应的密钥 GPG 密钥 ID: B5690EEEBB952194
共有 1 个文件被更改,包括 2 次插入2 次删除
  1. +2
    -2
      LLama/LLamaEmbedder.cs

+ 2
- 2
LLama/LLamaEmbedder.cs 查看文件

@@ -75,8 +75,8 @@ namespace LLama
n_eval = batchSize;

batch.Clear();
for (var j = 0; j < n_eval; j++)
batch.Add(tokens[i + j], n_past++, LLamaSeqId.Zero, false);
batch.AddRange(tokens.AsSpan(i, n_eval), n_past, LLamaSeqId.Zero, false);
n_past += n_eval;

var returnCode = await Context.DecodeAsync(batch, cancellationToken);
if (returnCode != 0)


正在加载...
取消
保存