Path: llmnpc / llama.cpp / ggml / src / ggml-cuda / softmax.cuh (raw)

1#include "common.cuh"
2
3#define CUDA_SOFT_MAX_BLOCK_SIZE 1024
4
5void ggml_cuda_op_soft_max(ggml_backend_cuda_context & ctx, ggml_tensor * dst);
6
7void ggml_cuda_op_soft_max_back(ggml_backend_cuda_context & ctx, ggml_tensor * dst);