如何实现敏感词词库过滤？

坐等 高性能回答

可以了解下 AC 自动机的算法

github.com/FireLustre/php-dfa-sens...

可以使用HTMLPurifier来过滤

es 检索，高亮？

参考：github.com/eddy8/LightCMS/blob/9.x...

用第三方，我用的百度

1. 调用第三方审核接口 比如百度
2. dfa算法 可以自己写 网上也有很多现成的

简单粗暴的设计思路。

• 是对敏感词分类（文件方式）
• 检测用户输入对某类型的敏感词输入（后期对用户行为进行评估）

use SplFileObject;
use Symfony\Component\Finder\Finder;
use Illuminate\Support\LazyCollection;
use Symfony\Component\Finder\SplFileInfo;
use Illuminate\Contracts\Filesystem\FileNotFoundException;

class Sensitive
{
    protected array $items = [];

    public function __construct(string $dir)
    {
        $this->items = collect($this->findFilesByExt($dir, '.txt'))
            ->map(fn($file) => $this->lines($file));
    }

    public function filter($content)
    {
        return $this->items->map(
            fn($lazy) => $lazy->map(
                fn($line) => $line !== '' && str_contains($content, $line)
            )->filter()->all()
        )->filter();
    }

    public function findFilesByExt(string $path, string $ext = '.php'): array
    {
        $files = [];

        $path = realpath($path);

        foreach (Finder::create()->files()->name('*'. $ext)->in($path) as $file) {
            $directory = $this->nestedDirectory($file, $path);
            $files[$directory.basename($file->getRealPath(), $ext)] = $file->getRealPath();
        }

        ksort($files, SORT_NATURAL);

        return $files;
    }

    public function nestedDirectory(SplFileInfo $file, string $path)
    {
        $directory = $file->getPath();

        if ($nested = trim(str_replace($path, '', $directory), DIRECTORY_SEPARATOR)) {
            $nested = str_replace(DIRECTORY_SEPARATOR, '.', $nested).'.';
        }

        return $nested;
    }

    // 引用 laravel filesystem code.
    public function lines($path)
    {
        if (! is_file($path)) {
            throw new FileNotFoundException(
                "File does not exist at path {$path}."
            );
        }

        return LazyCollection::make(function () use ($path) {
            $file = new SplFileObject($path);

            $file->setFlags(SplFileObject::DROP_NEW_LINE);

            while (! $file->eof()) {
                yield $file->fgets();
            }
        });
    }
}

是输入文本的预检测吗？这样的话不适合频繁用后端，可以放前端检测，有类似的js。服务端检测可以试试 scws 中文分词自定义词库。感觉几万条不很多，只要不是循环处理的应该效率问题不大。

来来来，刚好最近做了一个包 packagist.org/packages/mouyong/sen...

api 正在开发中。

github.com/larvatecn/laravel-censo... 拿去不谢，支持腾讯云，百度云，本地词库

阿里云敏感词

你也可以试试这个，能满足你需求。

github.com/Sy-Dante/laravel-sensit...

该包允许在任何地方使用，不依赖任何框架，如 Laravel 框架。

需要自己定义敏感词，也支持你从数据库等其他地方获取敏感词并 动态设置。

可以使用 filter 方法直接过滤敏感词，替换成你指定的文本，如 *。也可以使用 search 方法查出文本包含哪些敏感词后，也就是你说的 关键词词组，然后通过使用 php 函数 str_replace 批量替换，增加 <b> 之类标签自定义高亮。
而且包还支持排除干扰因子，如：你-是-s-a，如果你设置了 - 是干扰因子，sa 是敏感词的话，就能找出 s-a 触发了敏感词。

敏感词插眼

www.cimple.ink/2020/03/29/dfa-with... 看看我的这个