写了一个敏感词过滤的方法

大概逻辑就是:循环敏感词库的内容,然后 1. 直接在用户提交的字符串中匹配 2. 去除特殊符号后匹配 3. 提取其中的中文部分,组成整句,进行匹配 4. 提前英文部分,以单词为单位,进行匹配。 这四种可以想象为四个级别,判断的时候,增加或者减少条件判断,能够调整过滤级别
一般常规的越过敏感词验证是在其中加上干扰符号,例如 一个傻¥%&×叉 ,也有可能是夹杂单词,例如 一个傻tm叉 ,单词中如果是 f-u-c-k ,这样的都可以被处理。越过的方法是夹杂其他语种的词汇就行,例如 é-f-é-u-é-c-é-k-é ,这样的暂时未处理。

代码如下:

// $str = '他是个傻@B bitchSADF啊,傻xx逼! é-f-é-u-é-c-é-k-é?';
if (!function_exists('sensitiveWordFilter')) {
    function sensitiveWordFilter($str)
    {
        // $words = getSensitiveWords();
        $words = ['fuck', '傻逼', 'bitch啊'];   // 建议从文件或者缓存中读取敏感词列表,英文约定小写
        $flag = false;

        // 提取中文部分,防止其中夹杂英语等
        preg_match_all("/[\x{4e00}-\x{9fa5}]+/u", $str, $match);
        $chinsesArray = $match[0];
        $chineseStr = implode('', $match[0]);
        $englishStr = strtolower(preg_replace("/[^A-Za-z0-9\.\-]/", " ", $str));

        $flag_arr = array('?', '!', '¥', '(', ')', ':' , '‘' , '’', '“', '”', '《' , '》', ',', 
        '…', '。', '、', 'nbsp', '】', '【' ,'~', '#', '$', '^', '%', '@', '!', '*', '-'. '_', '+', '=');
        $contentFilter = preg_replace('/\s/', '', preg_replace("/[[:punct:]]/", '', 
        strip_tags(html_entity_decode(str_replace($flag_arr, '', $str), ENT_QUOTES, 'UTF-8'))));

        // 全匹配过滤,去除特殊字符后过滤中文及提取中文部分
        foreach ($words as $word)
        {
            // 判断是否包含敏感词,可以减少这里的判断来降低过滤级别,
            if (strpos($str, $word) !== false || strpos($contentFilter, $word) !== false || strpos($chineseStr, $word) !== false 
            || strpos($englishStr, $word) !== false) {
                return '敏感词:' . $word;
            }
        }
        return $flag ? 'yes' : 'no';
    }
}

github 地址: https://github.com/Alpha2016/pinyin-poem/b...
如果发现 bug,大家提醒我一下的,我在修正,现在没有考虑性能。

本作品采用《CC 协议》,转载必须注明作者和本文链接
Keep Young, Keep Simple.
本帖由系统于 5年前 自动加精
《L01 基础入门》
我们将带你从零开发一个项目并部署到线上,本课程教授 Web 开发中专业、实用的技能,如 Git 工作流、Laravel Mix 前端工作流等。
《L04 微信小程序从零到发布》
从小程序个人账户申请开始,带你一步步进行开发一个微信小程序,直到提交微信控制台上线发布。
讨论数量: 12

敏感词交给第三方吧,自己实现费力不讨好。

6年前 评论

@杨进春 这个是适合用户多的网站,一般的小网站,得考虑让用户爽,少部分过滤就行,为了这个目的,大的网站考虑到zz敏感,第三方是最好的方案。

6年前 评论
fatrbaby

性能怎么样?

6年前 评论

@fatrbaby 应该不会很高,全是循环+正则匹配,适合用户群少的网站,屏蔽一些广告和脏话,zz敏感,还能尽量让用户爽,用户多的,建议第三方过滤,万一封站+逮捕归案就不值得了。

6年前 评论

这里发现一个小小的BUG,如果敏感字在字符串首位,strpos返回0,过滤就会失败,所以应该改成 strpos() !== false

6年前 评论

@KLB 大意了大意了,我改一下

6年前 评论

$flag变量没用到,,

6年前 评论

当你的敏感字词库多了之后就 gg 了.

推荐这个:
https://www.v2ex.com/t/120889

https://github.com/nowgoo/dict

给自己打个广告, 参考上面这个库的实现方式做的一个邮箱地址过滤器:

https://github.com/RunnerLee/email-address...

6年前 评论

@RunnerLee 这个好像很久以前见过,挺好的,谢谢推荐

6年前 评论

@xychenjin 用到了啊,如果没敏感词的话,就继续执行了

6年前 评论

@BradStev $flag值一直是false

6年前 评论

@xychenjin 擦,才注意到,我再修改一下吧,原来写的是返回的不是敏感词是:xx 这样的,是修改一下$flag 这个了

6年前 评论

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容,与人为善,比聪明更重要!