昵称登录后显示

文本意图识别与事件抽取
项目描述：对特定场景下的用户文本内容进行关键信息的自动化抽取
个人职责：该项目基于句法分析，我在已有基础框架的情况下，进行关键信息抽取的模式制定和编写，并对基础框架进行改进。不断优化已有的模式以及框架，并进行模式的解冲突、泛化以及效果对比迭代等工作。最终在三个场景下的信息抽取综合准确率达到了85%。

日程信息文本分类
项目描述：判断一条query为日程类还是非日程类。
个人职责：用hive从数据库中抽取数据送标。对于标注的3万数据进行数据扩充，形成初步的分类模型,指标为0.81/0.82（准确率/召回率）。为了解决数据集中正例比例较小的问题，先用上一版模型对抽取数据进行预分类，将模型判断为正例的数据进行送标，从而扩大数据集中正例比例。运用fasttext、CNN、BERT等模型进行文本分类。其中在BERT预训练模型上进行finetune，最终准确率为0.87。对CNN进行多组实验、迭代并调整阈值，最终指标提升至0.90/0.92，符合上线要求。

知乎话题爬取：
项目描述：对知乎的多个音乐话题和问题进行内容爬取
个人职责：使用python中的requests和selenium库进行文章标题和内容的获取。知乎中的话题出现方式为每次get出现五个话题并附加下五个话题的url，类似于链表。第一步用requests包先获取全部的话题中的url。然后使用selenium获取指定容器的内容并储存。

垃圾短信识别系统
项目描述：利用带标签的短信数据来识别未分类的短信数据，并实现 web 系统。
个人职责：在项目中用 jieba 开源库对短信文本进行分词并向量化，采用多种向量降维方式和机器学习模型对短信分类， 通过比较f1 值和时间性能来选择准确高效的识别模型， f1 值达到 0.97。 对多种 ML 模型和文本处理有了更广泛的了解和应用。

异常域名检测
项目描述：根据 300 万域名及其少量相关信息，制定方案来检测停靠域名。
个人职责：首先对域名网页的 html 源码和 har 数据进行爬取。通过爬取信息进行特征提取，来扩充属性。 域名检测采用类半监督学习， 制定确定性规则生成有标注数据， 进行 k-means 聚类， 以类簇中多数标签为最终类别。准确率为 0.54，但其中包含其他类型的异常网页，能够为异常域名的发现提供参考。 具备了爬虫技术的使用能力及规范。