爬虫掌握scala/java等编程语言，理解JVM原理以及常见GC原理，
熟悉linux，理解常用算法、数据结构，
理解并熟练使用数据挖掘、机器学习常用算法（Naive Bayes、Kmeans++、LR、KNN、随机森林、Item-based CF、FP-Growth）熟练使用spark2.0.0 ML进行特征处理以及算法应用
理解HMM（隐马算法）原理并能使用常见NLP工具（Jieba、Hanlp）进行文本处理，
理解并掌握Hadoop、yarn、spark、hive等开源框架，
熟悉spark、hive常用调优方法，
熟悉Kafka、Flume等开源工具，理解数据仓库原理，
熟练使用HBase、MongoDB等非关系型数据库的常用操作，具有较强的理解能力、学习能力，以及分析问题、解决问题的能力。

！！！！！！！！企查查、淘宝、大众点评，招聘网的爬虫都没问题！！！！！！！！！！！！！！！！！！！
网数据仓库的搭建与维护，个性化推荐系统的开发，以及基础数据挖掘与数据的智能应用
完成工作：1.独自完成从0到1 xx网的数据仓库的搭建，包括核心数据的采集、数据仓库的分层加工以及常规日报周报等报表的开发，主要使用hive/spark SQL。
2.负责xx战略性产品人才图谱的核心数据开发工作，使用spark dataframe加工处理。
3.负责xx简历核心字段的挖掘填充，构建xx用户画像，使用spark ml进行特征处理以及分类聚类，使用Jieba、Hanlp等常见nlp工具进行文本的加工处理。
4.完成从0到1xx用户促活推荐系统的搭建，核心数据开发，负责推荐系统候选集的召回，以及LR排序部分的特征处理工作，A/B test效果的追踪。