实现网
系统架构设计和优化咨询及实现 远程全职

我们是个国企下的技术团队,我们这边有两条技术线: 1. .net技术线,大部分是web应用、Windows应用形式,类似MVC架构,数据库是DBII和sqlserver。涉及账务结算、报表、参数管理、数据传输等。今年的业务系统的数据量激增,将改为PG数据库。原有的数据处理是使用存储过程,存储过程写的很有技巧,最大的存储过程上千行代码。这部分的业务需要重构。由于开发团队的问题,还不能完全转为Java。 2.java技术线。新建系统大部分转为linux服务器上运行的系统。现有一个交易系统采用的是Springcloud的架构。有一个稽查系统以前采用的是。net的web应用,因功能的扩大,拟考虑使用混合开发的模式。 3.大数据应用。已选定并购买华为的大数据平台。需要有过大数据应用业务分析、设计和实现的经验人士,进行稽查、实时交易、业务分析等原来在RSDB上的业务中适合使用大数据平台,或者使用rsdb无法实现的业务在大数据平台的进行实现。换句话说,将适合OLTP和适合OLAP的业务进行分析梳理,分别在各自提系统实现。 对您的期望: 1.项目整体技术架构分析、设计、重构、优化方案等 2.以顾问或项目临时技术负责人形式进行长期合作 3.关键技术点实现 4.咨询建议 5.以上技术线希望您精通其一,精通更多会更好 6.工作时间:每周的工作日至少一天,周末至少一天。下班后我们这边也都有人。时间自由人士更受欢迎。 7.期望口头沟通和文档能力兼备 8.可长期合作

Small 9a8e53d06354c22cb12a05328dc23259
昵称登录后显示 4 年多前发布

预估 2000元 / 8小时

已有3人投递
爬虫工程师 远程兼职
Python
SQL
scrapy、appium、sele

岗位职责: 1、负责各类数据的爬取、接口调用接入,清洗、转换、融合入库以及数据处理性能调优等工作; 2、根据业务、产品和项目相关需求,负责数据验证、数据管理、数据服务接口、数据分析等功能的开发维护工作; 3、根据产品和项目需求,负责Python Web开发维护工作; 4、负责多平台信息爬取和页面内容的提取分析,负责破解各类反爬机制; 5、负责网页的数据抓取和爬取链路优化(包括逆向分析、脱壳、加密参数破解、抓取攻防等),提升抓取能力; 6、研究爬虫策略和防屏蔽规则,解决封账号、封IP、验证码、页面跳转等难点,提升网页抓取的效率和质量; 岗位要求: 1、计算机、数学或统计等相关专业本科及以上学历,3年以上相关工作经验; 2、熟悉linux平台,熟练掌握Python、SQL、ETL数据处理开发工作;熟悉掌握至少一种开源爬虫框架(scrapy、appium、selenium等); 3、能够熟练使用Redis、MySQL、Mongo、ES等数据库工具进行数据处理开发和维护工作; 4、熟练掌握数据处理性能调优,数据清洗、转换、整合等数据管理和维护工作; 5、熟练掌握爬虫采集技术及架构设计,精通瑞数解析的优先考虑; 6、精通动态网页抓取、浏览器模拟抓取、APP抓取等技术,熟悉使用fiddler或其他抓包工具;具有js逆向,app逆向实际解决经验。熟悉js hook原理,熟悉各种反爬风控常见手段; 7、具备大数据处理开发(Hadoop/Hive,Storm/Spark等)相关工作经验者优先考虑; 8、具备良好的编程习惯和逻辑思维能力;有个人相关作品或个人技术站的优先考虑 9、具备创业心态,善于学习,热爱技术开发,善于团队协作,能积极主动地参与公司产品研发等相关工作。

Small b168edf9b9e0fc89449b39299063af53
昵称登录后显示 1 年多前发布

预估 30000 元

已有4人投递

我是技术人才
我在寻找远程工作

技术人才入驻

我是创业者
我在寻找技术人才

发布用人需求