实现网
python爬虫 项目制
Python
mysql
scrapy

2、精通Python开发语言。 3、熟练掌握一种开源爬虫框架,如scrapy、webmagic,有研发爬虫框架经验者优先。 4、 熟悉Appium、Selenium等技术 5、善于独立分析并解决核心问题,如JavaScript反爬、爬虫策略、防屏蔽规则、验证码识别技术等 6、熟悉mysql 采集: 1. 采集直播平台新主播开播数据(抖音.陌陌.火山.全民K歌.全民小视频.腾讯Now.西瓜视频)每五分钟采集一次. 2. 采集抖音短视频(点赞数.粉丝数.评论内容/评论数.转发数) 3. 分类出每日每周每月热门视频及用户 4. 采集内容为(直播间ID.直播间人气.主播时长.主播礼物值) 5. 采集到以上内容后存入数据库自定义清理采集数据清理时间 6. 按开播时间.主播礼物值.主播时长.直播间人气由低到高的排序 7. 后台管理端分配员工账号 提示: 1.从排序先后建立后台提醒功能.例如礼物值100以下的后台弹出提醒为红色/语音.礼物100以上的弹出提醒为黄色/语音.礼物值1000以上的为绿色/语音. 监测: 1. 在平台检测指定ID主播是否开播。 2. 自定义添加监测抖音号粉丝增长,作品点赞.作品评论数/评论内容,转发量(以图标形式展现) 3. 监测数据存入单独的数据库 4. 生成自定义时间监测报表 http://dy.myleguan.com/#/member/myAccount https://mcn.suantao.com/#/anchor/anchorList 两个参考站

预估 1000 元

已有2人投递
管理聚合平台的网关,要求使用GO语言 项目制
GO语言
性能调优

管理聚合平台的网关,功能有点类似Nginx,即是后面web应用通过这个前置的网关,反向代理,进行流量分发。同时,网关做好用户合法性校验,如果用户的请求没有带上地登录的token标识,就不让通过,直接将请求导向到登录页面。  另外,就是其他的可维护性的需求,后面web应用如果监控心跳不再,就自动断链。  管理聚合系统中的统一网关负责整体流量出入口,所有访问流量通过网关。网关负责鉴权与分发。 统一的公网流量出入口:所有公网访问流量(请求)全部统一经由网关接入后,由网关转发到对应各应用系统(内网环境),后台系统处理结果统一经由网关返回给请求端,以此实现统一流量入/出口访问控制。  登录检测及登录引导:访问请求在到达网关时,网关需要检测用户请求是否合法(登录用户请求)再进行后续访问转发,对于未登录的非法请求,网关将会引导用户进行登录认证,待完成登录认证后再跳转到请求访问位置进行后续访问操作。 登录用户信息、token及签名管理:用户登录时,网关从登录服务模块获取并缓存登录用户信息、生成用户登录token等数据,在转发请求时,在请求头或cookie里添加设置必要的用户信息、token等数据传带给后台业务系统以便后台系统对用户登录态、访问权限等的判断控制。  网关策略同步:定时从redis同步接入App的转发策略并在策略发生改变后自动热重载网关策略。(管理系统提供api接口或者管理系统写入DB、网关定时从DB同步)。  会话超时检测:网关能够对用户会话进行超时检测,同时支持两种检测1.本次登录用最大的使用时长,2.用户最后一次操作的时长。对两种检测,任意一种检测超时者,都统一重定向到门户管理系统的登录页面,让用户重新登陆。  监控统计及统一日志:统计用户登录、访问系统等各类请求量数据上报监控统计系统,记录用户访问日志、系统运行状态日志等上报到统一日志服务用于协助事后问题定位处理。 web应用心跳检测下线,有统一的运维系统,当发现后面的部件不可用,则要求能够自动下线丢弃对应的转发请求。

Small 6cf31b0cf0ee617b90e7bcf6df4e48b9
昵称登录后显示 大约 1 个月前发布

预估 11000 元

已有3人投递

我是技术人才
我在寻找兼职工作

申请成为技术顾问

我是创业者
我在寻找技术人才

发布用人需求