实现网
高级爬虫工程师 远程全职

高级数据采集工程师(中国互联网数据采集 / 自动化监控方向) 工作地点: 西安/远程 工作性质: 全职 / 兼职 / 项目合作均可 【关于我们】 我们是一家来自北欧的品牌保护公司,为全球知名品牌提供电商平台、社交媒体及直播平台的品牌监控、数据分析及侵权治理解决方案。随着中国直播电商和社交电商的快速发展,我们在上海和西安设立研发支持团队,现寻找熟悉中国互联网生态的开发工程师。 【我们正在寻找什么样的人】 我们需要一位熟悉中国互联网生态、善于解决复杂技术问题的开发工程师,共同打造下一代智能品牌监控系统。 我们的核心目标很明确:建立一套稳定、高效、可扩展的自动化品牌监控解决方案。 我们不限制技术路线,无论是官方API、第三方数据平台、浏览器自动化、协议分析还是AI技术,只要能够有效解决业务问题,我们都愿意一起探索。 【您将负责的工作】 1. 自动化直播监控 · 研究并实现抖音、淘宝、快手、小红书、视频号等主流直播平台的自动化监控方案 · 稳定获取直播间商品、价格、销量、主播信息等数据 2. 电商平台数据采集 · 负责淘宝、天猫、京东、拼多多、1688、闲鱼等平台的数据获取 · 实现商品Listing的自动发现、持续监控与更新 3. 数据获取方案研究与选型 · 评估官方API、第三方数据平台、浏览器自动化、JS逆向、AI/OCR等多种技术路线 · 针对不同平台选择最优方案,平衡稳定性与开发效率 4. 自动化能力建设 · 持续优化采集稳定性,应对平台反爬策略 · 设计自动化采集流程,提升系统覆盖率与自动化程度 5. 产品研发支撑 · 与产品团队协作,将数据能力落地为“侵权商品自动发现”“品牌Logo自动识别”“监控报告自动生成”等产品功能 【我们希望您具备】 · 3年以上数据采集/爬虫开发经验,熟悉中国互联网生态 · 掌握Python(Java/Go亦可),熟悉Scrapy/Requests/Playwright等框架 · 有主流电商或直播平台(抖音、淘宝、快手等)的实际采集经验 · 具备反爬对抗经验(验证码、IP封锁、JS混淆、设备指纹等) · 能够独立分析问题,持续尝试直到找到可行方案 · 良好的沟通能力,能与国内外团队协作 加分项(非必须,如有更好) · JS逆向 / APP逆向经验 · AI、大语言模型(LLM)、Agent应用经验 · OCR、图像识别或视频分析经验 · 第三方数据平台使用经验 · 分布式爬虫架构设计与落地经验 【我们能提供】 · 与国际化团队合作的机会,参与全球品牌保护产品研发 · 较大的技术探索空间,不限制技术路线,鼓励创新 · 灵活的工作方式(西安优先,支持远程) · 根据项目成果提供具有竞争力的薪酬和长期合作机会

Small 6cff12b1d8ff990aed72e164edeced80
昵称登录后显示 大约 6 小时前发布

预估 1000元 / 8小时

航电多协议通用系统的设计 远程兼职

航电多协议通用转换系统设计方案 在航电通信中因装备不同,通信方式多样,本系统主要目的是建立通信枢纽中心。可根据具体需求,通过配置通信通道,快速切换数据通信走向。在此基础上可根据系统性能进行本地数据分析或异地数据分析。 一、硬件系统结构 航电通信转换系统以工控机为主体,根据通信端口类型,加载1553B 板卡、RS422板卡、ARINC429板卡、AFDX光纤反射内存板卡,通过数据枢纽调度软件进行数据通信控制。硬件系统结构如下图: 1、 工控主机(基本配置) CPU:4代 Intel® Core i7。 内存:8GB。 硬盘:1T固态硬盘(或磁盘阵列);由数据量和数据库选型决定。 2、 1553B板卡 实现1553B数据总线通信,单功能(支持3种工作模式:1个BC、0-31个RT和1个BM,不可同时工作)、多功能(支持3种工作模式:1个BC、0-31个RT和1个BM,可同时多工作模式),2通道(每通道为A,B双冗余1553B通道),1553B数据总线通讯速率标准为1Mbps。 3、 RS422板卡 高速工业串口卡,8通道,每通道支持RS422,波特率最高可选10Mbps,每通道磁隔离。 4、 AFDX板卡 AFDX网络通信的接口设备,实现AFDX网络数据帧的收发,支持UDP/IP以及ICMP协议,实现AFDX网络通信协议栈功能,符合ARINC664标准。双余度或两个独立的10/100M 可配置AFDX端口,符合ARINC664协议,具有AFDX数据帧收发能力 5、 ARINC429板卡 实现ARINC429数据总线通信,8路收、发通道,波特率支持标准12.5K,48K(或50 K),100K,支持总线模式(穿行)和编码模式 6、 光纤反射内存板卡 光纤反射内存卡1路接收、1路发射,光纤高速网络2.125GHz;动态包长,每隔包4到1M个字节;光纤有效网络带宽50MByte/s;多模管线节点距离300M,单模光纤节点距离10KM。 7、 系统外形设计 系统主机外形目前设计采用4U标准工控机箱,如下图: 二、软件系统结构 系统核心功能在于支持多协议的通用配置协议转换。通过对RS422、光纤、AFDX、ARINC429、1553B通信协议进行解析,提出通用架构,通过可视化界面灵活配置方式解决协议无缝转发和数据采集。思路为,当设备的一个接口接收到数据,按用户配置界面的设置来解包,分析后存入转换数据库,再根据用户的调度配置信息,选择转换协议并匹配新网络协议,通过数据调度模块完成输出协议格式的处理和封包,最终转发至相应端口。同时根据实时接收数据进行采集和监测。 软件分为协议解析层、数据库、应用层,结构如下图: 软件系统结构 1、 协议解析层 协议解析层对RS422、光纤反射内存、AFDX、ARINC429、1553B接口数据进行协议解析,解析后数据存入数据库,同时根据调度软件要求转发至相应端口。 2、 数据库 数据库主要存储三类信息,包括用户对输入和输出协议选择的配置信息库,协议转发的应用数据和设备接口监测信息数据等,性能设计考虑因素是数据量和实时性。 3、 应用层 应用层分为调度配置软件、数据调度软件和数据分析软件。调度配置软件可灵活配置数据走向和相应协议转换。数据调度软件根据调度配置要求高效率转发数据。数据分析软件可以根据用户需要从数据库中读取相关数据进行分析。 三、系统功能设计 1)系统特点 本系统特点在于灵活,在硬件系统构建中,硬件端口具有一定冗余量,根据用户需求,可适当增加通信板卡。在软件结构中,PC端软件升级/更新更易实现。 目前方案是按照单机结构设计,若数据量大、通信频率速率高,则可采用磁盘阵列存取数据,调度配置软件和数据调度软件运行于一台工控机,数据分析独立运行于一台工控机,采取分布式处理方案,提高实时性。 本系统做为数据测试前期方案,具有灵活扩充性、适应性,在被测系统端口、数据确定后,可使用嵌入式方案,使系统小型化、固定化。 2)协议转化软件设计 根据系统要求,通过对各个接口电气特性和数据协议的深入分析,应用工程需求,整体思路是将各个接口输入转化为以太网协议,并通过DDS协议转化后与仿真系统到达互联。也可以将仿真系统DDS协议的数据按各个协议转化后输出。

Small e8a06d33468d850bd4bf8a2afd13d518
昵称登录后显示 接近 5 年前发布

预估 8000 元

已有1人投递

我是技术人才
我在寻找远程工作

技术人才入驻

我是创业者
我在寻找技术人才

发布用人需求