极达鑫
101-500人 | 民营 | 机械/机电/重工
工作内容:
1、规划爬虫程序的实现方案,包括架构设计、技术选型等。
2、编写爬虫程序,利用HTTP请求模拟浏览器行为,访问目标网站并抓取所需数据。
3、负责从互联网上自动获取和提取数据,以满足企业的数据分析和业务需求,为企业的决策支持、市场研究、产品优化等提供数据基础。
任职要求:
1、精通至少一种编程语言(如Python、Java等),熟悉正则表达式、XPath等技术;
2、熟悉HTTP协议、TCP/IP协议等网络通讯原理;熟悉MySQL数据库,了解MySQL索引优化、查询优化和存储优化,熟悉大数据开发框架;
前期需到上海工作2个月,包住宿有生活补贴
上海叨零叨网络科技有限公司
50人以下 | 民营 | 软件
岗位职责:1、负责爬虫、逆向相关技术的研究和实现工作,比如APP逆向破解、小程序破解、分布式爬虫、验证码破解、反爬机制的研究等等。2、设计爬虫策略和防屏蔽规则,提升抓取的效率和质量。3、负责公司爬虫的核心算法以及策略优化,熟悉采集系统的调度策略。4、负责现有部分爬虫的完善、维护工作,实时监控爬虫的进度和*报反馈,提升爬虫系统稳定性、可扩展性。5、能独立解决实际开发过程碰到的各类问题。任职要求:1、本科及以上学历,计算机相关专业;2、至少3年及以上爬虫逆向经验;3、精通Python/Java语言至少一种,具有扎实的计算机基础和编程能力,熟悉常见的算法与数据结构,具有优秀的逻辑思维能力;4、熟悉A...
成都嘉程电子技术有限公司
50人以下 | 民营 | 通信/网络设备
职位要求:职位描述我们的公司正在寻找一位爬虫工程师,负责开发和维护公司的爬虫程序。职位的限制是不要有相关的工作经验。主要职责:*开发和维护公司的爬虫程序,包括从网站上抓取和提取数据的自动化工具和脚本;*使用Python编写爬虫程序,了解常用的Webscraping库,如BeautifulSoup和Scrapy;*熟悉数据库系统,如MySQL和MongoDB,能够提取和存储结构化的数据;*了解常用的数据分析和可视化工具,如Pandas和Matplotlib;*熟悉常用的Web开发框架,如Flask和Django,能够编写稳定、高效的爬虫程序;*了解常用的爬虫工具,如Selenium和Puppet...
儒泰律师事务所
50人以下 | 民营 | 法律服务
技能相似
职位要求
编程能力熟练掌握Python编程语言,能够独立编写高质量代码。
数据处理熟悉Python爬虫技术,能够有效地抓取和提取数据。
具备数据清洗的能力,能够处理和整理原始数据,确保数据的准确性和可用性。
机器学习了解机器学习算法的基本原理,能够应用相关算法解决实际问题。
自然语言处理熟悉Word2Vec和BERT模型,能够应用这些模型进行文本处理和分析。
对Transformer模型的结构有一定了解,能够理解其工作原理及应用场景。
大模型训练了解大模型的训练过程,包括预训练、微调(SFT)以及人类反馈学习等方法。
AI模型应用能够使用提示语(Prompt Engineering)有效地利用...
西安君佑电子有限公司
50人以下 | 民营 | 证券/基金/期货
【工作内容】-负责设计和开发高效、稳定的网络爬虫系统,以获取特定网站的数据;-对数据进行清洗、处理和分析,确保数据的质量和可用性;-针对现有爬虫系统的问题进行优化和改进,提高系统的稳定性和爬取效率;-与团队成员合作,共同解决技术难题,提升项目整体技术水平;-持续关注最新的爬虫技术和法律法规,确保项目合法合规地运行。【任职要求】-计算机科学或相关专业本科及以上5,不限工作经验,欢迎应届毕业生;-熟悉Python等编程语言,具备良好的编程习惯和代码规范;-了解HTTP协议、HTML/CSS/JavaScript等前端技术,熟悉网页结构和抓取原理;-掌握至少一种数据库技术(如MySQL、MongoD...
云上航空票务股份
101-500人 | 民营 | 交通运输/物流/快递
1) 负责业务需求调研、跟进,整理输出相关资源、排期的计划;2) 熟悉国内外网站、APP等风控机制和技术,带动团队成员突破技术壁垒;3) 高效组织利用资源,具备详尽的项目任务拆分、跟踪汇报,确保项目正常有序开展;4) 充分利用资源,低成本高效实现高质量的数据服务提高接口,并实时负责跟进项目运营投产效果不断优化改进;5) 全力配合公司规范制度落地,确保信息资料、文档等有效及时归档评审;6) 负责团队技术、业务能力的提升,提高成员产出效率和成功率;任职要求:1) 熟练网页/APP抓取原理及正则表达式、XPath、CSS等抽取技术,以及常见反爬虫机制和性能优化;2) 熟悉多种语言,如:Python、...
岗位职责:1、参与数据抓取程序开发, 具备高效运行;2、基于业务流程,实现对数据分析、清洗、转换以及接口封装等;任职要求:1、熟悉Web前端技术,如JS逆向抓取,了解虚拟化技术以及设备指纹对抗;;2、熟悉GO、Python、Java、JS等任意编程语言, 以及Selenium或Appium自动化测试框架;3、富有责任心,学习能力强,工作积极主动,认真负责高效;敢于接受挑战和承受工作压力的能力,有较强的沟通能力和团队合作精神。
儒泰律师事务所
50人以下 | 民营 | 法律服务
技能相似
职位要求
编程能力熟练掌握Python编程语言,能够独立编写高质量代码。
数据处理熟悉Python爬虫技术,能够有效地抓取和提取数据。
具备数据清洗的能力,能够处理和整理原始数据,确保数据的准确性和可用性。
机器学习了解机器学习算法的基本原理,能够应用相关算法解决实际问题。
自然语言处理熟悉Word2Vec和BERT模型,能够应用这些模型进行文本处理和分析。
对Transformer模型的结构有一定了解,能够理解其工作原理及应用场景。
大模型训练了解大模型的训练过程,包括预训练、微调(SFT)以及人类反馈学习等方法。
AI模型应用能够使用提示语(Prompt Engineering)有效地利用...
德恩斯(重庆)电子有限公司
50人以下 | 民营 | 软件
【工作内容】-设计和实现自动化数据抓取工具,以高效地从互联网上获取所需数据。-分析和理解网页结构,使用Python等编程语言开发爬虫脚本。-优化现有爬虫系统,提高数据采集速度和稳定性,确保数据准确性和完整性。-遵守相关法律法规,确保数据采集过程合法合规。-跟踪最新的网络技术和数据抓取技术,不断提升爬虫系统的性能和效率。-协同团队成员,参与项目规划与执行,共同完成数据采集目标。【任职要求】-计算机科学或相关专业本科及以上5,不限工作经验,欢迎应届毕业生加入。-熟悉HTML、CSS及JavaScript,了解HTTP协议和Web架构。-掌握至少一种编程语言,如Python,具备良好的代码风格和文档...
【工作内容】-设计和实现自动化数据抓取工具,以高效地从互联网上获取所需数据。-分析和理解网页结构,使用Python等编程语言开发爬虫脚本。-优化现有爬虫系统,提高数据采集速度和稳定性,确保数据准确性和完整性。-遵守相关法律法规,确保数据采集过程合法合规。-跟踪最新的网络技术和数据抓取技术,不断提升爬虫系统的性能和效率。-协同团队成员,参与项目规划与执行,共同完成数据采集目标。【任职要求】-计算机科学或相关专业本科及以上5,不限工作经验,欢迎应届毕业生加入。-熟悉HTML、CSS及JavaScript,了解HTTP协议和Web架构。-掌握至少一种编程语言,如Python,具备良好的代码风格和文档...
盛雅环保
50人以下 | 民营 | 环保
一、岗位职责1.负责模块功能的开发、维护、升级和优化,确保系统稳定性和性能。协助团队成员完成项目进度,参与流程和技术优化,最终成果可以以报告的形式体现;2.负责设计和开发搞笑的爬虫设计,用于采集互联网上的公开数据;3.维护和优化现有爬虫程序,提高数据采集的效率和稳定性;4.处理爬虫过程中遇到的各种问题,如反爬虫机制、验证码识别等;二、任职要求1.能独立解决问题,对于系统中的bug能够快速诊断并解决;2.对C/C++、java、python或javascript等编程语言有一定了解并有一定操作基础;3.熟悉网络协议(如 HTTP、HTTPS)和网页解析技术(如HTML、CSS、JavaScrip...
英业达重庆
1000人以上 | 外资 | 通信/网络设备

岗位职责:
辅助进行系统的功能定义,程序设计,需求设计。
根据设计文档或需求文档按时完成软件系统代码的实现,编写代码注释和开发文档
开发维护Web系统及物联网设备集成(含AI模块部署)
构建自动化测试工具链与CI/CD流程
对接工业设备通信协议及数据采集处理
岗位要求:
计算机相关专业,大专及以上学历。
精通Python,熟悉Flask/FastAPI及RESTful开发
掌握OpenCV/PyTorch等AI工具,有项目相关经验优先。
熟悉Docker/Git/MySQL,有数据库使用经验
了解工业协议(Modbus/MQTT)或硬件接口开发
菲欧坦(重庆)数据科技有限公司
51-100人 | 民营 | 互联网/移动互联网
岗位职责1、负责设计和开发分布式网络爬虫系统、技术选型;2、研究爬虫策略和防屏蔽规则,解决封账号、封IP、验证码、混淆加密,页面跳转等难点攻克,提升网页抓取的效率和质量;3、参与分布式爬虫和数据采集系统的架构设计和开发,快速响应业务变动;4、负责网络数据抓取规划、定期爬取指定网站的公开数据;5、参与数据层建设,专注于垂直领域数据爬取,进行多平台信息的抓取和分析;6、对抓取后的数据进行清洗、存储等,并持续优化平台,以便满足各种爬取业务需求;7、研究优化算法,提升爬虫系统的稳定性、可扩展性。任职要求1.熟悉js、html技术,熟悉如何逆向,混淆,熟悉多线程编程技术;2.熟悉浏览器webdriver...
联优广域智能科技
50人以下 | 民营 | 互联网/移动互联网
技能相似
一、熟悉Flask/Django框架,能开发RESTful API
二、 掌握MySQL/PostgreSQL数据库设计与优化
三、了解Docker容器化部署与云服务器配置(AWS/Aliyun)
四、 熟悉Git协作开发与CI/CD流程
五、开发电商平台用户系统(注册/登录/订单管理)
六、设计高并发接口(如秒杀系统)
七、优化数据库查询性能(索引/慢SQL分析)
【薪资待遇及要求】
一、大专及以上,35以下
二、综合薪资8-15k
三、朝九晚六双休五险
(热爱IT行业,愿意在人工智能领域发展者优先)
川亿
1000人以上 | 外资 | 电子/半导体/集成电路

岗位职责:
对公司生产设备进行数据采集并分析
岗位要求:
1.熟练掌握Python编程语言
2.具备扎实的数学和统计学知识,包括线性代数、概率论和统计学等
3.熟悉使用TensorFlow、PyTorch等深度学习框架进行模型开发和优化的能力
4.了解Linux操作系统,熟悉Git版本控制,掌握基本的Linux命令和Shell脚本编程
5.熟悉常用神经网络架构(例如RNN、CNN、Transformer、GAN、GNN),以及常见自然语言处理任务的定义和实现方法。
6.了解人工智能、大模型、deepseek等概念,并熟悉GPT-4.0及其他生成式AI工具的使用
7...
深圳市科力锐科技有限公司
101-500人 | 民营 | 互联网/移动互联网
技能相似
合适的职位少?试试下面的方法
-
1.试试其他关键字搜索
- 留下简历
2.留下简历,我们给你推荐好工作
重庆爬虫开发工程师工资
平均月薪:¥11552
薪资区间:2000-40000元/月
49
个岗位
学历要求分析
重庆爬虫开发工程师需要什么学历?
不限学历占
92.1%
, 大专占
2.6%
, 本科占
5.2%
。
经验要求分析
重庆爬虫开发工程师需要什么经验?
不限经验占
21%
, 1-3年占
28.9%
, 3-5年占
47.3%
, 5-10年占
2.6%
。