公司名称：某大型研究院
工作地点：北京
岗位职责：
1. 负责大数据产品需求分析、开发和建设
2. 负责提供数据分析处理解决方案
3. 参与公司大数据平台的设计和建设
4. 参与数据仓库建设工作，完成数据集成、处理。


任职要求：
1. 有3年以上实际工作经验，熟悉整个大数据的完整处理流程，包括数据的采集、清洗、预处理、存储、分析挖据、机器学习和数据可视化;
2. 对大数据基础架构和平台有深刻理解，对大数据的发展方向具备前瞻性、对大数据生态体系有深入认识，熟悉Hadoop相关各种开源项目，掌握Hive、Spark、Streaming、Storm、Kafka等数据处理核心组件。
3. 熟悉各种离线采集和实时采集组件的使用和组合搭配方案;
4. 熟悉各种存储和计算组件的使用和组合搭配方式;
5. 对Linux操作系统熟练掌握，熟悉shell脚本编程;
6. 至少熟练使用Java、Python、C++的一种，能够完成数据预处理等常规工作.