1. 负责数据仓库/数据集市整体架构的设计、核心模块的开发和技术难点攻关 2. 对海量数据处理的业务需求进行评估和方案设计、拆分任务并指导工程师完成开发 3. 负责数据融合相关算法在工程上落地实施 4. 建立集群的数据生命周期框架,负责管理数据的生产、数据应用、数据安全及数据质量 5. 了解行业前沿的大数据处理方法和框架
1. 本科及以上学历,计算机、数学及相关专业,4年以上工作经验 2. 熟悉Hadoop、Hive、Hbase、Storm、Spark、kafaka、sqoop、zk、flume的工作原理及应用,且至少2年的HIVE数据仓库项目经历,有较强的设计开发调优能力 3. 精通Linux系统管理,熟练使用shell、perl、python等至少一门脚本语言 4. 有数据融合相关项目经验者优先