钱老师

楚门智能创始人，昆士兰理工大学数据科学硕士，前阿里高级研发工程师，Cloudera认证讲师，Cloudera认证大数据管理员；多年大数据行业经验，原联想电商大数据平台负责人，主要科研方向为数据科学，在自然语言处理领域有资深的经验,参与过多个百亿级别得大数据项目，操作过真正得大数据集群。并拥有咨询、大数据产品设计、商务等多方面得资深经验。擅长Spark、Hadoop等平台架构，讲课风格幽默风趣、实战为主。

国内首批获得美国cloudera 认证大数据架构师

精通课程

Spark相关技术

数据挖掘

Java及数据架构

Python高级开发系列课程

Android

大客户培训经验<部分>

中国电子科技集团公司第28所-----------------云计算架构与实践

华为终端有限公司-----------------大数据助力用户行为分析

广州民航信息技术有限公司-----------------Hadoop 调优与集群管理

广东省通信产业服务有限公司朗讯-----------------大数据最佳实践与建设技术

中国农业银行北京分公司-----------------金融大数据的困扰与解决方案

广东电信-----------------云计算与大数据对电信的影响及技术架构

……..

项目经验<部分>

项目经验

2014年至今：联想网络监控大数据平台-Spark

2014年至今：联想自然语义分析平台

2012/2-至今：某金融行业海量数据分析与存储平台

项目描述：某金融企业海量数据分析与存储平台，目前处于POC阶段，主要用来解决大数据环境下，金融行业面对的挑战与成本问题

责任描述：架构设计，重要模块实现，Python 构建的核心算法模块

2012/5-至今：某国企知识库系统

项目描述：基于云搜的一个企业应用，主要用来处理企业内部文档搜索的需求

责任描述： 需求调研，架构设计，Python 构建的核心算法模块

2012/1-至今：云计算实时分析ETL系统

项目描述：该项目为海量数据实时分析系统，可以处理实时数据分析的需求，如数据统计，网站分析数据统计等

责任描述：架构设计

2011/9-至今：云搜

项目描述：该项目为解决大数据时代海量数据搜索而设计，解决了原有基于Solr等搜索的局限性与问题

责任描述：架构设计，Python Django架构设计

2011/5 --至今：某国企指纹智能匹配平台

项目描述： 匹配指纹系统.系统能力达到2千万条指纹数据通过算法匹配,5秒内返回结果.

责任描述： 架构设计，Python 构建的核心算法模块

2011/1 --至今：海量数据实时分析平台

项目描述： 该项目是我们自主研发的产品,全称为海量数据实时分析系统.系统实现目标为,对很多日志进行实时的统计,如网站的PV,UV,分类的排名等.实基于日志的统计信息,能够实现准实时的显示统计结果,实现业务包括网站的PV,视频,广告点击率等.功能强大,具有高可靠性,强扩展性.

责任描述： 架构设计,研究

2011/1 --至今：海量数据自动部署与智能运维平台

项目描述： 该项目为云平台自动部署运维平台，可以通过简单的配置，自动安装所有云平台的组件。提供强大的运维功能

责任描述： 架构设计研发

2010/6 --至今：某国企电力项目海量数据收集分析

项目描述： 该项目为统计某地单位时间内全部电表用电量情况。数据规模：3千万数据收集点 每分钟9千万数据需要入库 并同时产生实时分析数据结果，包括用电量等

责任描述： 架构设计，Python 构建的核心算法模块

2010/4 --至今：大数据平台

开发工具： java shell

项目描述： 该项目为海量数据挖掘系统。采用了Hadoop 作为文件系统，并且采用了HBase hive作为分析工具 与 分布式数据库。对Hadoop等有长时间的研究

责任描述： 架构，优化，研发

2009/10 -- 2010/3 ：XXX号码百事通预定平台

项目描述： 该平台为XXX电信 官方预定平台，包含吃住行游购娱，多方面咨询及预定服务，同时整和了支付宝，翼支付等第三方支付平台。项目中涉及到webservice freemaker等技术，包含了多平台整和 其中有.net PHP

责任描述： 该项目中，担任了项目经理 主要是作了 单点登陆的实现，解决了跨平台webservice速度慢的问题，数据库的优化，SQL语句的优化，并开发了工具类库

2009/6 -- 2009/8 ：XXX移动身份与认证管理平台手机客户端

开发工具： android2.1

项目描述： 该项目为移动身份认证管理平台手机客户端实现 包括ssl telnetd登录 配置服务器等功能

责任描述： 本客户端中 为项目经理 软件的设计开发 与客户的协调工作

2009/5 -- 2009/12 ：XXX人寿身份与认证管理系统

软件环境： Windows server 2003 , Weblogic 8.x ，Spring2.0 ，Struts,Hibernate

硬件环境： WINDOWS B/S ， CVS

开发工具： JAVA(JDK1.5.8),采用MyEclipse6.0等工具开发

项目描述： 该项目为XXX人寿的资源 身份认证管理系统

责任描述： 需求调研，网元模块开发

2009/4 -- 2009/10 ：XXX移动短信动态网关认证平台

项目描述： XXX移动短信动态网关认证平台.是为解决移动集团用户通过VPN登录集团时，忘记密码的情况而开发的一款中间件，现该产品在移动内部使用，稳定运行，分1.0，2.0两个版本，主要应用技术有webservice等，认证产品为cisco acs。主要采用的线程池，缓冲队列来解决项目中并发数的问题，采用的是LDAP，数据库采用SQLSERVER。对并发量的控制有自己的见解

责任描述： 负责设计，开发，需求调研等。全权负责开发工作，负责所有功能的开发，包括下发短信，取回密码，VPN登陆

2009/1 --至今：XXX移动身份与认证管理平台

软件环境： apache jboss

开发工具： apache jboss

项目描述： 简称为全网4a 我主要参与了3。0 3。1 版本的开发 而且对产品升级提出了自己的见解，获得领导的表扬。实现了对移动身份及资源的管理，具体资源包括网元等核心设备。实现了自动代添等功能，解决了移动账号口令认证管理多方面需求 涉及到东西很多包括各种网元客户端 及各种操作系统，同时包括安氏防火墙，安盟认证等第三方安全产品,同时该项目数据库为posgre 身份存储为ldap。 项目中 我整和了安盟产品，并且开发了网元模块

责任描述： BS方面：参与系统的设计工作 需求分析，详细设计，权限的设计，登陆模块，并且开发了流程管理，审计管理模块，并且参与用户沟通，并对组内成员进行辅导，技术难点攻克。CS:方面 运用c++代添组件的开发 包括华为

2008/9 -- 2008/12 ：XXX联通合同管理系统

项目描述： XXX联通合同管理系统 是XXX联通客服服务部为了将XXX联通的合同录入 修改查看，数字化 并可以进行网上审批 而委托我们做的一个简单的合同管理系统，属于OA的一部分。由于该项目为黑龙江省联通分公司的需求，所以整个系统的需求，设计，代码，实现都是由我们委派到黑龙江的项目组来实现。项目中，由于具体业务的需求，我们采用的是我来封装的struts框架，spring框架，及现有的hibernate来实现。

责任描述： 该项目中，由需求分析，软件的设计，是由我来做，并且实现了一部分代码功能，由我的同事来完成其他的工作。整个项目采用比较流行三层架构即view层 service层 dao层，整个项目的接口由我设计