[repost ]大数据工程人员知识图谱

original:http://yanbohappy.sinaapp.com/?p=418 在企业里面从事大数据相关的工作到底需要掌握哪些知识呢？我认为需要从两个角度来看：一个是技术；一个是业务。技术上主要涉及到概率和数理统计，计算机系统、算法和编程等；而业务的角度呢则是因公司业务的不同而异。对于从事大数据的工程人员来说，需要学会使用数据挖掘方法在计算机系统和编程工具的帮助下解决实际的问题，这样才能够在海量数据中挖掘出业务增长的助推剂，才能在激烈的市场竞争中为企业创造更多的价值。 因为业务会因公司的不同而不同，但是技术点是想通的。我在这里简单总结了一下大数据相关工程人员需要掌握的技术相关知识点。主要涉及到数据库、数据仓库、编程、分布式系统、Hadoop生态系统相关、数据挖掘和机器学习相关的基础知识点。当然我这里列出来的应该是一个team的人员汇集在一起所具备的，每个人会因在团队中的角色不同而有所侧重。在此剖砖引玉，欢迎大家发表意见。 Topic Content Key points Reference DB/OLTP & DW/OLAP Database/OLTP basic The relational model, SQL, index/secondary index, inner join/left join/right join/full join, transaction/ACID Ramakrishnan, Raghu, and Johannes Gehrke. Database Management Systems. Database internal & implementation Architecture, memory management, storage/B+ tree, query parse /optimization/execution, hash join/sort-merge join Distributed and parallel database Sharding, database proxy [...]



via WordPress http://blog.newitfarmer.com/big_data/bigdata-common/13217/repost-%e5%a4%a7%e6%95%b0%e6%8d%ae%e5%b7%a5%e7%a8%8b%e4%ba%ba%e5%91%98%e7%9f%a5%e8%af%86%e5%9b%be%e8%b0%b1#utm_source=rss&utm_medium=rss&utm_campaign=repost-%25e5%25a4%25a7%25e6%2595%25b0%25e6%258d%25ae%25e5%25b7%25a5%25e7%25a8%258b%25e4%25ba%25ba%25e5%2591%2598%25e7%259f%25a5%25e8%25af%2586%25e5%259b%25be%25e8%25b0%25b1