篇一：5速来!数据科学工具包-几百种工具-经典收藏版!
速来！数据科学工具包-几百种工具-经典收藏版！一、数据科学工具包
数据科学融合了多门学科并且建立在这些学科的理论和技术之上，包括数学、概率模型、统计学、机器学习、数据仓库、可视化等。在实际应用中，数据科学包括数据的收集、清洗、分析、可视化以及数据应用整个迭代过程，最终帮助组织制定正确的发展决策数据科学的从业者称为数据科学家。数据科学家有其独特的基本思路与常用工具，秦陇纪全面梳理数据分析师和数据科学家使用的工具包，包括开源的技术平台相关工具、挖掘分析处理工具、其它常见工具等几百种，几十个大类，部分网址，欢迎大家积极传播！
数据科学家是有着开阔视野的复合型人才，他们既有坚实的数据科学基础，如数学、统计学、计算机学等，又具备广泛的业务知识和经验数据科学家通过精深的技术和专业知识在某些科学学科领域解决复杂的数据问题，从而制定出适合不同决策人员的大数据计划和策略。数据分析师和数据科学家使用的工具在网上的MOOC有提供，比如2016年2月1日约翰-霍普金斯大学Coursera数据科学专业化课程等网络课程。数据科学家的常用工具与基本思路，并对数据、相关问题和数据分析师和数据科学家使用的工具做了综合概述。
数据科学家和大数据技术人员的工具包：A.大数据技术平台相关2015最佳工具，B.开源大数据处理工具汇总，C.常见的数据挖掘分析处理工具。
A.大数据技术平台相关2015最佳工具
InfoWorld在分布式数据处理、流式数据分析、机器学习以及大规模数据分析领域精选出了2015年的开源工具获奖者，下面我们来简单介绍下这些获奖的技术工具。
1. Spark
在Apache的大数据项目中，Spark是最火的一个，特别是像IBM这样的重量级贡献者的深入参与，使得Spark的发展和进步速度飞快。与Spark产生最甜蜜的火花点仍然是在机器学习领域。去年以来DataFrames API取代
SchemaRDD API，类似于R和Pandas的发现，使数据访问比原始RDD接口更简单。Spark的新发展中也有新的为建立可重复的机器学习的工作流程，可扩展和可优化的支持各种存储格式，更简单的接口来访问机器学习算法，改进的集群资源的监控和任务跟踪。spark-packages.org网站上有超过100个第三方贡献的链接库扩展，增加了许多有用的功能。
2. Storm
Storm是Apache项目中的一个分布式计算框架项目，主要应用于流式数据实时处理领域。他基于低延时交互模式理念，以应对复杂的事件处理需求。和Spark不同，Storm可以进行单点随机处理，而不仅仅是微批量任务，并且对内存的需求更低。在我的经验中，他对于流式数据处理更有优势，特别是当两个数据源之间的数据快速传输过程中，需要对数据进行快速处理的场景。Spark掩盖了很多Storm的光芒，但其实Spark在很多流失数据处理的应用场景中并不适合。Storm经常和Apache Kafka一起配合使用。
3. H2O
H2O是一种分布式的内存处理引擎用于机器学习，它拥有一个令人印象深刻的数组的算法。早期版本仅仅支持R语言，3.0版本开始支持Python和Java语言，同时它也可以作为Spark在后端的执行引擎。使用H2O的最佳方式是把它作为R环境的一个大内存扩展，R环境并不直接作用于大的数据集，而是通过
扩展通讯协议例如REST API与H2O集群通讯，H2O来处理大量的数据工作。几个有用的R扩展包，如ddply已经被打包，允许你在处理大规模数据集时，打破本地机器上内存容量的限制。你可以在EC2上运行H2O，或者Hadoop集群/YARN集群，或者Docker容器。用苏打水（Spark+ H2O）你可以访问在集群上并行的访问Spark RDDS，在数据帧被Spark处理后。再传递给一个H2O的机器学习算法。
4. Apex
Apex是一个企业级的大数据动态处理平台，即能够支持即时的流式数据处理，也可以支持批量数据处理。它可以是一个YARN的原生程序，能够支持大规模、可扩展、支持容错方法的流式数据处理引擎。它原生的支持一般事件处理并保证数据一致性（精确一次处理、最少一次、最多一次）。以前DataTorrent公司开发的基于Apex的商业处理软件，其代码、文档及架构设计显示，Apex在支持DevOps方面能够把应用开发清楚的分离，用户代码通常不需要知道他在一个流媒体处理集群中运行。Malhar是一个相关项目，提供超过300种常用的实现共同的业务逻辑的应用程序模板。Malhar的链接库可以显著的减少开发Apex应用程序的时间，并且提供了连接各种存储、文件系统、消息系统、数据库的连接器和驱动程序。并且可以进行扩展或定制，以满足个人业务的要求。所有的malhar组件都是Apache许可下使用。
5. Druid
Druid在今年二月转为了商业友好的Apache许可证，是一个基于“事件流的混合引擎，能够满足OLAP解决方案。最初他主要应用于广告市场的在线数据处理领域，德鲁伊可以让用户基于时间序列数据做任意和互动的分析。一些关
键的功能包括低延迟事件处理，快速聚合，近似和精确的计算。Druid的核心是一个使用专门的节点来处理每个部分的问题自定义的数据存储。实时分析基于实时管理（JVM）节点来处理，最终数据会存储在历史节点中负责老的数据。代理节点直接查询实时和历史节点，给用户一个完整的事件信息。测试表明50万事件数据能够在一秒内处理完成，并且每秒处理能力可以达到100万的峰值，Druid作为在线广告处理、网络流量和其他的活动流的理想实时处理平台。
6. Flink
Flink的核心是一个事件流数据流引擎。虽然表面上类似Spark，实际上Flink是采用不同的内存中处理方法的。首先，Flink从设计开始就作为一个流处理器。批处理只是一个具有开始和结束状态的流式处理的特殊情况，Flink提供了API来应对不同的应用场景，无论是API（批处理）和数据流API。MapReduce的世界的开发者们在面对DataSet处理API时应该有宾至如归的感觉，并且将应用程序移植到Flink非常容易。在许多方面，Flink和Spark一样，其的简洁性和一致性使他广受欢迎。像Spark一样，Flink是用Scala写的。
7. Elasticsearch
Elasticsearch是基于Apache Lucene搜索分布式文件服务器。它的核心，Elasticsearch基于JSON格式的近乎实时的构建了数据索引，能够实现快速全文检索功能。结合开源Kibana BI显示工具，您可以创建令人印象深刻的数据可视化界面。Elasticsearch易于设置和扩展，他能够自动根据需要使用新的硬件来进行分片。他的查询语法和SQL不太一样，但它也是大家很熟悉的JSON。大多数用户不会在那个级别进行数据交互。开发人员可以使用原生
JSON-over-HTTP接口或常用的几个开发语言进行交互，包括Ruby，Python，PHP，Perl，Java，JavaScript等。
8. SlamData
如果你正在寻找一个用户友好的工具，能理解最新流行的NoSQL数据的可视化工具，那么你应该看一看SlamData。SlamData允许您用熟悉的SQL语法来进行JSON数据的嵌套查询，不需要转换或语法改造。该技术的主要特点之一是它的连接器。从MongoDB，HBase，Cassandra和Apache的Spark，SlamData同大多数业界标准的外部数据源可以方便的进行整合，并进行数据转换和分析数据。你可能会问：“我不会有更好的数据池或数据仓库工具吗？请认清这是在NoSQL领域。
9. Drill
Drill是一种用于大型数据集的交互分析的分布式系统，由谷歌的Dremel催生。Drill专为嵌套数据的低延迟分析设计，它有一个明确的设计目标，灵活的扩展到10000台服务器来处理查询记录数据，并支持兆级别的数据记录。嵌套的数据可以从各种数据源获得的（如HDFS，HBase，Amazon S3，和Blobs）和多种格式（包括JSON，Avro，和buffers），你不需要在读取时指定一个模式（“读时模式”）。Drill使用ANSI 2003 SQL的查询语言为基础，所以数据工程师是没有学习压力的，它允许你连接查询数据并跨多个数据源（例如，连接HBase表和在HDFS中的日志）。最后，Drill提供了基于ODBC和JDBC接口以和你所喜欢的BI工具对接。
10. HBASE
篇二：2011万学海文暑期复习策略之四——暑期强化复习经典题型详解(环境科学与工程)
2011万学海文暑期复习策略之四
——环境科学与工程专业暑期强化复习经典题型、习题详解
万学海文 暑期最每一个正在复习考研的学生来说都是黄金时期，暑期阶段是一个强化阶段，可以
通过真题学习、理解并进一步掌握上一阶段所学的知识，使考生在对参考书目知识点初步印
象的基础上进一步加深，形成知识结构框架体系。因此，这一时期要好好的利用时间。
环境科学与工程专业是属于非统考专业，命题基本为各学校自主命题，
故不同学校的历
年真题之中的题型、分值、题量和难度均有差别，有的甚至差别甚大。分析各院校该专业历
年来的试题，我们发现不同院校对同一知识点的考查方式不同，有的可能通过一个简单的名
词解释、选择或填空即可完成，有的则涵盖到论述题以及计算分析题中。论述和计算分析题
是试卷的重要组成部分，往往占据很高的分值，也是很经典的一类题型。下面据两个例子进
行该题型及答题的介绍。
纵观各个高校的试题，不难发现，论述题，是每一份考卷中都会涉及的一种题型，那么，
我们就有理由说，论述题，是企业管理专业课考试中，很经典的一类题型。
下面举几个例题，希望同学们进行思考并比较，较为全面的给出答案。回答完下面的题
目之后，静下心来思考一下，这仅仅是一道题吗？
例题之一：
根据下图说明山谷地形工业区的规划原则
滨城市环境规划的原则
根据下图说明海
分析 从题中我们可以看出，这两题考查类型相同，都是通过工业区图或海滨城市图来
考查局部性气候对规划的影响以及规划的原则，可以看出一道小题目可以涉及到几个知识
点，首先山谷风定义、形成及影响，海陆风定义、形成及影响，城市环境规划原则。 答案 解释山谷风的形成及影响、解释海路风的形成及影响；城市环境规划的原则1）
最小伤害原则2）环境保护与经济发展兼顾3）公平原则4）遵循实事求是，因地制宜的原
则
例题之二：
目前关注的全球性环境问题有哪些，从中选一个你熟悉的问题，阐述其形成原因、危害
及控制对策 分析 从体重我们可以看出，这道题考查的是综合知识以及对全球热点的关注，首先目
前关注的全球性环境问题有哪些，这考查到书本上的知识，其次，从中选择一个你熟悉的，
阐述其形成原因等则是考查不仅要知道这些问题，还要知道这些问题或其中某个问题的形成
原因、对人类的危害及人类可能付诸的控制对策。
答案 这里只详细介绍其中一个环境问题的定义及其危害，至于其控制对策则可根据实
际发挥。
全球环境问题主要包括全球气候变化、臭氧层破坏和损耗、生物多样性减少、土地荒漠化、
森林植被被破坏、水资源危机和海洋环境破坏、酸雨污染等。
臭氧层破坏和损耗
大气中的臭氧含量仅一亿分之一，但在离地面20至30公里的平流层中，存在着臭氧层，
其中臭氧的含量占这一高度空气总量的十万分之一。臭氧层的臭氧含量虽然极其微少，却具
有非常强烈的吸收紫外线的功能，可以吸收太阳光紫外线中对生物有害的部分。由于臭氧层
有效地挡住了来自太阳紫外线的侵袭，才使得人类和地球上各种生命能够存在、繁衍和发展。
1985年，英国科学家观测到南极上空出现臭氧层空洞，并证实其同氟利昂（CFCs）分解产
生的氯原子有直接关系。这一消息震惊了全世界。到“1994年，南极上空的臭氧层破坏面
积已达2400万平方公里，北半球上空的臭氧层比以往任何时候都薄，欧洲和北美上空的臭
氧层平均减少了10％－15％，西伯利亚上空甚至减少了35％。科学家警告说，地球上臭氧
层被破坏的程度远比一般人想象的要严重得多。
臭氧层破坏的后果是很严重的。如果平流层的臭氧总量减少1％，预计到达地面的有害
紫外线将增加2％。有害紫外线的增加，会产生以下一些危害：一是使皮肤癌和白内障患者
增加，损坏人的免疫力，使传染病的发病率增加；二是破坏生态系统；三是引起新的环境问
题。另外，臭氧层还将减少数千万人患皮肤癌和上亿人患白内障的可能性。这从另一个方面
反映了臭氧层破坏的危害性。
从以上的例题解题中，考生可以自己发现一种思路：从一道题延伸到几个知识点，再
次扩展到具体知识点的内容以及其相关内容。这不仅仅是一种答题思路，在复习时亦可应
用，采用一串多，多连多的思维模式，可以更便利的建立起科学体系知识框架，从而便于
知识的记忆。具体应用要同学们下去自己细心体会，看能否掌握。
篇三：有机合成中各种羟基的保护策略
经典化学合成反应标准操作
羟基的保护
编者： 张素娜
药明康德新药开发有限公司化学合成部
目 录
1. 简介…………………………………………………………2
2. 硅醚……………………………………………………………2
2.1 三甲基硅醚 (TMS-OR) …………………………………………3
2.2 叔丁基二甲基硅醚 (TBDMS-OR) ………………………………4
2.3叔丁基二苯基硅醚(TBDPS-OR) ………………………………4
3. 苄醚…………………………………………………………6
4. 取代苄醚……………………………………………7
5. 取代甲基醚……………………………………………8
6. 四氢吡喃醚……………………………………………………………9
7. 烯丙基醚…………………………………………………………10
1. 前言
羟基广泛存在于许多在生理上和合成上有意义的化合物中，如核苷，碳水化合物、甾族化合物、大环内酯类化合物、聚醚、某些氨基酸的侧链。。另外，羟基也是有机合成中一个很重要的官能基，其可转变为卤素、氨基、羰基、酸基等多种官能团。在化合物的氧化、酰基化、用卤代磷或卤化氢的卤化、脱水的反应或许多官能团的转化过程中，我们常常需要将羟基保护起来。 在含有多官能团复杂分子的合成中，如何选择性保护羟基和脱保护往往是许多新化合物开发时的关键所在，如紫杉醇的全合成。羟基保护主要将其转变为相应的醚或酯，以醚更为常见。一般用于羟基保护醚主要有硅醚、甲基醚、烯丙基醚、苄基醚、烷氧甲基醚、烷巯基甲基醚、三甲基硅乙基甲基醚等等。羟基的酯保护一般用的不多，但在糖及核糖化学中较为多见。
2. 羟基硅醚保护及脱除
硅醚是最常见的保护羟基的方法之一。随着硅原子上的取代基的不同，保护和去保护的反应活性均有较大的变化。当分子中有多官能团时，空间效应及电子效应是影响反应的主要因素。在进行选择性去保护反应时，硅原子周围的空间效应，以及被保护分子的结构环境均需考虑。例如，一般情况下，在TBDMS基团存在时，断裂DEIPS( 二乙基异丙基硅基) 基团是较容易的，但实际得出的一些结果是相反的。在这些例子中，分子结构中空间阻碍是产生相反选择性的原因。电子效应的不同也会影响反应的选择性。对于两种空间结构相似的醇来说，电子云密度不同造成酸催化去保护速率不同，因此可以选择性去保护。这一点对酚基和烷基硅醚特别有效：烷基硅醚在酸中容易去保护，而酚基醚在碱性条件下更容易去保护。降低硅的碱性还可以用于改变Lewis酸催化反应的结果，并且有助于选择性去保护。在硅原子上引入吸电子取代基可以提高碱性条下水解反应的灵敏性，而对酸的敏感性降低。对大多数醚来说，在酸中的稳定性为TMS (1)<TES
(64)<TBDMS (20,000)<TIPS (700,000)<TBDPS (5,000,000)；在碱中稳定性为TMS
(1)<TES (10-100)<TBDMS~TBDPS (20,000)< TIPS (100,000)。一般而言，对于没有什么位阻的伯醇和仲醇，尽量不要选用TMS作为保护基团，因为得到的产物一般在硅胶这样弱的酸性条件下也会被裂解掉。
任何羟基硅醚的都可以通过四烷基氟化胺如TBAF脱除，其主要硅原子对氟原子的亲和性远远大于硅-氧之间的亲和性。在用TBAF裂解硅醚后，分解产生的四丁铵离子有时通过柱层析或HPLC很难除干净，而季铵盐的质谱丰度(Bu4N+: 242)又特别的强有
时会干扰质谱，因此这时需要使用四甲基氟化铵或四乙基氟化铵来脱除。
使用硅醚保护的另一个好处是可以在分子中游离伯胺或仲胺基的存在下，对羟基进行保护，其主要由于硅-氮键的结合远比硅-氧键来的弱，硅原子优先与羟基上的氧原子结合，这正是与其他保护基不同之处。顺便提一句，一般而言，决大部分的硅-氮键的结合是不稳定的，其很容易被水解掉。
2.1 三甲基硅醚的保护 (TMS-OR)
许多硅基化试剂均可用于在各种醇中引入三甲基硅基。一般来说，空间位阻较小的醇最容易硅基化，但同时在酸或碱中也非常不稳定易水解,三甲基硅基化广泛用于多官能团化合物，生成的衍生物具有较高的挥发度而利于其相色谱和质谱分析。
2.1.1 三甲基硅醚羟基保护示例 (J. Org.Chem. 1996, 61, 2065)
TMSO
1
Me2HO
Compound 1 (3.00g, 4.286mmol) was dissolved in dry DMF (17 mL). To this solution at 0oC was added imidazole (874.3 mg, 12.86mmol), followed by TMSCl (1.63 mL, 12.86 mmol). After stirring at 0oC for 1.5 h, the reaction mixture was diluted with EtOAc (300 mL) and washed with water (3 ? 20 mL) and then brine (30 mL). The organic layer was dried and concentrated in vacuo. The resulting material was then dissolved in dry DMF (20 mL) and treated at 0oC with imidazole (816 mg, 12.00 mmol), followed by chlorodimethylsilane (1.135g, 12.00mmol). The reaction mixture was stirred for 1h at 0oC and then diluted with EtOAc (200mL). The organic layer was washed with water and brine. Upon silica gel chromatography (10% ethyl acetate in hexane), 3.197 g (90%) of the desired product 2 was obtained.
Cleavage (J. Org.Chem. 1996, 61, 2065)
Hydrolysis was carried out under aprotic condition-anhydrous tetrabutylammonium fluoride in THF solution.
2.2 t-Butyldimethylsilyl ether (TBDMS-OR)
在化学合成中，采用硅基化进行羟基保护生成叔丁基甲基硅基醚是应用较多的方法之一。一般来说，在分子中羟基位阻不大时主要通过TBSCl对羟基进行保护。 但当羟基位阻较大时则采用较强的硅醚化试剂TBSOTf来实现。生成的叔丁基二甲基醚在多种有机反应中是相当稳定的，在一定条件下去保护时一般不会影响其他官能团。它在碱性水解时的稳定性约为三甲基硅醚的104倍。它对碱稳定。相对来说对酸敏感些。TBS醚的生成和断裂的难易取决于空间因素，因此常常用于对多官能团，位阻不同的分子进行选择性保护。在伯、仲醇中，TBS基相对来说较易于与伯醇反应。TBS醚的断裂除了常用的四烷基氟化胺外，许多情况下也可用酸来断。当分子内没有对强酸敏感的官能基存在时，可用 HCl-MeOH, HCl-Dioxane 体系去除TBS，若有对强酸敏感的官能基存在时，则可选用AcOH-THF体系去除。
2.2.1 通过TBSCl进行羟基的叔丁基二甲基硅醚保护示例 (J. Am. Chem. Soc. 1972, 94, 6190) OOO
12OBn22OBn
The hydroxyl lactone 1, upon treatment with TBDMSCl (1.2 equiv) and imidazole (2.5 equiv.) in DMF (2 mL/g of 1) at 35oC for 10 h, produced the silyl ether-lactone 2 in 96% yield.
2.2.2 通过TBSOTf进行羟基的叔丁基二甲基硅醚保护示例(J.Org.Chem. 1987, 52, 622)
3
132
To an ice-cold solution of 4.8 g of pyridine (2.0 equiv) and 4.20 g of 1 in 30 mL of dry acetonitrile was added slowly 9.6 g of tert-butyldimethylsilyl triflate (36.2 mmol, 1.2 equiv). The reaction mixture was stirred for 5 h at room temperature and then poured into 200 mL of saturated sodium bicarbonate solution at 0oC. The solution was extracted thoroughly with hexane, and the organic extracts were dried over anhydrous potassium carbonate and filtered. Removal of the solvent under reduced pressure followed by distillation of the residue gave
《科学策略经典收藏》出自：百味书屋
链接地址：http://www.850500.com/news/143618.html
转载请保留,谢谢!