文件管理数据流和相关的DSL

　　文件管理数据流DSL支持开发人员通过由过滤、转换和聚合组件组成的管道的形式来表示大型数据集合的数据处理。这种DSL最广为人知的使用例子是Pig——一个多数Hadoop发行版都捆绑了的工具。Pig使用对MapReduce框架进行了抽象的过程化数据流语言，但内部使用的MapReduce。
　　1Pig
　　鉴于Facebook发明了Hive来支持分析使用熟悉的SQL DSL来处理Hadoop数据。Pig有一个自定义的语言称为PigLatin，它不是基于SQL的，这意味着对于有经验的SQL用户；爱说学习曲线更陡，PigLatin最适合开发人员。
　　2Cascading和Scalding
　　Cascading是底层MapReduce API之一最流行的Java DSL。Cascading为MapReduce编程提供了图灵完整的、内部的或嵌入式的DSL，明显类似于连接多个管道到数据流中。Cascading隐藏了底层API的很多细节，使得开发人员能够专注于手上的问题。
　　Cascading基于一个“管道装置”的比喻来组装分割、合并和加入数据流的管道，对文件管理数据进行操作。在Cascading中，数据记录称作元组，管道称作管道装配，穿过管道的记录称作元组流。使用管道装置的比喻，Cascading用人们熟悉的管道装置配件——例如管道、水龙头和弯曲管——定义了工作流。