spark单机安装

本文介绍安装spark单机环境的方法,可用于测试及开发。主要分成以下4部分: (1)环境准备 (2)安装scala (3)安装spark (4)验证安装情况 1、环境准备 (1)配套软件版本要求:Spark runs on Java 6+ and Python 2.6+. For the Scala API, Spark 1.3.1 uses Scala 2.10. You will need t…

第一步 环境配置java jdk安装使用Oracle JDK

Ubuntu Linux下安装Oracle JDK Dennis Hu 2014-4-22 说明:由于很多系统不支持使用OpenJDK,因此在ubuntu下会需要安装Oracle JDK。而Oracle JDK的安装貌似没有提供apt方式,因此安装Oracle JDK的方式相对麻烦一些,我经常安装,为了方便别人同时方便自己查看,把它记下来。 第一步:区分32位还是64位操作系统 先确定你的ubun…

MySQL的show语句大全

基于本人对MySQL的使用,现将常用的MySQL show 语句列举如下: 1.show databases ; // 显示mysql中所有数据库的名称 2.show tables [from database_name]; // 显示当前数据库中所有表的名称 3.show columns from table_name ; // 显示表中列名称 ,和desc tablename 相同 4.sho…

Mysql分表和分区的区别

一,什么是mysql分表,分区 什么是分表,从表面意思上看呢,就是把一张表分成N多个小表,具体请看mysql分表的3种方法 什么是分区,分区呢就是把一张表的数据分成N多个区块,这些区块可以在同一个磁盘上,也可以在不同的磁盘上,具体请参考mysql分区功能详细介绍,以及实例 二,mysql分表和分区有什么区别呢 1,实现方式上 a),mysql的分表是真正的分表,一张表分成很多表后,每一个小表都是完…

深入了解MySQL 5.5分区功能增强 黄永兵翻译

【51CTO经典译文】MySQL 5.5的发布带来了许多增强的功能,虽然已经报道了很多增强功能,如半同步复制,但大家却忽略了分区方面的增强,有时甚至还对其真正意义产生了误解,在这篇文章中,我们希望解释一下这些很酷的增强,特别是我们大多数人还没有完全理解的地方。51CTO向您推荐《MySQL数据库入门与精通教程》。 图 1 大家还没注意到我MySQL的分区功能也很强了哦 非整数列分区 任何使用过分区…

RabbitMQ队列

前言: 大部门下面的测试部在搞大批量的硬件信息数据抓取,这次不能用已经存在客户端,比如 puppet,saltstack,nagios这些个可以扩展的客户端,因为我们要远程的用ipmitool的接口来抓取信息,要是用在client搞 的话,还要给他们密码,这个是很不安全的。 so,要搞一套基于自己的一套密码认证及数据抓取的平台。 他们最后决定用gearman,虽然我也用过这东西,但是总感觉缺点啥,…

蚂蚁走木棍算法面试题

有一根27厘米的细木杆,在第3厘米、7厘米、11厘米、17厘米、23厘米这五个位置上各有一只蚂蚁。 * 木杆很细,不能同时通过一只蚂蚁。开始 时,蚂蚁的头朝左还是朝右是任意的,它们只会朝前走或调头, * 但不会后退。当任意两只蚂蚁碰头时,两只蚂蚁会同时调头朝反方向走。假设蚂蚁们每秒钟可以走一厘米的距离。 * 编写程序,求所有蚂蚁都离开木杆 的最小时间和最大时间。 [crayon-5adfb3de2…

使用SSH帐号搭配MyEnTunnel+FireFox+FoxyProxy翻墙1

很多最新的资讯和信息只有在”墙外“才能看到。一直生活在“和谐”的社会中,时间久了,难免会有”井底之蛙“的感觉,例如 facebook、twitter、YouTube都玩儿不了。目前有很多免费的翻墙软件都停止了更新并且无法使用了。这里推荐大家一款免费的翻墙方式, 你可以用firefox作为翻墙浏览器,IE或Chrome作为正常浏览器使用,以此避免用翻墙的方式来回切换的麻烦问题。 具体方法如下: 1、…