文章列表
Maven-No compiler is provided in this environment. Perhaps you are running on a JRE rather than a JDK?
问题原因：eclipse默认是运行在jre上的，但是maven插件需要使用jdk，因此需要在eclipse修改Installed JRES位置在-->【Window】-->【Prefrences】-->【Java】-->【Installed JREs】
找到\项目名\.setting\文件夹下的 org.eclipse.wst.common.project.facet.core.xml文件。
<?xml version="1.0" encoding="UTF-8"?>
<faceted-project>
<fixed facet="wst.jsdt.web"/>
<installed facet="jst.web" version="2.3"/>
<inst ...
spark1.2.0伪分布式搭建
- 博客分类：
- 云计算 大数据
1、下载scala2.11.5版本，下载地址为：http://www.scala-lang.org/download/2.11.5.html;
2、安装和配置scala：
第一步：上传scala安装包 并解压
第二步 配置SCALA_HOME环境变量到bash_profile
第三步 source 使配置环境变量生效：
环境
本教程使用 Ubuntu 14.04 64位 作为系统环境，基于原生 Hadoop 2，在 Hadoop 2.6.0 (stable) 版本下验证通过，可适合任何 Hadoop 2.x.y 版本，例如 Hadoop 2.7.1，Hadoop 2.4.1 等。
本教程简单的使用两个节点作为集群环境: 一个作为 Master ...
环境
本教程使用 Ubuntu 14.04 64位 作为系统环境（Ubuntu 12.04 也行，32位、64位均可），请自行安装系统（可参考使用VirtualBox安装Ubuntu）。
如果用的是 CentOS/RedHat 系统，请查看相应的CentOS安装Hadoop教程_单机伪分布式配置。
本教程基于原生 Hadoop 2，在 Hadoop 2.6.0 (stable) 版本下验证通过，可适合任何 Hadoop 2.x.y 版本，例如 Hadoop 2.4.1。
Hadoop版本
Hadoop 有两
查看发现是端口被占用，查找占用6000/60020的进程并杀死：
1
[hadoop@Master logs]$ netstat -apn | grep 60000
2
(Not all processes could be identified, non-owned process info
3
will not be shown, you would have to be root to see it all.)
4
tcp 0 0 ::ffff:192.168.1.2:60000 :::* LI ...
Hbase -version 0.90.6Hadoop -version 0.20.203
tar zxvf mysql.tar.gz -C /home/aaa
ssh: localhost: Name or service not known 是/etc/hosts在作怪。在/etc/hosts 没有localhost的解析，127.0.0.1 localhost # must be added
使用env命令显示所有的环境变量
Unpack the downloaded Hadoop distribution. In the distribution, edit t ...
通过solr建立数据库索引，并查询
- 博客分类：
- solr 数据库
要建立自己的全文检索，一般都需要从数据库导入数据，在原来配置的基础上，增加导入的功能 1、D:\apache-tomcat-7.0.27\solr\conf\solrconfig.xml中增加 <requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">
<lst name="defaults">
<str name="co ...
对于一个大数据的分析应用,join是必不可少的一项功能.现在很多构建与hadoop之上的应用,如Hive,PIG等在其内部实现了join程序,可以通过很简单的sql语句或者数据操控脚本完成相应的Join工作.那么join应该如何实现呢?今天我们就对join做一个简单的实现.
我们来看一个例子,现在有两组数据:一组为单位人员信息,如下:
人员ID 人员名称 地址ID
1 张三 1
2 李四 2
3 王五 1
4 赵六 3
5 马七 3
1.Map开发。
package com.aa.mapreduce;
import java.io.IOException;
import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;
public class WordMapper extends Mapper<LongWritable, Text, Text, LongWritable> { private LongWritable outValue= ...
(2)在Eclipse中配置开发hadoop程序，下载hadoop-0.20.2-cdh3u1.tar.gz。
· Step1. 在eclipse中，新建一个Java 项目，填入Project name，在Contents中，选择 “Create project from existing source”，在 Browse… 中选择hadoop的目录，点击“Next > ”。
· Step2. 在Java Build Path面板，建议把Source folders全部移除，在Default output folder中，重新输入output ...
（1）安装Cygwin，并设置环境变量到$Cygwin_Home/bin。
windows下无法直接运行hadoop，是由于hadoop的节点（Datanode）需要用到linux 的环境命令，比如 df, du 获取磁盘的信息，whoami 获取用户信息等。所以理想方式在 windows 上提供linux 的环境。Cygwin是一个在windows 平台上运行的unix 模拟环境。
Step1. 下载 cgywin 的安装程序，可以访问 http://www.cygwin.com/ 下载最新的版本的cygwin.exe。