在ubuntu上单机配置部署Hadoop


环境

在Ubuntu14.04上安装,在Hadoop 2.8.2版本安装通过。

准备工作

创建用户

终端下输入:

sudo useradd -m hadoop -s /bin/bash

设置密码:

sudo passwd hadoop

增加sudo管理员权限:

sudo adduser hadoop sudo

切换至刚刚创建好的hadoop用户:

sudo su hadoop

更新系统

我们需要更新下系统,这样可以保证安装软件尽量是最新版本的:

sudo apt-get update
sudo apt-get upgrade -y

安装ssh,配置无密码登录

集群、单节点模式都需...

Read more

hadoop学习笔记


首先先介绍下Hadoop,来自维基百科:

Apache Hadoop是一款支持数据密集型分布式应用程序并以Apache 2.0许可协议发布的开源软件框架。它支持在商品硬件构建的大型集群上运行的应用程序。Hadoop是根据谷歌公司发表的MapReduce和Google文件系统的论文自行实现而成。所有的Hadoop模块都有一个基本假设,即硬件故障是常见情况,应该由框架自动处理。 Hadoop框架透明地为应用提供可靠性和数据移动。它实现了名为MapReduce的编程范式:应用程序被分区成许多小部分,而每个部分都能在集群中的任意节点上运行或重新运行。此外,Hadoop还提供了分布式文件系统,用以...

Read more

Linode开启Google BBR


熟悉科学上网的同学可能会知道,由于境内外网络环境复杂,延迟高、丢包率高,许多基于TCP协议的翻墙工具会存在传输速度低且不稳定的问题。这在很大程度上是因为,TCP协议可以使用多种拥塞控制算法,而最常用的CUBIC算法存在着无法全速发送数据、易被丢包干扰、容易产生锯齿状波动等问题。因此,各种TCP单边加速工具层出不穷,如锐速(Appex)、ZetaTCP。但这些工具需要较高的运行权限且大部分是收费使用并不开源,因此从安全、成本和可靠性的角度会让使用者有更多顾虑。
好在,2016年09月,Google向Linux Kernel提交了Google BBR的Pull Request。Google ...

Read more

关于SqlServer中的NOLOCK


在我们系统的sql查询代码中,经常可以看到select之后会加一个NOLOCK的关键字,但是至于这个关键字是什么意思,问了下大家一般也就是说“禁用读写锁,可以提升查询性能”,但是真正深层次的原因却不清楚,查询了下相关资料然后整理了下分享给大家。

nolock是什么

nolock是 SQL Server 的一个关键字,这类关键字官方将其称之为 Hints。 Hints 的设计目的是为了能够让 SQL 语句在运行时,动态修改查询优化器的行为。 在语法上,Hints 以WITH开头。除了WITH(nolock), 还有TABLOCK/INDEX/ROWLOCK等常见的 Hints。 MSDN文...

Read more

本站支持微信公众号了


在最新释出的v4.0版本中,本站集成了微信公众号的功能,现在可以使用微信公众号来管理你的vps了。
默认情况下是图灵机器人自动回复的,输入admin之后开始验证密码,通过后进入命令模式,可以通过在后台配置一些命令来在这里执行并返回结果。

当然,也集成了一些基本的博客文章搜索等功能,后续会集成一些常用等api进来。 欢迎大家扫码关注本站。 qrcode

Read more

树莓派配置安装opencv


OpenCV全称:Open Source Computer Vision Library,是一个开源的跨平台计算机视觉库,OpecCV主要用c++语言编写,也提供了python等其他语言的,下面介绍下如何在树莓派上如何安装OpenCV以及OpenCV的Python调用库。

更新系统及安装依赖:

更新树莓派:

sudo apt-get update
sudo apt-get upgrade

安装依赖

安装编译等基本的依赖项:

sudo apt-get install build-essential cmake pkg-config

安装和图像相关的库:

sudo apt-get ins...

Read more

树莓派搭建AirPlay服务实现WiFi无线音响外放


升级系统:

sudo apt-get update
sudo apt-get upgrade

通常情况下树莓派的音频输出使用的是HDMI接口,我们需要下面的命令将其变更为普通音频输出口

sudo amixer cset numid=3 1

安装系统所必需的软件包:

sudo apt-get install git libao-dev libssl-dev
sudo apt-get install libcrypt-openssl-rsa-perl libio-socket-inet6-perl
sudo apt-get install libwww-perl avahi-utils ...

Read more

在树莓派上搭建TimeMachine


安装软件

首先更新系统:

sudo apt-get update
sudo apt-get upgrade

执行如下命令,使得raspbian支持hfs+分区。

sudo apt-get install hfsplus hfsutils hfsprogs

支持ntfs

sudo apt-get install ntfs-3g

安装配置netatalk服务

sudo apt-get install netatalk

安装Avahi

sudo apt-get install avahi-daemon libnss-mdns

配置

创建挂载目录

sudo mkdir -p /var/...

Read more

备份和恢复raspberrypi镜像


备份raspberrypi镜像很简单,直接用命令就可以搞定,下面介绍下方法。 首先需要知道树莓派磁盘的磁盘编号,终端下输入:

diskutil list

输出类似下图:
diskutil
可以看到/dev/disk1是32G树莓派的磁盘,/dev/disk2是1T的移动硬盘,我们要备份的就是/dev/disk1。 备份命令如下:

sudo dd if=/dev/rdisk1 of=backup.img bs=4M

恢复的话使用如下命令:

sudo dd if=backup.img of=/dev/rdisk1 bs=4M

说明下:

diskutil 所列出来的 MicroSD 卡是 /dev/di...

Read more

Linode误删恢复记录


今天无聊想着切换个新的ip地址,然后就在linode后台添加新的vps,添加好之后在 Remote Access标签下面的IP Swap按钮来切换ip.但是新创建的ip都是172开头的,宝宝不开心不喜欢这样的ip,然后就删vps又加vps想得到一个好看点儿的ip地址,那时候是刚睡了午觉迷迷糊糊的,换着换着突然发现,咦,我的原来的vps呢.卧槽被我删掉了...顿时惊醒了大半.想起来部署网站还有各种环境就头疼,于是本着试试看的态度提交了个ticket给linode,大意就是说不小心删掉了vps能不能给我恢复过来.
发了ticket之后就刷着ticket对话页面,等着对方回复我,过了大概半小时...

Read more