スポンサーサイト

上記の広告は1ヶ月以上更新のないブログに表示されています。
新しい記事を書く事で広告が消せます。

awkの例

awk 'BEGIN {OFS="\t"} 
$10 ~ /hoge_/ || $10 ~ /fuga_/ {
     処理
}' ファイル名

ファイル名のそれぞれの行に対して、
タブ区切りで、$10が hoge_ OR fuga_ にMATCHしてれば処理する
スポンサーサイト

Hiveのmetastore_dbの場所

Hiveを起動してSHOW TABLESを実行したりすると、カレントディレクトリーの下にmetastore_dbというディレクトリーが作られる

例えば、
/home/hadoop/ 配下に、hive を実行して、create table すると、
テーブルの情報がすべて /home/hadoop/metastore_db で作成される。

次ログインするときに /home/hadoop/temp/ から hive を実行して、show tables してもテーブルがない状態になる。

いまいち、metastore_db の概念が理解できていない。。

最後のカンマを取り除く

sed '$s/,$//' datafile


newlineがほしかったら、
sed '$s/,$/\n/'
TAG :
sed

プロンプトの設定

自分のプロンプトの設定
PS1='\[\e[34m\][\u@\H \w]\$ \[\033[0m\]'

表示形式:
[username@hostname pwd]$ 

こだわり:必ずフルパスを指定。作業ミスがないように。

参考:
http://babyp.blog55.fc2.com/blog-entry-663.html
http://www.atmarkit.co.jp/flinux/rensai/linuxtips/002cngprmpt.html
TAG :
bash

awk, sed でデータ加工

データ加工:
Input:

aa c1
aa c2
aa c3
cc d1
dd e1
dd e2
ee f1

Output:

aa c1,c2,c3
cc d1
dd e1,e2
ee f1


Method 1

sort Filename| awk '{if(fld1==$1){printf ",%s",$2}else{printf "\n%s",$0}fld1=$1}'


Method 2

for m in `cat ${input} | awk '{print $1}' | sort | uniq `
do
var=`grep "^${m} " ${input} | awk '{print $2}' | tr '\n' ',' | sed '$s/,$//'`
echo "${m} ${var}"
done


Method 3

awk 'BEGIN { x=0;c1="";c2="" }
{
if ($1 != c1) { if (c1 != "" ) { print c1,c2 } c1=$1;c2=$2;x=1 }
else { x += 1; if (x == 0) { c2=$2 } else { c2=c2","$2 } }
}
END { if (x != 0) { print c1,c2 } }' Your_input_file.txt

TAG :
awk
sed
プロフィール

Author:さくちゃん
FC2ブログへようこそ!

カテゴリ
最新記事
最新コメント
最新トラックバック
月別アーカイブ
Amazon
検索フォーム
タグクラウドとサーチ

QRコード
QR
RSSリンクの表示
リンク
ブロとも申請フォーム

この人とブロともになる

このページのトップへ
上記広告は1ヶ月以上更新のないブログに表示されています。新しい記事を書くことで広告を消せます。