WSL2 Linux で network が動かなくなった

WSL2 で ubuntu を使っているが、ある日、起動しても「仮想デスクトップ システムの制限により～」という様な（うろ覚え）メッセージが出て起動できなくなった。 これは、wsl のファイルが圧縮されていたら起動できないという事らしいので、${ユーザDir}/AppData/Local/Packages ディレクトリに有る CanonicalGroupLimited.Ubuntu で始まるディレクトリの圧縮を外す（右クリックプロパティの「詳細設定」ボタンを押すと、圧縮フラグ用のチェックボックスがある）と起動できた。

今度は、起動してもネットワークが全く機能してない・・・

Spark を Ubuntu 16.10 にインストールする

Spark をインストールする。

方針

• ローカルモードで動かしてみて、Standalone master-slave 方式で動かす。その後 YARN で動かしてみる。
• YARN で動かすので、Spark History サーバを動かさないと、WebUI での実行履歴が見られない（私が誤解しているかもしれないが）様なので、History サーバは動かす
• Hive は以前のエントリでセットアップした Metastore サーバを使用する
• とりあえず spark ユーザは作らず、hadoop ユーザを spark 管理ユーザも代行させる方針。専用ユーザを作ったほうが良さそうなら、改めて設定し直す。

Hive を Ubuntu 16.10 にインストールする

方針

Hadoop はインストール済み、という前提

• /opt/hive を $HIVE_HOME とする
• Hive 用ユーザ hive を作成する
• metastore には、mariadb を利用する
• Hive ユーザ認証は取り敢えず設定しない。つまり NOSASL

Ubuntu で eclipse をインストールする

Ubuntu には eclipse がパッケージで用意されているが、バージョンを見てみると 3.8.1 だった。Indigo あたりになるのだとすると、流石にちょっと古すぎる。Neon をダウンロードしてインストールしたほうが良さそうだ。

eclipse はホームディレクトリに eclipse ディレクトリを作って、そこに tar xvzf するだけ。あとは、Ubuntu のランチャアイコンを用意すれば、一々端末を起動しなくて済む。