先日、農研機構に行ってきた。 農研機構の谷和原圃場の土質 この時に農研機構の方から非常に役に立つWebサービスを教えていただいた。 それは 日本土壌インベントリーだ。 日本土壌インベントリー | 農研機構 何がすごいのか？といえば、 検索窓で緯度経度を入力して検索すると、 調べたい地域の土質がわかり、 更に土質の詳しい説明を表示することもできる。 このサービスにより訪れたことがない地域でも、栽培面での土壌の特徴を把握することがで...
カテゴリー ： コンピュータ/page-1
Apacheサーバでバージョンの表示を隠す
Apacheサーバでは、 デベロッパーツールのネットワークと 404NotFoundのページでサーバで利用しているApacheのバージョンが表示される。 バージョンが表示されることによって、 Apacheのとあるバージョンに重大な脆弱性があった場合、 これらの表示を元に攻撃を試みられることもあるので、 バージョンは非表示にすることが推奨されている。 というわけでApacheのバージョンを非表示にしてみる。 環境 Ubuntu 16.04 ...
Apache2.4.27の標準設定ではHTTP/2が使用できなくなったのでその対応
現在稼働中のサーバのApacheのバージョンを2.4.27にアップグレードしたら、 HTTP/2が使用できなくなっていた。 Apacheの使用を確認すると、 Apache2.4.27からMPM(マルチプロセッシングモジュール)の設定がpreforkであるとHTTP2の設定を無効するように仕様が変更されたらしい。 マルチプロセッシングモジュール (MPM) - Apache HTTP サーバ というわけで、 MPMをpreforkからworkerに変更して、 再びHTTP/2...
ApacheサーバでBrotliを使用してみた
前回、圧縮の性能が高いと言われるBrotliを試してみた。 Googleの圧縮アルゴリズムBrotliを試してみた 性能は圧縮後のファイルサイズで確認して、 容量が標準のgzipよりも少なくなっていることを確認した。 これはApacheサーバにも入れてみたい！ ということでサーバにインストールしてみた。 はじめにサーバの環境だけど、 さくらのVPS 512 Ubuntu 14.04 Apache 2.4.25 当サイトをHTTP/2対応して表示の爆速化して...
Googleの圧縮アルゴリズムBrotliを試してみた
Brotli - Wikipedia オライリーのReal World HTTPを読んでいたら、 ブラウザからサーバにリクエストを送信して返ってくるレスポンスでBrotliで圧縮できると記載があった。 Brotliはよく使われているgzipよりも20%ちかく圧縮率を改善させたアルゴリズムらしい。 最近のブラウザであれば、httpsから始まるURLでサーバにリクエストを送信すれば、 Brotliで圧縮したレスポンスを返すことができるとのことで、 Brotliを試してみることにし...
FFmpegとAudacityで動画の音声の調整に挑戦！
ボカシ肥の作成の動画を撮り直しました。 以前、ボカシ作成の動画を撮影してYouTubeにアップロードしました所、 PVが20000ぐらいになり、 グダグダな動画だったために意味不明な誹謗中傷のコメントがいくつかくるようになりました。 米ぬかボカシを作ろう！仕込んでみる！ というわけで撮り直したのですが、 マイクの腕が悪いので集音周りが全然できていません。 これは編集力を高めた方が良いだろうと、 編集に注力を注ぐことにしました。 編集環境はUbuntu17.0...
ロードアベレージ
サーバの監視で真っ先に確認する項目がロードアベレージで、 このロードアベレージが一体何を意味しているのか？を調べてみた。 O'Reilly Japan - 詳解 システム・パフォーマンスの234ページのCPUの章にて、 ロードアベレージは、CPUリソースに対する需要を示す指標と記載されている。 これだとよくわからないので、もう少し読み進めてみると、 実行中のスレッド(使用率)と実行されるのを待ってキューイングされている(飽和)の合計数から計算される。 ※キューは実行待ちの処理...
CPUの監視2
CPUの監視でCPUの監視で必要な知識をざっくりと触れた。 それを踏まえた上で、Muninの各項目を見ていく。 systemはシステムモードのことで、 おそらくカーネルモードについてのことだろう。 一方、userはユーザモードとなる。 niceはナイス値のことで、 実行中のプログラムであるプロセスの優先度のこと プロセスは常に複数あり同時並行で実行されている。 Muninのniceは優先度の低い実行中のプロセスがいくつあるか？となる。 idleは未使...
CPUの監視
メモリーの監視の監視に引き続き、 MuninのCPUのグラフの項目を見ていくことにする。 今回も前回同様、 あくまで勉強用のメモみたいなものなので間違いがあるかもしれないことを前提にしてください。 CPUの監視について見る前にCPUについて簡単に触れておくと、 CPUはコンピュータにおいて計算する部分で、 キーボードから何らかの命令をコンピュータに対して行ったら、 コンピュータはCPUで計算して何らかの結果を返す。 このCPUにはユーザモードとカーネルモードが...
メモリーの監視
Muninで監視用サーバを構築する１でとあるWebサービスの監視をはじめた。 今の所、このサーバでは問題ない。 問題ない内に問題になりそうな箇所は潰しておけ ということで、 そもそも各グラフが何を表しているのか？が明確でないのが問題なので、 O'Reilly Japan - 詳解 システム・パフォーマンス ハードディスクが壊れる日は突然やってくる システム・パフォーマンスを片手に各項目について調べてみることにしようかと。 あくまで勉強用のメモみたいなものなので...
Webデザイナー向けのGitのハンズオンを行いました
Webサイトの表示の高速化に向けて、Linuxのハンズオンを行いましたに引き続き、 ネットメディアを運営するアップラインさんの会議室で、 Webデザイナー向けのGitのハンズオンの勉強会を行いました。 Gitというバージョン管理のOSSはプログラマもそうですが、 プログラマ以上に細かい編集作業が発生するWebデザイナーにこそ使ってもらいたいものです。 Windowsで使用出来るTortoiseGitを利用すれば、 苦手意識が発生せず、Gitの基本的な操作を体感することが出来る...
物理障害のディスクのデータの復旧に挑戦
ハードディスクが壊れる日は突然やってくるでハードディスクが壊れる時は磁気ヘッダの異常か磁気ディスクの磁気がおかしくなったかのどちらかであることがわかった。 前者は異常になった時点でハードディスク自体が使用できなくなるはずだけど、 後者は酸化鉄の粒子なので粒子毎におかしくなっていくからじわじわくるはずだよね。 そうなると日常的に徐々にデータの読み書きがおかしくなるはずなのに、 実際、パソコンを使用しているとそうはならない。 そうはならないから、 ある時突然読み書きの速度が落...
ハードディスクが壊れる日は突然やってくる
外付けハードディスク(以後、HDDと略す)からデータが取り出しにくくなった。 ハードディスクの読み込み速度が激減したというものだ。 外付けハードディスクは5年前に購入したパソコンでSSD換装の際に取り出し、 使いみちが無かったので このようなケースを買ってきて、 こんな感じでHDDを入れた。 HDDの容量は1TBで、 中にはWindows7がインストールされ、パーティションを区切っている。 下手にいじってデータが全部消えるのは洒落にならないので...
常時SSL化はSEO上効果はあるか？
最近良く質問されることで、 常時SSL化したら運営しているサイトでSEOの効果はありますか？ というものがあります。 今月だけでも3人の方に質問されました。 ※常時SSL化というのは、全てのページのURLがhttps://からはじまるサイトのこと SOY CMSの常時SSL化で対応したこと 当サイトは常時SSL化をして以来、PV数は右肩上がりなのですが、 それが毎日投稿だけで上がっていて、常時SSL化が関係しているのか？はわかりません。 それでもサイト運営者の立場としての...
当サイトをMackerelで監視するようにしてみた
京都のIT企業、株式会社はてなで開発されているサーバ監視サービスのMackerelを利用してみた。 Mackerel（マカレル）: 新世代のサーバ管理・監視ツール 先に結論を書いておくと、 サービス利用までの手順がほぼなくて壮絶簡単だった。 もっとはやくに導入しておけば良かった… とりあえず導入の背景だけど、 予算をもらって開発しているWebサービスではサーバを借りるための費用も出してもらっているので、 VPSを借りてMuninを導入しているんだけど、 Muninで監...
PHP製のパッケージをサーバにアップロードする時の注意点
SOY CMSに限らず、PHPで動いているパッケージをサーバにアップロードした後に管理画面を開くと、 真っ白のページが表示されるか、 403 Forbiddenのページが表示されるかのどちらかのエラーの連絡がくることが多い。 この二つのパターンだけど、これから紹介するどちらかで解決することがほぼ全てです。 SOY CMSを例にして記載しますが、 /インストールディレクトリ/admin/webapp/以下にあるindex.phpかinit.phpを開いた時にファイ...
基肥について考えてみる
Webサイトの表示の高速化に向けて、Linuxのハンズオンを行いました
ネットメディアを運営するアップラインさんの会議室で、 メットメディア運営者向けのLinuxの操作のハンズオンの勉強会を行いました。 主な内容は表示速度を高速化するHTTP/2のサーバ構築のため、 LinuxのCLIに慣れてもらうことを目的として、 サーバ構築に必要な基本的なコマンドのみに絞って話をしました。 当サイトをHTTP/2対応して表示の爆速化してみた 次回は実際にVPSを借りてみて、 サーバの設定だけでなく、ファイアウォールやSSL周りも触ることを計画しています。 ...
日本シームレス地質図で見えることが増えたはず
株式会社誠文堂新光社 / 日本の石ころ標本箱 日本の石ころ標本箱という本を買って読んでみたら、 鳥肌が立つぐらいの衝撃があった。 その内容は後ほど書くとして、 ある地域を訪れた時、道端、とくに河原の石を見れば、 その地域の地質(土質)がわかるというらしいので、 わかったところでその先に何があるのかわからないけど、 地質が分かれば何らかの解が見つかると思って目利きになりたいと思っていた。 で、買ってみた。 この本で何が衝撃的だったかというと、 石ころ採取する...
自由を求めてオープンソースのネットショップパッケージへ。軌道に乗った頃に遭遇する問題について
オープンソースのネットショップのCMSの開発に関わっていると、 売上を青天井化したいから自由度の高いネットショップパッケージを利用したいという方の導入に関わることが時々あります。 ネットショップの開発に関わっていて一番すごいと感じたサイトについて 青天井化の方法を持っている方と仕事をするためにネットショップの開発をしている程ですから。 私にとっての農業とSOY Shop ネットで物販をするのであれば、 楽天やYahooといったショッピングモール型サイトに出店したりとか、 0...
ネットショップの開発に関わっていて一番すごいと感じたサイトについて
ネットショップのCMSの開発や導入支援をしていて、時々質問される事があるのです。 それは、 今まで関わったショップサイトの中で大成功しているサイトってどんなサイト？ というもの。 ネットショップを開設したサイトの大半はなかなか売上が上がらなかったり、 数年運営したけど閉店したということもありました。 受注量が半端無くてサーバを引っ越したり、 受注量に追いつかなくて販売数を制限するような いわゆる成功したサイトというものにも出会います。 このようなサイトの運営者にはい...
切磋琢磨して積み上げたものに発生する信用
ブロックチェーンの信用は計算の積み重ね 前回、ビットコインネットワークにはマイナーというユーザーがいて、 マイナーがネットワーク内を飛び交っている支払い情報(トランザクション)をまとめてブロックにしてブロックチェーンに載せている。 このマイナーというのはブロックチェーンを保管できるマシンがあれば誰でも自由に参加でき、 日々、トランザクションを集めてはブロックにしてブロックチェーンに載せることを頑張っている。 実はこのブロックチェーンにブロックを載せるというのは、 参加して...
ブロックチェーンの信用は計算の積み重ね
人はネットワーク内から新しい信用のあり方を発見した ビットコインの中核をなす革新的発明のブロックチェーン 分散型台帳技術と呼ばれ、 様々なマシンにbitcoinのやり取りをまとめたブロックというものを更に積み重ねたブロックチェーンというものがあり、 個々人はブロックチェーンの中から今までのやり取りを計算して残金を調べる。 その残金をお金のように使用することができる。 このブロックチェーンは実際にある円やドルといった紙幣のような価値はあるの？ 実際のところあるかど...
人はネットワーク内から新しい信用のあり方を発見した
人は価値の象徴として鉱物から金を取り出した お金、すなわち貨幣の信用についての話題が出てきたら、 必ずといって良い程触れておきたいのが もちろんそう！ ビットコイン！ というわけで、 NTT出版のビットコインとブロックチェーンを何度も読んでみた。 これはコンピュータ関連に触れている人なら有名なオライリーという海外の出版社から発売されたMastering Bitcoinの翻訳版。 何故か、オライリーではなく、NTT出版から発売されている。 なに...
Ubuntuサーバのメモリ開放
端末でupgradeの際の差異の確認で表示を終了する
sudo apt-get update sudo apt-get upgrade でupgradeを行っている時のこと あるパッケージで設定ファイルに変更があるため、その設定ファイルをどうしますか？と表示された。 ※どうするというのは、今のファイルを上書きするか残すか？というもの そこでどれくらい変更があるのか？差異を表示してみる。 差異が表示され、最後までスクロールしてみると、最後に(END)が表示される。 お恥ずかしながら、ここから抜ける方法...
元CMSの開発として、CMSの過剰カスタマイズは止めた方が良いと伝えたい
オープンソースのCMSを開発した経験のある者として、 CMSを活用している方に伝えていることがある。 それは、 標準機能以上のカスタマイズを入れた時点で損をする！ というもの。 カスタマイズをしたければ、 プラグインで補える範囲か、モジュール化されている箇所のみにするべき。 どうしてもカスタマイズを入れて欲しい場合は、 他サイトでも使用できるであろう程汎用的な機能まで落とし込み、 開発元の方と仲良くなってプラグインの拡張ポイントとして導入してもらうこと！ なぜ...
シグモイド型BB肥料のシグモイドって何？
BB肥料は経済的か？ ある作物の周年栽培をするためには、 シグモイド型のBBのロング肥料を上手に利用することが大事！ という話題になった。 シグモイド？ シグモイド(曲線)といえば、機械学習のニューラルネットワークにおいて、 対象となるデータと重みの行列同士のドット積を計算した後、データを扱いやすくするために0〜1の範囲内に変換するためのものではないか！ ※シグモイド関数 ニューラルネットワーク - Wikipedia シグモイド - Wikipedia なん...
Muninで監視用サーバを構築する２
Muninで監視用サーバを構築する１の続き 前回は監視用のサーバの準備まで行った。 今回は外部で運営しているサービスの監視の設定を記載します。 IPアドレスが192.168.80.80でドメインがhoge.comで運営しているWebサイトなりサービスを監視する。 監視サーバのIPは192.168.100.120とする ※各サーバのIPアドレスは実際には外向けではあり得ません。その点はご了承ください。 はじめに監視対象のサーバの設定を行います。 監視対象のサーバは実際のW...
Muninで監視用サーバを構築する１
1年前あたりから書き始め、1秒間のリクエスト数がそこそこになったWebサービスがある。 今までは使用者が身内で二人だったので特に気にしていなかったのですが、 そろそろ利用者も増えてきそうな兆しが見えてきたので、 増える前にサーバの監視を行うことにした。 サーバの監視をするためにMuninを採用することにした。 Muninをインストールした時のメモとして記事を投稿する。 サーバの環境はUbuntu 16.04です。 インストール前にMuninの簡単な説明を書いてお...
Dropboxにバックアップする時はパスワード付きzipにしておく
SOY CMSのサイトのバックアップをDropboxで行うで VPSで運営しているサイトのバックアップをDropboxで行う様に設定してみた。 前回は記事を全公開しているブログサイトのデータベースだったので特に意識しなくて良かったが、 SOY Shopの様な個人情報込みのデータベースをバックアップする際、 前回の様に指定のフォルダをzipに圧縮だけするというのは色々と不安だ。 ということで、 zipのオプションにある暗号化を使ってサーバに配置してみることにする。 ...
SOY CMSのサイトのバックアップをDropboxで行う
前にDropboxというファイルの同期のWebサービスの中の人が サイトのバックアップをDropboxでできるよ と言ってたのをふと思い出したので、 当サイトのバックアップをDropboxで行うことにしてみた。 最初にバックアップ用のアカウントを作成する。 Dropboxのトップページを開き、アカウントの作成を行う。 当サイトは全公開で特にこれといった機密性もないので、 アカウントは無料の方で登録しています。 作成できたら、 当サイトのサーバにリモート接続を...
二点を端点とする線分を描写する
Pythonの内容表記に引き続き、 またまたオライリーの行列プログラマーの課題を解く。 ベクトルの章で、 2要素の2点があり、その2点を端点とする線分を書くための関数を作成する課題があった。 制約としては、ベクトルを平面上に連続した点として描写することで、 任意の2点を端点とする線分も同様に連続した点として描写する。 一点目をpt1 = [3.5, 3]とし、 この様なベクトルになる。 二点目をpt2 = [0.5, 1]で この様なベクトル...
GitHub Pagesでページを作成してみた
表題の通り、GitHubのサービスのGitHub Pagesでページを作ってみた。 最初にリンクを載せておくと、 https://inunosinsi.github.io/saitodev/ これ。 ページ公開までメモとして残しておくと、 最初のGitHubのアカウントの作成は端折るとして、 アカウントが出来てから、 画面右上にあるプラスアイコンをクリックし、 New repositoryをクリックする。 Create a new repositor...
IP偽装をしてみた
少し前に、 接続元IPアドレスを知られたくない時にすることで ブラウザからどこかのサイトにアクセスする時、自身のIPアドレス(住所みたいなもの)を送ることを記載した。 IPアドレスで接続元の情報がどれだけわかるか調べてみたで、 実際にサイトにアクセスした時、運営側はどれくらいの情報がわかるのか？を調べてみた。 固定の回線であれば、地図情報である程度まで絞ることができ、 WiFiであれば全然違うところを指していたけど、 プロバイダ情報は常に知られているので、おそらく足が付く。...
IPアドレスで接続元の情報がどれだけわかるか調べてみた
接続元IPアドレスを知られたくない時にすることで、 SNSのアカウントを乗っ取ることでどこから誰が接続しているかを隠すことが出来た。 そもそも、 接続元の情報ってどこまでわかるの？ということで、 What Is My IP Address? IP Address Tools and MoreというWebサービスでサイトにアクセスがあったIPアドレスを調べてみた。 ※接続があったと記載しているけど、自身でサイトにアクセスしています。 結果は、 どのプロバイダと契約...
接続元IPアドレスを知られたくない時にすること
インターネット内に流れているパケットを傍受してみるでネットワーク内でやりとりされているパケットを傍受することが出来た。 傍受する際に利用したソフトをWiresharkという。 このWiresharkだけど、 データを取得した際、 こんな感じで、 SourceとDestinationにIPアドレスという住所みたいなものがやり取りの都度表示されている。 Sourceは この画面を表示したり、入力して送信したりしている、 いわゆる閲覧者側の位...
インターネット内に流れているパケットを傍受してみる
Webサイトのフォームではhttpsにしないと大変なことになるよ という話をする機会が連日続いたので、 なぜ大変か？を実際に見てもらうことにした。 ※httpsは暗号化して通信する仕組み。httpの通信は暗号化していない。 SOY CMSの常時SSL化で対応したこと ちなみに今回の記事は Ohmshaの基礎からわかるTCP/IP ネットワークコンピューティング入門を参考にしています。 はじめにネットワークを監視するために Wireshark · Go ...
MySQLのバックアップスクリプトを作成してみた
ブラウザのキャッシュの設定
SOY CMSで表示直前で画像のリサイズ表示を行う 前回、SOY CMSで画像を表示する時、im.phpをかましてサーバ側でリサイズした画像を受け取るという仕組みに変更してみた。 変更後にGoogleのPageSpeed Insightsで確認したところ、スコアがレットからグリーンに変わり、内部SEOの面で改善された。 他に画像や外部CSSはキャッシュで管理となっていたので、 今回はキャッシュ周りで対応したことを記載する。 ※SOY CMSとは関係ないです。 現在...
UbuntuでWindowsが入ったSSDを開こうとするとエラーになる
前使っていたWindows10が入ったSSDからデータをとり出さなければいけなくなって、 しゃあないから、 外付けハードディスクみたいに使える箱にSSDを突っ込んで、 Ubuntuのマシンにつなげたのよ。 そうしたら、 マウントできないってよ。 エラーになった。 なんかLinuxでWindowsのOSが入ったSSDをマウントするとき、ntfsfixしなければならないんだって。 早速やってみた。 コマンドはsudo ntfsfix ...
apt-get upgradeで保留と表示された時
Terminator上でEmacsを起動すればxclipが使えるのか？
Emacsでxclipを使える様にしたけど、 tmux経由でEmacsを起動するとxclipの設定が使えない。 Emacsでクリップボードを使ってコピペしたい どうやらこれは、 tmuxのコピーモードの仕様が影響しているっぽくて、 コピーモードの矛先をいろいろといじってみたけどダメだった。 (試した内容は省略します) そういや、 Macにはitermという端末自体でタブ機能があるものがあったなと。 zshをインストールしたとはいえ、 zshを使っているのがUbun...
Emacsでクリップボードを使ってコピペしたい
Emacsで書いた内容をブラウザやメモ帳にコピーペースト、 逆にブラウザの内容をコピーしてEmacsのバッファにペーストしたい ということがちょくちょくある。 Emacsはkillという専用の領域にテキストデータをコピー(実際にはkill ring)するらしく、 他のアプリでテキストデータを共有することができない そこで、 Emacsでクリップボードを使うために設定しなければいけないらしい。 というわけで、設定ファイル(私はinit.elに書いてる)を開いて、 i...
フォームの自動補完が表示されているところをキャプチャしたい
カーソルを合わせた時とか、 フォームの自動補完機能が動いている時とかに画面をキャプチャしたい時って多くない？ マニュアルを作ったり、 直接口頭で操作説明ができなかったりといった時に、 自動補完の説明をするのが難しいので、 こういうキャプチャがとれるアプリがあるとありがたい。 標準機能のスクリーンショット(prt scボタンを押す)だと、 ボタンを押した時にカーソルを当てた時に表示されるものが消えてしまうんだよね。 というわけで、 探してみたけどなかった。...
tmuxでマウススクロールをした時、履歴ではなくスクロールしてほしい
zshの起動と同時にtmuxも起動してほしいで 端末(zsh)を開いたら、tmuxが自動起動する様に設定した。 tmuxを使ってみて感じたこととして、 ところどころ挙動がbashと異なるというところがあって、 使っている時に戸惑うことが多々ある。 だったらbashみたいにカスタマイズしろよってことになるけど、 それは置いといて tmuxで最初に不便だなと感じたところが、 MySQLを開いて、SELECT構文を実行した時。 MySQL - Wikipedi...
zshの起動と同時にtmuxも起動してほしい
最高の開発環境を求めて 前回、コンピュータの勉強という名目で、 OSをUbuntuにし、 zsh(Z Shell) + tmux + Emacsでコードを書くことにしたわけですが、 使っていくと、あれもほしい、これもほしいと、 カスタマイズしたくなってくるのは人の性です。 結構初期に感じたのが、端末(zsh)を立ち上げます。 その後、tmuxを立ち上げるために localhost% tmux tmuxというコマンドをいちいち打たなければならないのがうっとおしい。...
最高の開発環境を求めて
一人になって、 困ったらすぐに聞ける人もいなくなった。 前職ではインフラ周りについてレシピがあったので、 それに従っていれば及第点のことはできた。 だけど今はレシピがない。 むしろ一緒にプロジェクトを行っている人向けにレシピを作る側になってしまった。 このままではまずいなと、 自身のパソコンをWindowsからLinuxにした。 Linuxはオープンソースのオペレーティングシステムだ。 Linux - Wikipedia オペレーティングシステム - Wiki...
中学生にプログラミングを教えてみて。その５
中学生にプログラミングを教えてみて。その４
中学生にプログラミングを教えてみて。その３ 結構序盤であった話、 こんな質問がありました。 パソコンは0と1の情報だけで命令を出すんでしょ。 なんで、 var a = 5; var b = 6; if ( a b ) { document.write(a); } else { document.write(b); } 数字を一切書かなくても実行することができるの？と これが実行の際に、コンピュータがね、このコードを0と1の形に変換してから実...