Selenium + Jenkins + phpwebdriver + Chromiumのヘッドレスでテストの自動化を行っている。Jenkins + ヘッドレスChromeでテスト自動化の省力化先日、SOY CMSとSOY Shopに常に画面左下に設置されるメモウィジェットを設置して、テストにかけてみたら、PHP Fatal error: Uncaught Facebook\WebDriver\Exception\UnrecognizedExceptio...
カテゴリー ： Ubuntu
fatal: write error: No space left on deviceの対処
当ブログで詳細ページを開いたら、突然fatal: write error: No space left on deviceというエラーが発生して詳細ページが見れなくなった。話を進める前に環境を載せておくサーバ：さくらVPS 1G + NFS 100GOS：Ubuntu 20.04さくらのVPSで追加ストレージ(NFS)を利用してみたデバイスには新たに書き込む容量がないというエラーであるそうだ。No space left on device とエラーが出ると...
【SEO対策】実行環境のバージョンを上げて高速化
SEO対策、キャッシュの利用でデータ転送量を削減までの記事では、ブラウザでサイトを見る時のブラウザからリクエストを送り、レスポンスが返ってくる時のデータの最適化を見てきたけれども、今回から新たな視点を加えてのSEO対策を見ていくことにする。Google製のWebサービスであるPageSpeed Insightsでスコアが100になるためには、ラボデータで各項目がオールグリーンになる必要がある。ここで最後まで苦戦したのが、インタラクティブになるまでの時間と初回入...
【SEO対策】Gueztliで画像のファイルサイズの削減
SEO対策、HTTP/2でデータの転送の仕組みを変えることで、リクエスト数とデータの転送時間の削減を行った。ここからは個人的な解釈なので間違えているかもしれないけれども、HTTP/2によって一度にデータを送信する量が増えた。しかも増えたのはインターネット上で最も容量を占拠していると言われる画像データになっている。回線はみんなで使うものなので、画像データのサイズが無駄に大きかったとすると、回線を圧迫する事になるので嫌だろう。PageSpeed Insights - Goog...
Ubuntu19.10でSelenium + php-webdriverが動作しなかった時の対処
Ubuntu19.10でテストの自動化の環境を作ろうと思ったけれども、環境を構築して実際に実行したけれども、/*****************************************************/拡張機能の読み込みエラー次の場所から拡張機能を読み込むことができませんでした:. マニフェスト ファイルが見つからないか読み取りません/*****************************************************/というエラーで実行...
Ubuntu19.10でSnapのBracketsのライブプレビューが動作しなかった時の対処
表題の通り、UbuntuでSnap版のBracketsを入れたけれども、作成中のHTMLをライブプレビューで確認したら、Brackets - A modern, open source code editor that understands web design.Snappy - WikipediaChromiumが立ち上がった後、/****************************************************/ファイル...
Ubuntuにインストールしたsendmailの起動と送信が遅くて困った
表題の通り、Ubuntuにインストールしたsendmailの起動と送信が遅かった。設定を変更したら送信が速攻になったので変更した内容をメモとして残しておく。sendmail - Wikipedia環境サーバ：さくらのVPS 512MBOS：Ubuntu 19.10sendmail：8.15.2sendmailのインストールの手順は下記の記事を参考に行った。Ubuntuでsendmailをインストールするとりあえず下記のコマンドでテストの送信を行った...
SOY CMSでMySQL8系に接続できない時の対処
MySQLのバージョンを8系にアップグレードした後、SOY CMSの初期化画面(ログイン画面でもおそらく同じ)を開いたら、データベースの接続に失敗しました。(Can not get DataSource (myqsl:********port=3306;dbname:******)というエラーが表示された。/CMSインストールディレクトリ/admin/webapp/pages/_init/InitPage.class.phpの/*** データベースに接続できるかをチ...
Ubuntuのサーバで特定のユーザのみSSHでパスワード認証を禁止したい
表題の通り、Ubuntuを入れたサーバで全ユーザのパスワード認証を禁止するのではなく、特定のユーザのみパスワード認証を禁止して、公開鍵認証にしたい。背景として、自身が利用するユーザは簡単なパスワードにしたいけれども、他に使用している方に鍵認証の設定を誘導するのは大変なので他の方には難解なパスワードのユーザを利用してもらいつつ、自身のみを公開鍵認証方式にしたい。というわけで設定公開鍵認証の手続きは下記の記事に記載があるので省略する。SSHの鍵認証でログイン設定SSH...
Ubuntu19.10でGoogle Photoでデジカメの画像のアップロードがエラーになる時の対応
Ubuntuを19.10にしたら、Google PhotoでUSBで接続したデジカメの写真のアップロードができなくなった。Googleフォト先に環境OS：Ubuntu 19.10デジカメ：OLYMPUS TG-4ブラウザ：Chromium 78.0.3904.97具体的にいうと、Google Photoの画面右上にあるアップロードのリンクから認識されているUSBのディレクトリを選択すると3831-3839の内容を読み込めませんでした。Error...
PHPで形態素解析エンジンのMaCabを使用する為の手順のメモ
PHPで形態素解析エンジンであるMeCabを使えるようにする為の手順をメモしておく。MeCab: Yet Another Part-of-Speech and Morphological AnalyzerMeCab - Wikipedia形態素解析 - Wikipedia環境OS：Ubuntu19.10Apache 2.4.41PHP 7.3.11-1+ubuntu19.10.1+deb.sury.org+6Server API FPM/FastCGI上記...
Jenkins + ヘッドレスChromeでテスト自動化の省力化
SOY CMS / Shopの開発で、Jenkinsを利用してテストの自動化を行っている。※詳しい構成は下記のリンク先の記事に記載がある。さくらVPSにJenkinsを入れて、Selenium + php-webdriverを動かせるようにする機能を追加する度に負荷の高いテストコードを追加し続け、気がついたら、一回のビルドの所要時間が5時間を超えていた。1日3回ぐらいJenkinsがテストを行ってくれるので、1日15時間とテスト要因で人を雇ったらブ...
さくらの追加ストレージ(NFS)内のファイルをDropboxで同期したい
※注意：この記事に記載されている方法はDropbox側で廃止になり利用できなくなっていた。Dropbox でのシンボリックリンクの使用方法 | Dropbox ヘルプ代わりにDropbox-UploaderでDropboxに直接ファイル転送する仕組みを採用した。andreafabrizi/Dropbox-Uploader: Dropbox Uploader is a BASH script which can be used to upload, download, list or ...
さくらのVPSで追加ストレージ(NFS)を利用してみた
インターネットの各サイトで一番多いデータの形式は画像のデータだと言われる。うちのサイトでも画像のデータが大半を占め、現在借りているさくらのVPS 1Gプラン(ストレートがSSD 30G)も気付けば残り200MBになり、夜間のバックアップスクリプトを実行するとサーバのリソースが限界を超えるのか、朝起きてサイトを表示したら何らかの不調でサイトが開けないことが多くなった。というわけで、追加ストレージ(NFS)を借りて、画像データをNFSのサーバに移すことにした。...
UbuntuでさくらのVPS for Windows Serverを使用する
UbuntuでさくらのVPS for Windows Serverに接続することになったので、その時に試した内容をメモとして残しておく。※VPSサーバ側の手続きは今回の記事では記載しません。さくらのVPS for Windows Serverはじめに環境Lenovo Ideapad 720S プラチナCPU : AMD Ryzen 5 2500U APU ( 2.00GHz 2MB )OS : Ubuntu 18.04メモリ : 8.0GB PC4-17000...
ApacheでLet's Encryptの自動更新する為にCertBotを導入した
Let's Encrypt - Free SSL/TLS Certificates当サイトをHTTP/2対応して表示の爆速化してみたの記事でApacheで運営しているサイトでLet's Encryptを利用してhttpsからはじまるURLでサイトを表示できるようにしている。Let's Encryptは3ヶ月毎に更新のため、Let's Encryptのインストールの際、cronで期限が切れそうになったら自動更新するコマンドを登録していたけれども、先日、期限切れを伝えるメ...
Go言語でQtを扱ってみる on Ubuntu
Go言語はC言語のようなコンパイルとPython等のLL言語の両方の実行方法を持ちつつ、言語の仕様を削ぎ落として学習コストを下げつつ実行の高速化を保ち、更にはクロスコンパイルで一つのコードで様々なOSをサポートする。シンプルな故に開発の支援ツールも充実しているという特徴を持つ言語だが、デスクトップアプリ(GUI)の開発に弱いというイメージがある。敢えて弱くしているように見えるので以後は弱点とは言わないが、洗礼された言語を使っっているとやはりGUIアプリのコードを書...
UbuntuでAndroid Debug Bridgeを使ってみる
Android Debug Bridge(通称：adb)は開発機とAndroid機(エミュレータ)間で通信できる便利なコマンドラインツールで、開発機からAndroid機に開発したスマホアプリをデプロイ出来たりする。Android Debug Bridge | Android Developersというわけで、ADBのインストールからAndroid機にアプリのデプロイまでやってみた。開発機Lenovo Ideapad 720S プラチナCPU : AMD Ryz...
UbuntuにAndroidのエミュレータを入れる
Go言語のGo MobileでAndroidアプリを開発してみるで、Go言語でAndroidアプリを開発出来る環境を設けた。開発を快適にするために、開発機にAndroidのエミュレータを入れてみた。まずは環境をまとめてみる。開発機Lenovo Ideapad 720S プラチナCPU : AMD Ryzen 5 2500U APU ( 2.00GHz 2MB )OS : Ubuntu 18.04メモリ : 8.0GB PC4-17000 DDR4 (オンボ...
Go言語のGo MobileでAndroidアプリを開発してみる
Go言語ではAndroidやiOSのアプリの開発用でmobileパッケージが用意されている。Mobile · golang/go Wiki · GitHubAndroidアプリの開発することになったので、本家のJavaではなくGo言語で開発してみることにする。今回はサンプルコードをAndroid端末で動かすところまで。ということで早速開発環境を載せる。開発機Lenovo Ideapad 720S プラチナCPU : AMD Ryzen 5 2500U ...
続・Ideapad 720SにUbuntuを入れてWi-Fiを使用する
Ideapad 720SにUbuntuを入れてWi-Fiを使用するで新しいパソコンにUbuntuを入れた後に内蔵Wi-Fiが使用できないという困った症状になって、諸々調べたけれども解決しなかったという内容を記載しました。今回は前回の続きで解決編最初に前回まで調べたことをまとめると最初にマシンとインストールしたOSを記載してみる。Lenovo Ideapad 720S プラチナCPU : AMD Ryzen 5 2500U APU ( 2.00GHz 2MB )...
Ideapad 720SにUbuntuを入れてWi-Fiを使用する
記事タイトルでIdeapad 720SにUbuntuを入れてWi-Fiを使用すると記載したけれども、先に結論を書くと、現時点(2018年3月29日)では内蔵Wi-Fiアダプタは使用出来なかった。使用出来なかったという判断を行うまでの過程をメモとして残す。先に前回記載した内容をまとめておくと、Lenovo Ideapad 720S プラチナCPU : AMD Ryzen 5 2500U APU ( 2.00GHz 2MB )OS : Windows 10 Home ...
Ryzen搭載のノートパソコンにUbuntuのインストールで苦戦した
開発用としてノートパソコンを購入した。長い間、待ちに待ち続けたRyzen搭載のノートパソコンだ。AMD Ryzen™デスクトップ・プロセッサー | AMDRyzen - Wikipediaそれでは早速、OSをWindows10からLinux Ubuntuに入れ替えだ。The leading operating system for PCs, IoT devices, servers and the cloud | Ubuntu何...
Ubuntuでタッチパッドでアイコンの上を軽く触れるだけでドラックしてしまう問題について
先日、Ubuntu17.10にアップグレードした。アップグレード後にパソコンを触れたら、※タッチパッドでアイコンに軽く触れるだけで、アイコンがドラックの操作として動き出してしまうタッチパッドでアイコンの上を軽く触れるだけでアイコンをドラックしてしまう問題が発生した。実際には前のアップグレードの時も同様の問題が発生したので、再発したと言った方が良いかも。前回は設定のメモをしておくことを忘れて、今回も同様に苦戦したので、今回は設定のメモを残しておくことにする。...
Ubuntuでsendmailをインストールする
UbuntuでSendmailをインストールする時に苦戦したので、その時のメモとして投稿。Sendmail - Wikipediaまずはいつものように$ sudo apt-get update$ sudo apt-get upgradeして、諸々のアプリをアップグレードしておく。その後にSendmailのインストールを行うために$ sudo apt-get install sendmail sendmail-cf mailutilsをしたが、Creatin...
さくらVPSにJenkinsを入れて、Selenium + php-webdriverを動かせるようにする
さくらVPS上でSeleniumとphp-webdriverを利用する前回、さくらのVPSにSeleniumとphp-webdriverを実行するための環境を設けた。あとはJenkinsを入れるだけだ。環境さくらVPS 512Ubuntu 16.04Java 1.8.0_151Jenkins 2.76Selenium 3.7.1Xvfb バージョンの調べ方わからずChromeドライバ 2.33.506092Chromium 62.0.3...
さくらVPS上でSeleniumとphp-webdriverを利用する
Selenium - Web Browser Automation最近の記事でSOY CMS / ShopのUIテストをSeleniumのGUI(Firefoxのアドオン)からFacebook製のphp-webdriverへと作り変えた。facebook/php-webdriver: A php client for webdriver.テストを作ったのは良いけれど、ローカル環境だとテスト中に他の作業ができなくなるので、さくらのVPSを借りてSeleniumを動かせるよう...
Seleniumとphp-webdriverでUIテストの自動化
アプリ開発において自動化しておきたいものにテストの自動化がある。今までSOY CMS / ShopはSeleniumのFirefoxプラグインでGUIで一つずつ動作を登録しながらUIのテストコードを作成していたけれども、Selenium - Web Browser AutomationJenkinsさんのお力を借りて、JenkinsさんにSeleniumを実行してもらうべく、PHPのコードでSeleniumのUIテストのコードを書き直すことにした。Jenk...
UbuntuサーバでNode.jsのアプリの再起動に苦戦した時のメモ
Socket.IOのチャットアプリでXSS対策まででNode.jsでリアルタイムなチャットアプリの開発を見てきた。ある程度動作するようになったので、VPSサーバで実際に動かす段階になったので設置した。前回の記事以降、メッセージを投稿して、他のブラウザ宛にプッシュする直前でデータベースに保存し、表示しているブラウザをリロードしたらデータベースに保存しているやりとりを表示するという機能を付けている。chatdemo├── README.md├── _modul...
Apacheサーバでバージョンの表示を隠す
Apacheサーバでは、デベロッパーツールのネットワークと404NotFoundのページでサーバで利用しているApacheのバージョンが表示される。バージョンが表示されることによって、Apacheのとあるバージョンに重大な脆弱性があった場合、これらの表示を元に攻撃を試みられることもあるので、バージョンは非表示にすることが推奨されている。というわけでApacheのバージョンを非表示にしてみる。環境Ubuntu 16.04 ...
Apache2.4.27の標準設定ではHTTP/2が使用できなくなったのでその対応
現在稼働中のサーバのApacheのバージョンを2.4.27にアップグレードしたら、HTTP/2が使用できなくなっていた。Apacheの使用を確認すると、Apache2.4.27からMPM(マルチプロセッシングモジュール)の設定がpreforkであるとHTTP2の設定を無効するように仕様が変更されたらしい。マルチプロセッシングモジュール (MPM) - Apache HTTP サーバというわけで、MPMをpreforkからworkerに変更して、再びHTTP/2...
ApacheサーバでBrotliを使用してみた
前回、圧縮の性能が高いと言われるBrotliを試してみた。Googleの圧縮アルゴリズムBrotliを試してみた性能は圧縮後のファイルサイズで確認して、容量が標準のgzipよりも少なくなっていることを確認した。これはApacheサーバにも入れてみたい！ということでサーバにインストールしてみた。はじめにサーバの環境だけど、さくらのVPS 512Ubuntu 14.04Apache 2.4.25当サイトをHTTP/2対応して表示の爆速化して...
FCrackZipでzipファイルに設定されたパスワードを調べる
パスワード付きのzipファイルが解凍できなくて困った。というわけでfcrackzipという総当り攻撃してくれるアプリを利用してzipファイルに設定されているパスワードを調べてみることにした。Marc Lehmann's "FCrackZip"環境はubuntu 17.04です。はじめに下記のコマンドでfcrackzipをインストールsudo apt-get install fcrackzip続いて、パスワード付きのzipファイルを生成。hoge.txtとい...
FFmpegとAudacityで動画の音声の調整に挑戦！
ボカシ肥の作成の動画を撮り直しました。以前、ボカシ作成の動画を撮影してYouTubeにアップロードしました所、PVが20000ぐらいになり、グダグダな動画だったために意味不明な誹謗中傷のコメントがいくつかくるようになりました。米ぬかボカシを作ろう！仕込んでみる！というわけで撮り直したのですが、マイクの腕が悪いので集音周りが全然できていません。これは編集力を高めた方が良いだろうと、編集に注力を注ぐことにしました。編集環境はUbuntu17.0...
Ubuntu版BracketsのBeautifyの設定
Brackets - A modern, open source code editor that understands web design.WebサイトやWebアプリのエディタでBracketsというものがあります。軽量且つ様々なプラグインでプログラミングが捗ります。Brackets(エディタ) - おすすめ - SOY CMSを使ってみようこのBracketsのプラグインの一つにBeautifyというファイルの保存時にコードを整形してくれるナイスなもの...
当サイトをMackerelで監視するようにしてみた
京都のIT企業、株式会社はてなで開発されているサーバ監視サービスのMackerelを利用してみた。Mackerel（マカレル）: 新世代のサーバ管理・監視ツール先に結論を書いておくと、サービス利用までの手順がほぼなくて壮絶簡単だった。もっとはやくに導入しておけば良かった…とりあえず導入の背景だけど、予算をもらって開発しているWebサービスではサーバを借りるための費用も出してもらっているので、VPSを借りてMuninを導入しているんだけど、Muninで監...
Ubuntuサーバのメモリ開放
Muninで監視用サーバを構築する１
1年前あたりから書き始め、1秒間のリクエスト数がそこそこになったWebサービスがある。今までは使用者が身内で二人だったので特に気にしていなかったのですが、そろそろ利用者も増えてきそうな兆しが見えてきたので、増える前にサーバの監視を行うことにした。サーバの監視をするためにMuninを採用することにした。Muninをインストールした時のメモとして記事を投稿する。サーバの環境はUbuntu 16.04です。インストール前にMuninの簡単な説明を書いてお...
Dropboxにバックアップする時はパスワード付きzipにしておく
SOY CMSのサイトのバックアップをDropboxで行うでVPSで運営しているサイトのバックアップをDropboxで行う様に設定してみた。前回は記事を全公開しているブログサイトのデータベースだったので特に意識しなくて良かったが、SOY Shopの様な個人情報込みのデータベースをバックアップする際、前回の様に指定のフォルダをzipに圧縮だけするというのは色々と不安だ。ということで、zipのオプションにある暗号化を使ってサーバに配置してみることにする。...
当サイトをHTTP/2対応して表示の爆速化してみた
前々からやりたかったことがあった。それはこのブログをapache2.4 + PHP7 + Let's Encrypt + HTTP/2で表示の爆速化。Goで運営しているサイトでLet's Encryptを利用してみた前に使っていたサーバの更新があったので、ちょうど良い機会だから共有サーバからVPSに乗り換えることにした。ちなみにVPSはさくらの512ね。http://vps.sakura.ad.jp/specification/#target_beginner...
UbuntuでWindowsが入ったSSDを開こうとするとエラーになる
前使っていたWindows10が入ったSSDからデータをとり出さなければいけなくなって、しゃあないから、外付けハードディスクみたいに使える箱にSSDを突っ込んで、Ubuntuのマシンにつなげたのよ。そうしたら、マウントできないってよ。エラーになった。なんかLinuxでWindowsのOSが入ったSSDをマウントするとき、ntfsfixしなければならないんだって。早速やってみた。コマンドはsudo ntfsfix ...
apt-get upgradeで保留と表示された時
Terminator上でEmacsを起動すればxclipが使えるのか？
Emacsでxclipを使える様にしたけど、tmux経由でEmacsを起動するとxclipの設定が使えない。Emacsでクリップボードを使ってコピペしたいどうやらこれは、tmuxのコピーモードの仕様が影響しているっぽくて、コピーモードの矛先をいろいろといじってみたけどダメだった。(試した内容は省略します)そういや、Macにはitermという端末自体でタブ機能があるものがあったなと。zshをインストールしたとはいえ、zshを使っているのがUbun...
zshの起動と同時にtmuxも起動してほしい
最高の開発環境を求めて前回、コンピュータの勉強という名目で、OSをUbuntuにし、zsh(Z Shell) + tmux + Emacsでコードを書くことにしたわけですが、使っていくと、あれもほしい、これもほしいと、カスタマイズしたくなってくるのは人の性です。結構初期に感じたのが、端末(zsh)を立ち上げます。その後、tmuxを立ち上げるためにlocalhost% tmuxtmuxというコマンドをいちいち打たなければならないのがうっとおしい。...
最高の開発環境を求めて
一人になって、困ったらすぐに聞ける人もいなくなった。前職ではインフラ周りについてレシピがあったので、それに従っていれば及第点のことはできた。だけど今はレシピがない。むしろ一緒にプロジェクトを行っている人向けにレシピを作る側になってしまった。このままではまずいなと、自身のパソコンをWindowsからLinuxにした。Linuxはオープンソースのオペレーティングシステムだ。Linux - Wikipediaオペレーティングシステム - Wiki...
SSHの鍵認証でログイン設定
デジカメ内の写真を間違えて消してしまった時はPhotoRec！
デジカメのSDカードからバックアップ用の外付けハードディスクに写真を移動していた時のこと、デジカメで撮影していたデータを移行中にエラーになって、移行を強制終了したら、前に入れてたデータも何故か消えた。SDカードからハードディスクにコピーできた時点で、デジカメの方のデータも削除していたので、エラーになった時、正直焦った。大事な動画があったのにと…デジカメのデータは削除しても、表示できないだけでしばらくデータは残っているということらしいので、デ...
使わなくなったパソコンにSambaを入れて、ファイル共有用のサーバを構築してみた
32ビットのWindows7が余っているので、何か使い道はないですか？と聞かれたので、メモリーを増設して、Ubuntuを突っ込んで、Sambaでファイルの共有サーバを作ってみた。Ubuntu Japanese TeamSamba - opening windows to a wider worldとりあえずは、組織内の共有サーバとして、・外部からの接続は禁止・サーバのファイルを自由に変更できる・ログイン機能は持たないというシンプルな構成にし...