おんがえしの blog

作ったプログラムと調べた技術情報

groonga

ブラウザから電子書籍の追加・削除ができるようになりました - Honyomi 1.5 リリース

Honyomi 1.5 をリリースしました。 Webインターフェースから書籍の削除、ページ画像の追加・削除ができるように 検索結果がサムネイル画像になって見やすく 書籍の解析処理の改善 詳しくは更新履歴をどうぞ。 インストール Honyomi - インストール ビルド済…

理想の読書システムが構築できたので紹介します

電子書籍、全文検索、Webアプリケーションといった現代技術を組み合わせる(無いものは自分でソフトウェアを書いた)ことで理想の読書システムを構築することができた気がしたので紹介します。 1. 購入 コンピュータ関連の書籍は Gihyo、オライリー、達人出版…

簡易認証を使ってインターネット上に購入した電子書籍を置く - Honyomi 1.4

※ Kitematicがある人はすぐに手元で動かすことができます Honyomi1.4で簡易認証機能を追加しました。Webサーバー側の設定不要でパスワードロックが可能です。 達人出版やGihyo Digital、Pragmatic Bookshelfで購入した本もインターネットに置けるようになり…

pdfをブラウザにドラッグ&ドロップして全文検索しながら読む - Honyomi1.3

Honyomi 1.3 をリリースしました。pdftoppmがインストールされていればドラッグ&ドロップするだけですぐにインライン閲覧できるようになりました。 割と理想のpdf全文検索アプリになってきたんじゃないかと思います。いちいちpdf本体を開かずに読んだり検索…

pdfをブラウザからインラインで閲覧できるようになりました - Honyomi 1.2

Honyomi 1.2 をリリースしました。これは電子書籍検索エンジンとしての使い勝手を向上させる大きなリリースです。 pdfファイルのページ内容をブラウザ上で直接読めるできるようになりました。(今まではテキスト内容だけが表示されており実際に読むには元のpd…

Honyomi 1.1 - Webアプリからドラッグ&ドロップで書籍が追加できるようになりました

Honyomiは電子書籍(pdf)の検索エンジンとWebアプリです。手元にある大量のpdfをコマンドラインから登録し、ブラウザ経由で簡単に検索することが出来ます。 リリースノート インストール $ gem install honyomi Rroongaのインストールに失敗する場合はこちら…

Milkode 1.8.7 リリースしました

プルリクエストによるバグ修正が主です。(ずっとリリースできなくてすいません・・) milk web Remove duplicated :type => :boolean milkweb.yaml :eliminate_extname 属性を追加 CodeRay用の :tab_width 属性を追加 リリースノート インストール 行指向のソ…

Milkodeで作ったデータベースをRroongaで開いて簡単に全文検索する

この記事はGroonga Advent Calendar 2014 - Qiitaの17日の記事です。 Groongaはオープンソースのカラムストア機能付き全文検索エンジンです。RroongaやGrnMiniを使うとRuby経由で簡単にアクセスすることが出来ます。 検索用クエリを工夫してデータを色々な角…

Rubyで気軽に全文検索したい人のためのgrn_mini (on Groongaを囲む夕べ5)

全文検索エンジンGroongaを囲む夕べ5にいってきました。LINEやYahoo!、ぐるなびといった企業で実際にMroongaが使われていて具体的な発表がいっぱい聞けて面白かったです。DroongaもGroongaとの互換性が向上してGroonga単体で遅くなった時にぼちぼち使えそう…

全文検索可能な電子図書館を作ってみた

本読みの図書館 http://honyomi.ongaeshi.me/ 先日リリースしたHonyomi1.0をベースに作成しました。 再配布可能な電子書籍を集めて全文検索出来るようにしてあります。 原文のpdfをその場で読んだりダウンロードしてオフラインで読むことも可能です。 気にな…

Honyomi 1.0 リリース - ブックマーク&コメント、Web上で本の情報を編集、便利な検索クエリ (デモもあるよ!)

Honyomiは電子書籍(pdf)の検索エンジンとWebアプリです。手元にある大量のpdfをコマンドラインから登録し、ブラウザ経由で簡単に検索することが出来ます。 前回リリースの0.2から大きくジャンプアップして初のメジャーリリースとなります。欲しかった機能が…

Groonga(Rroonga)で検索時に特定カラムに重みを付けたい

例えばあるテーブルに title(タイトル), content(本文), comment(コメント) カラムがあって タイトルには20倍 本文には10倍 の重みを付けたい場合は以下のようにする。 grn.select do |record| record.match("aaa") do |target| (target.title * 20) | (targ…

Honyomi 0.2 リリース - キーワードハイライト、検索クエリ引き継ぎ

Honyomi 0.2 をリリースしました。 主にWebアプリの使い勝手を改善しました。検索クエリが勝手に消えたりキーワード位置が見にくかった問題を改善しています。 検索結果の改善 キーワードをハイライト 検索クエリの引き継ぎ テキスト 'raw'から'Text'に名前…

電子書籍をインターネットに置いていつでも検索、閲覧出来るようにする

Honyomiに認証をかけてインターネット上の自宅サーバーに設置してみました。とても便利だったので手順をまとめました。 ongaeshi/honyomi-web 普段使っているVPSサービスに設置したのですが、Honyomiはローカルで使わずにインターネット上に設置して使う方が…

Milkode 1.8 をリリース - キーボードショートカット、Herokuへのデプロイに対応、ファイル一覧の表示

キーボードショートカットに対応 Herokuへのデプロイに対応 'f:*'でパッケージ内のファイル一覧の表示 インストール $ gem install milkode ダウンロード, Gems キーボードショートカットに対応 GitHubのようなキーボードショートカットに対応しました。ヘル…

30秒でHerokuにソースコード検索をデプロイできる Milkode on Heroku を作りました。

HerokuでRroongaが使えるようになったので、これはMilkodeもHerokuにデプロイ出来るのではないかと思いチャレンジしてみました。 インストール ongaeshi/milkode-on-heroku 使い方 デモアプリ あらかじめ Heroku Toolbelt を使えるようにしておきます ソース…

RubyとGo言語を組み合わせて高速なgrepを作りました

Milkode 1.7で新しく入ったGomilkの技術解説です。ここ数ヶ月Go言語の勉強をしていましたが、Rubyで書かれたMilkodeとのよい組み合わせを思いつき、一ヶ月ほどかけて作ってみました。 Gmilkの問題 MilkodeにはGmilkというGrep感覚で使えるコマンドラインツー…

Milkode 1.7 をリリース - gomilk

Go言語で作ったgmilkの高速版、gomilkに対応 gmilk --expand-path に対応 README, ヘルプの国際化強化 インストール $ gem install milkode ダウンロード, Gems Go言語で作ったgmilkの高速版、gomilkに対応 ongaeshi/gomilk Go言語で書かれた高速なgmilkです…

国産の全文検索エンジンGroongaはRubyから簡単に使うことが出来る

国産の全文検索エンジンGroonga vs 世界的流行のElasticsearch - CreateField Blog がバズってるうちに(と、いいながらもう数日経ってしまった・・)関連情報を流してみようと思います。 Rroonga Rroongaというgemを使うとRubyから簡単にGroongaの操作(データ…

Milkode 1.6.1 をリリースしました

1.5の時に告知するのを忘れていました。まとめてご連絡です。 トップページをリニューアル、タイムラインスタイルに (1.5) 環境変数 GMILK_OPTIONS のサポート gmilk で Ctrl+C 押下時にスタックトレースを表示しないように 安定化 インストール $ gem insta…

数万の電子書籍から目的のページを一瞬で見つけ出す、Honyomi

続きを書きました。 ongaeshi/honyomi Honyomiは個人やイントラネット環境で使える電子書籍(pdf)の検索エンジンとWebアプリです。手元にある大量のpdfをコマンドラインから登録し、ブラウザ経由で簡単に検索することが出来ます。 HonyomiはMilkodeの電子書籍…

Rubyでランダムにディレクトリの中身を書き換えるライブラリを作った

Groongaのデータベース肥大化をテストしようと思って、 テスト用のGroongaを仮想環境にインストール Milkodeデータベースを作成 (milk init) 適当なソースコードをデータベースに追加(milk add) ディレクトリの中身を更新、追加、削除で適当に書き換える デ…

RubyとGrnMiniを使ってレストラン検索を作ってみた

Elasticsearchチュートリアル - 不可視点で紹介されていたlivedoorグルメの研究用データセットとGrnMini 0.4.0を使ってGroongaベースの簡単なレストラン検索を作ってみました。 ソースコードもとても短い(153行)ので簡単な検索エンジンを作ってみたい人は参…

GrnMiniでテーブルを連携させてTwitterぽいものが作れるように

続き を書きました。 今まではデータベース1つにつき1つのテーブルしか持つことが出来ませんでした。0.4では複数のテーブルを作ったりテーブル間を連携させて複雑なデータ構造を作れるようになりました。 いよいよカラムデータベースの本領発揮です。 GrnMin…

150行で書ける全文検索エンジン

Rubyで簡単に全文検索エンジンが作れるGrnMiniを作ったの続きです。 GrnMiniを使って小さな検索エンジンを書いてみました。 全1ファイル、154行です。検索、マッチ個所の表示(スニペット)、ページネーション、ファイル本体の表示など検索エンジンに必要な一…

Rubyで簡単に全文検索エンジンが作れるGrnMiniを作った

続きを書きました。 RubyでただのArrayだと思って・・の続きです。正月中に整備してgem化しました。 GrnMini ongaeshi/grn_mini Groonga(Rroonga)を簡単に使えるようにラップしたものです。 カラム指定不要でデータを追加することが出来ます。 永続化、高度…

RubyでただのArrayだと思ってデータを追加したつもりなのに気がついたら全文検索出来ていた・・的なものを作った

続きを書きました。 Ruby Advent Calendar 22日目の記事です RroongaというRubyで使える全文検索エンジンがあって愛用しているのですが、使う前の準備でカラム指定やデータ型を指定したり、全文検索のためのインデックステーブルを作るのが少し大変でした(大…

Groongaを使うとドリルダウン検索は簡単です

全文検索エンジンGroonga Advent Calendar 2013の18日目の記事です。 Groongaを囲む夕べ4で発表したスライドにて、Milkodeにおけるドリルダウンの使い方を紹介してなかなか評判が良かったので記事にしてみます。 ドリルダウンって? ドリルダウンとは - IT用…

groonga-databse-inspectを使ってMilkodeのデータ使用量を分析する

この記事はGroonga Advent Calendar 2013の6日目です。 これは何? [groonga-dev,01926] Rroonga 3.1.0 今回のリリースではgroonga-database-inspectというコマンドを追 加しています。このコマンドはデータベースの詳細を表示します。 Rroonga3.1.0からgroo…

2014年、おんがえしのアドベントカレンダー

アドベントカレンダーは数が増えすぎました。 ってことで毎日巡回用のランディングページを作ることにします。おすすめのアドベントカレンダーとかあったら教えて下さい。 巡回 .emacs D言語 mruby Ruby 全文検索エンジンGroonga マイナー言語 Unity Clojure…