groonga

ブラウザから電子書籍の追加・削除ができるようになりました - Honyomi 1.5 リリース

Honyomi 1.5 をリリースしました。 Webインターフェースから書籍の削除、ページ画像の追加・削除ができるように 検索結果がサムネイル画像になって見やすく 書籍の解析処理の改善 詳しくは更新履歴をどうぞ。 インストール Honyomi - インストール ビルド済…

理想の読書システムが構築できたので紹介します

電子書籍、全文検索、Webアプリケーションといった現代技術を組み合わせる(無いものは自分でソフトウェアを書いた)ことで理想の読書システムを構築することができた気がしたので紹介します。 1. 購入 コンピュータ関連の書籍は Gihyo、オライリー、達人出版…

簡易認証を使ってインターネット上に購入した電子書籍を置く - Honyomi 1.4

※ Kitematicがある人はすぐに手元で動かすことができます Honyomi1.4で簡易認証機能を追加しました。Webサーバー側の設定不要でパスワードロックが可能です。 達人出版やGihyo Digital、Pragmatic Bookshelfで購入した本もインターネットに置けるようになり…

pdfをブラウザにドラッグ&ドロップして全文検索しながら読む - Honyomi1.3

Honyomi 1.3 をリリースしました。pdftoppmがインストールされていればドラッグ&ドロップするだけですぐにインライン閲覧できるようになりました。 割と理想のpdf全文検索アプリになってきたんじゃないかと思います。いちいちpdf本体を開かずに読んだり検索…

pdfをブラウザからインラインで閲覧できるようになりました - Honyomi 1.2

Honyomi 1.2 をリリースしました。これは電子書籍検索エンジンとしての使い勝手を向上させる大きなリリースです。 pdfファイルのページ内容をブラウザ上で直接読めるできるようになりました。(今まではテキスト内容だけが表示されており実際に読むには元のpd…

Honyomi 1.1 - Webアプリからドラッグ&ドロップで書籍が追加できるようになりました

Honyomiは電子書籍(pdf)の検索エンジンとWebアプリです。手元にある大量のpdfをコマンドラインから登録し、ブラウザ経由で簡単に検索することが出来ます。 リリースノート インストール $ gem install honyomi Rroongaのインストールに失敗する場合はこちら…

Milkode 1.8.7 リリースしました

プルリクエストによるバグ修正が主です。(ずっとリリースできなくてすいません・・) milk web Remove duplicated :type => :boolean milkweb.yaml :eliminate_extname 属性を追加 CodeRay用の :tab_width 属性を追加 リリースノート インストール 行指向のソ…

Milkodeで作ったデータベースをRroongaで開いて簡単に全文検索する

この記事はGroonga Advent Calendar 2014 - Qiitaの17日の記事です。 Groongaはオープンソースのカラムストア機能付き全文検索エンジンです。RroongaやGrnMiniを使うとRuby経由で簡単にアクセスすることが出来ます。 検索用クエリを工夫してデータを色々な角…

Rubyで気軽に全文検索したい人のためのgrn_mini (on Groongaを囲む夕べ5)

全文検索エンジンGroongaを囲む夕べ5にいってきました。LINEやYahoo!、ぐるなびといった企業で実際にMroongaが使われていて具体的な発表がいっぱい聞けて面白かったです。DroongaもGroongaとの互換性が向上してGroonga単体で遅くなった時にぼちぼち使えそう…

全文検索可能な電子図書館を作ってみた

本読みの図書館 http://honyomi.ongaeshi.me/ 先日リリースしたHonyomi1.0をベースに作成しました。 再配布可能な電子書籍を集めて全文検索出来るようにしてあります。 原文のpdfをその場で読んだりダウンロードしてオフラインで読むことも可能です。 気にな…

Honyomi 1.0 リリース - ブックマーク&コメント、Web上で本の情報を編集、便利な検索クエリ (デモもあるよ!)

Honyomiは電子書籍(pdf)の検索エンジンとWebアプリです。手元にある大量のpdfをコマンドラインから登録し、ブラウザ経由で簡単に検索することが出来ます。 前回リリースの0.2から大きくジャンプアップして初のメジャーリリースとなります。欲しかった機能が…

Groonga(Rroonga)で検索時に特定カラムに重みを付けたい

例えばあるテーブルに title(タイトル), content(本文), comment(コメント) カラムがあって タイトルには20倍 本文には10倍 の重みを付けたい場合は以下のようにする。 grn.select do |record| record.match("aaa") do |target| (target.title * 20) | (targ…

Honyomi 0.2 リリース - キーワードハイライト、検索クエリ引き継ぎ

Honyomi 0.2 をリリースしました。 主にWebアプリの使い勝手を改善しました。検索クエリが勝手に消えたりキーワード位置が見にくかった問題を改善しています。 検索結果の改善 キーワードをハイライト 検索クエリの引き継ぎ テキスト 'raw'から'Text'に名前…

電子書籍をインターネットに置いていつでも検索、閲覧出来るようにする

Honyomiに認証をかけてインターネット上の自宅サーバーに設置してみました。とても便利だったので手順をまとめました。 ongaeshi/honyomi-web 普段使っているVPSサービスに設置したのですが、Honyomiはローカルで使わずにインターネット上に設置して使う方が…

Milkode 1.8 をリリース - キーボードショートカット、Herokuへのデプロイに対応、ファイル一覧の表示

キーボードショートカットに対応 Herokuへのデプロイに対応 'f:*'でパッケージ内のファイル一覧の表示 インストール $ gem install milkode ダウンロード, Gems キーボードショートカットに対応 GitHubのようなキーボードショートカットに対応しました。ヘル…

30秒でHerokuにソースコード検索をデプロイできる Milkode on Heroku を作りました。

HerokuでRroongaが使えるようになったので、これはMilkodeもHerokuにデプロイ出来るのではないかと思いチャレンジしてみました。 インストール ongaeshi/milkode-on-heroku 使い方 デモアプリ あらかじめ Heroku Toolbelt を使えるようにしておきます ソース…

RubyとGo言語を組み合わせて高速なgrepを作りました

Milkode 1.7で新しく入ったGomilkの技術解説です。ここ数ヶ月Go言語の勉強をしていましたが、Rubyで書かれたMilkodeとのよい組み合わせを思いつき、一ヶ月ほどかけて作ってみました。 Gmilkの問題 MilkodeにはGmilkというGrep感覚で使えるコマンドラインツー…

Milkode 1.7 をリリース - gomilk

Go言語で作ったgmilkの高速版、gomilkに対応 gmilk --expand-path に対応 README, ヘルプの国際化強化 インストール $ gem install milkode ダウンロード, Gems Go言語で作ったgmilkの高速版、gomilkに対応 ongaeshi/gomilk Go言語で書かれた高速なgmilkです…

国産の全文検索エンジンGroongaはRubyから簡単に使うことが出来る

国産の全文検索エンジンGroonga vs 世界的流行のElasticsearch - CreateField Blog がバズってるうちに(と、いいながらもう数日経ってしまった・・)関連情報を流してみようと思います。 Rroonga Rroongaというgemを使うとRubyから簡単にGroongaの操作(データ…

Milkode 1.6.1 をリリースしました

1.5の時に告知するのを忘れていました。まとめてご連絡です。 トップページをリニューアル、タイムラインスタイルに (1.5) 環境変数 GMILK_OPTIONS のサポート gmilk で Ctrl+C 押下時にスタックトレースを表示しないように 安定化 インストール $ gem insta…

数万の電子書籍から目的のページを一瞬で見つけ出す、Honyomi

続きを書きました。 ongaeshi/honyomi Honyomiは個人やイントラネット環境で使える電子書籍(pdf)の検索エンジンとWebアプリです。手元にある大量のpdfをコマンドラインから登録し、ブラウザ経由で簡単に検索することが出来ます。 HonyomiはMilkodeの電子書籍…

Rubyでランダムにディレクトリの中身を書き換えるライブラリを作った

Groongaのデータベース肥大化をテストしようと思って、 テスト用のGroongaを仮想環境にインストール Milkodeデータベースを作成 (milk init) 適当なソースコードをデータベースに追加(milk add) ディレクトリの中身を更新、追加、削除で適当に書き換える デ…

RubyとGrnMiniを使ってレストラン検索を作ってみた

Elasticsearchチュートリアル - 不可視点で紹介されていたlivedoorグルメの研究用データセットとGrnMini 0.4.0を使ってGroongaベースの簡単なレストラン検索を作ってみました。 ソースコードもとても短い(153行)ので簡単な検索エンジンを作ってみたい人は参…

GrnMiniでテーブルを連携させてTwitterぽいものが作れるように

続き を書きました。 今まではデータベース1つにつき1つのテーブルしか持つことが出来ませんでした。0.4では複数のテーブルを作ったりテーブル間を連携させて複雑なデータ構造を作れるようになりました。 いよいよカラムデータベースの本領発揮です。 GrnMin…

150行で書ける全文検索エンジン

Rubyで簡単に全文検索エンジンが作れるGrnMiniを作ったの続きです。 GrnMiniを使って小さな検索エンジンを書いてみました。 全1ファイル、154行です。検索、マッチ個所の表示(スニペット)、ページネーション、ファイル本体の表示など検索エンジンに必要な一…

Rubyで簡単に全文検索エンジンが作れるGrnMiniを作った

続きを書きました。 RubyでただのArrayだと思って・・の続きです。正月中に整備してgem化しました。 GrnMini ongaeshi/grn_mini Groonga(Rroonga)を簡単に使えるようにラップしたものです。 カラム指定不要でデータを追加することが出来ます。 永続化、高度…

RubyでただのArrayだと思ってデータを追加したつもりなのに気がついたら全文検索出来ていた・・的なものを作った

続きを書きました。 Ruby Advent Calendar 22日目の記事です RroongaというRubyで使える全文検索エンジンがあって愛用しているのですが、使う前の準備でカラム指定やデータ型を指定したり、全文検索のためのインデックステーブルを作るのが少し大変でした(大…

Groongaを使うとドリルダウン検索は簡単です

全文検索エンジンGroonga Advent Calendar 2013の18日目の記事です。 Groongaを囲む夕べ4で発表したスライドにて、Milkodeにおけるドリルダウンの使い方を紹介してなかなか評判が良かったので記事にしてみます。 ドリルダウンって? ドリルダウンとは - IT用…

groonga-databse-inspectを使ってMilkodeのデータ使用量を分析する

この記事はGroonga Advent Calendar 2013の6日目です。 これは何? [groonga-dev,01926] Rroonga 3.1.0 今回のリリースではgroonga-database-inspectというコマンドを追 加しています。このコマンドはデータベースの詳細を表示します。 Rroonga3.1.0からgroo…

2014年、おんがえしのアドベントカレンダー

アドベントカレンダーは数が増えすぎました。 ってことで毎日巡回用のランディングページを作ることにします。おすすめのアドベントカレンダーとかあったら教えて下さい。 巡回 .emacs D言語 mruby Ruby 全文検索エンジンGroonga マイナー言語 Unity Clojure…

Milkode1.4リリース - ドリルダウンによるマウスクリックの絞り込み機能を追加!

ドリルダウンで拡張子、プロジェクト、ディレクトリの絞り込み 国際化 milk add -b オプションでブランチ指定 gmilkの出力モードにSJISを追加 最新のMilkodeを試してみたい時はmruby Code Searchをどうぞ。 インストール $ gem install milkode ダウンロード…

Groongaを囲む夕べ4をサクッと振り返る

今年も全文検索エンジンGroongaを囲む夕べ 4にいってきました。去年に引き続き、今回もスピーカーとして参加しました。 発表したスライド Milkode2013年の歩み ※ スライドが見れない場合はFirefoxやChromeで見れるはずです。 10ページからのGroongaのドリル…

mrubyソースコード検索エンジン、mrubysearchに検索したいソースコードを追加する

mrubysearch mrubyソースコード検索エンジンです。mrubyとmrubyを使ったソフトウェアのソースコードを高速に検索することが出来ます。 前回から少しづつ改善を続けています。 mrubysearchのレポジトリを整備した ongaeshi/mrubysearch に置きました、他の環…

Milkode1.3リリース - GitHubボタンを追加、キーワードのマッチ箇所をハイライト

GitHubボタンの追加 キーワードのマッチ箇所をハイライト 最新のMilkodeを試してみたい時はmrubysearchをどうぞ。 インストール $ gem install milkode ダウンロード, Gems GitHubボタンの追加 GitHubとMilkodeの連携を容易にするものです。GitHubからクロー…

mrubyソースコード検索を作りました

http://mrubysearch.ongaeshi.me/ RubyKokubanを作るにあたってmrubyのソースやmgem(mrubyのRubyGemsみたいなやつ)に登録されたソースコードを簡単に読めるようにしたいなあ、と思い作ってみました。 一日一回レポジトリを最新に更新してインデックスの再構…

Milkode 1.2 リリース : ファイル名のマッチ個所に色づけ、ctags連携、~/.gitignoreのサポート

ファイル名のマッチ個所に色づけ ctagsとの連携 ~/.gitignoreのサポート milk update時にignore対象をデータベースから削除 インストール $ gem install milkode ダウンロード, Gems ファイル名のマッチ個所に色づけ ファイル名のマッチ箇所がハイライトされ…

Milkode 1.1 リリース : 待望の相対URLに対応、gmilkの高速化

相対URLに対応(http://example.com/suburl/ にデプロイ可能に) gmilkの検索速度を高速化 インストール $ gem install milkode ダウンロード, Gems 相対URLに対応 今までは http://example.com/ http://milkode.example.com のように専用URLが無いとデプロイ…

Milkodeをgrepと組み合わせたら検索速度が40倍速くなった

ファイル数が多いとgmilkが遅くなるという指摘があったので高速化しました。 その1. テスト、ソースコード数の多いパッケージを登録 テスト用にlinuxをパッケージに登録。 $ tar xzvf linux-3.10-rc4.tag.xz $ cd linux-3.10-rc4 $ milk add . package : lin…

行指向のソースコード検索エンジンMilkode1.0.0リリース!

1.0.0 になりました。初のメジャーリリースバージョンとなります。 ホームページリニューアル 統計情報に拡張子絞り込みのリンクを追加 1.0.0rc1で既に組み込まれている機能についてはこちらをどうぞ インストール $ gem install milkode ダウンロード, Gems…

gihyo.jpに記事を書いた時の感想

忘れないうちにメモ。宣伝も兼ねてます(ぼそっ) 第4回 rroongaを使ったソースコード検索エンジンMilkode:隔週連載groonga|gihyo.jp … 技術評論社 隔週groongaの連載第4回です。今回はMilkodeが内部で使っているrroongaについて紹介しています。 勉強会で発…

自作ソフトのホームページをMediaWikiからJekyllに移行した

MilkodeのホームページをJekyllでリニューアルしました。 Milkode - 行指向のソースコード検索エンジン ※ 旧Wikiページにリダイレクトされてしまう方はお手数ですがブラウザのキャッシュを削除してみて下さい。 移行の経緯 MilkodeのホームページはずっとMed…

Milkode 0.9.9.9 リリース!(実質1.0.0.rc1) - Ruby2.0対応とか

0.9.9.9 になりました。まだまだやりたいことや直せていないバグもあったりするのですが、「コードを読む事をもっと簡単にするためのツール」として最低限必要な機能はそろったのではないかと思います。1.0.0.rc1 としてバグ修正や微調整をしながら五月中に…

数十万のファイルから目的の一行を一瞬で検索 ソースコード検索エンジンMilkode0.9.7

TravisCI rroonga2.1系に対応 emacs-milkodeのバージョンアップ(anything対応など) TravisCI(自動テスト環境)に対応し、rroonga2.1系でも動くようにしました。残りの時間は全てemacs-milkodeのパワーアップに費やしています。 インストール $ gem install mi…

ソースコード検索エンジンMilkode0.9.6 - あいまい自動検索、svnに対応、favicon

Webアプリの検索機能を強化しました。 インストール $ gem install milkode 詳しくはこちらをどうぞ - ダウンロード, Gems注意 rroonga2.1.0には現状対応していません。rroonga2.0.8以前を使って下さい。 $ gem install rroonga -v 2.0.8 追記(2012/01/12) g…

MilkodeがWindowsでも安定して動くようになりました (と、動くまでの戦いの歴史)

Milkodeを使っているWindowsユーザーの方に朗報です。MilkodeがWindowsでも安定して動くようになりました!今まで20000ファイル程登録すると動かなくなっていたりしたのですが、rroonga 2.0.8 に更新することで正しく動くようになります! インストール 以下…

ソースコード検索エンジンMilkode0.9.5 - 行番号クリック時のモーダルにコピーボタンを追加

Webアプリとエディタの連携のためにコピーボタンを付けました。 インストール $ gem install milkode 詳しくはこちらをどうぞ - ダウンロード, Gems 行番号クリック時のモーダルにコピーボタンを追加 行番号をクリックした時に表示されるモーダルにコピーボ…

「全文検索エンジンgroongaを囲む夕べ 3」で発表してきました

Credit: The groonga project, The Ranguba project今年も11/29にVOYAGE GROUP 8Fで行われた全文検索エンジンgroongaを囲む夕べ 3 に行ってきました。今回はユーザーがどのようにgroongaを使っているかがメインの勉強会ということで、groongaを使ったアプリ…

コード検索のための手数を最小限に - Milkode 0.9.4

より検索しやすくするために、操作感向上のための工夫を入れました。 インストール $ gem install milkode 詳しくはこちらをどうぞ - ダウンロード, Gems 検索ボックスの操作性を改善 検索ボックス選択時に自動でテキストを選択 結果表示された内容をコピペ→…

ソースコードのファイル数、行数、使われている言語の割合を瞬時に調べる - Milkode 0.9.3

インストール $ gem install milkode 詳しくはこちらをどうぞ - ダウンロード, Gems milk info milk info コマンドを使うと、登録されたパッケージの ファイル数 使われている言語の割合(breakdown) 行数 を表示することが出来ます。 $ milk info Name: milk…

数万のソースコードから目的の一行を一瞬で見つけ出すMilkode 0.9.2 - ブラウザとエディタの連携が可能に

Milkode0.9.2をリリースしました。milkode.elが追加され、Emacsであればブラウザで検索したファイルをエディタで直接開くことが可能になります。 インストール $ gem install milkode 詳しくはこちらをどうぞ - ダウンロード, Gems milk plugins Milkodeのプ…