概要

ポイントクラウド (点群) は空間内の点 (x,y,z) の集合です。例えば LiDAR (Light Detection and Ranging、レーザースキャナ、3D スキャナ) を利用して取得できます。メッシュで物体を表現している場合と区別します。

画像には通常の RGB カラー画像だけでなく、距離情報を濃淡として保存した距離画像があります。両方を取得できるカメラを RGB-D カメラ (深度カメラ、Depth Camera) とよびます。RGB-D カメラには更に、放射した赤外線が戻ってくるまでの時間をもとに距離を測定する ToF (Time of Flight) 形式のものや、人間と同様に視差を利用して三角測量によって距離を測定するステレオ形式のものがあります。前者の例としてはマイクロソフトの Kinect があります。後者の例としては Ensenso カメラがあります。

距離センサで取得できる物体との距離情報は、LiDAR のポイントクラウドや RGB-D カメラの距離画像ということになります。距離画像の情報は最終的にはポイントクラウドに変換して利用できます。

ポイントクラウドを扱うためのライブラリとして PCL (Poit Cloud Library) があります。

インストール

Debian9 の場合は以下のコマンドでインストールできます。公式ページの情報が古く、記載されている libpcl-all は利用できません。python-pcl も対応されていません。

apt install libpcl-dev

以下のようなパッケージも合わせてインストールされます。

apt install libeigen3-dev
apt install libvtk6-dev
apt install libboost-all-dev

ビルドサンプル

sample.cpp

#include <pcl/point_cloud.h>
#include <pcl/point_types.h>
#include <iostream>
using namespace std;

int main() {
    // ポイントクラウド
    pcl::PointCloud<pcl::PointXYZRGBA>::Ptr p_cloud(new pcl::PointCloud<pcl::PointXYZRGBA>);
    p_cloud->width = 10;
    p_cloud->height = 10;
    p_cloud->points.resize(p_cloud->width * p_cloud->height);
    cout << "Size: " << p_cloud->width * p_cloud->height << std::endl;

    // あるポイントの座標
    pcl::PointXYZRGBA &point = p_cloud->points[0];
    point.x = 0.5;
    point.y = 0.5;
    point.z = 0.5;
    point.r = 0;
    point.g = 255;
    point.b = 0;
    point.a = 255;
    return 0;
}

ビルド例

g++ -I/usr/include/pcl-1.8 -I/usr/include/eigen3 -I/usr/include/vtk-6.3 -lboost_system sample.cpp
# ./a.out 
Size: 100

概要 OpenGL のフレームバッファには複数のカラーバッファを割り当てることができます。フレームバッファはカラーバッファの他にデプスバッファとステンシルバッファを持ちます。これらバッファはすべてレンダーバッファとよばれるメモリ領域です。フラグメントシェーダで out として得られる出力はカラーバッファに格納されます。一つのフラグメントシェーダに

カメラキャリブレーションについて簡単なまとめ

概要カメラキャリブレーション (Camera Calibration, Camera Resectioning) を行うと、レンズの歪みを表現するパラメータや、カメラのワールド座標系での位置姿勢を推定できます。チェスボードのようなキャリブレーション専用のボードが利用されます。キャリブレーションで得られたパラメータを用いると、例えば歪みを補正することができます。

OpenCV3 を用いて物体の位置姿勢を推定

概要ワールド座標に固定された単一カメラが存在するとします。RGB-D カメラではなく RGB カメラです。この単一カメラからはカラーまたはグレースケール画像が取得できます。カメラキャリブレーションの考え方を利用すると、カメラで取得した画像に写っている既知の物体のワールド座標における位置姿勢を推定できます。カメラキャリブレーションによる内部パラメータ推定結果の保存

複数カメラを用いた奥行きマップの作成 (OpenCV)

概要特徴点が分かっている既知の物体については、単一カメラを用いて位置姿勢が推定できます。物体や全体のシーンが未知である場合は、例えばステレオ形式のカメラ二つを用いることで同様の結果を得ます。具体的には、距離情報を濃淡として保存した距離画像 (Depth Map; 奥行きマップ) を作成します。エピポーラ幾何について

Open Dynamics Engine によるロボットの自己位置の推定 (Python)

概要ロボットアプリケーションを開発する際に、ロボットの自己位置を推定する必要がある場合を考えます。ここでは Open Dynamics Engine を Python から利用した場合について、自己位置推定のサンプルを記載します。自己位置推定と環境の地図作成を同時に行う場合を SLAM (Simultaneous Localization and Mapping) とよびます。