Airbyteコネクタ作成方法に関するドキュメントの一部翻訳 - Python CDK: Creating a HTTP API Source

メリークリスマス!!

この記事は先日めでたくユニコーン入りされたAirbyteに関する、2021年12月25日現在のPython CDK: Creating a HTTP API SourceをDeepLで翻訳したものです。

慣れたら2時間くらいで開発できるそうなので（マジすか)、DIY精神で作れるもの作って楽したいですね。

目次

  • 概要
  • 要件
  • チェックリスト
  • Step 1: テンプレートを使ってソースを作成する
  • Step 2: 新しいソースの依存関係をインストールする
  • Step 3: コネクタに必要な入力を定義する
  • Step 4: 接続チェックを実施する
  • Step 5: ストリームのスキーマを宣言する
  • Step 6: ストリームを読み込むための機能を実装する
    • インクリメンタル同期を追加する
  • Step 7: Airbyteのコネクタを使用する
  • Step 8: 単体テストまたは結合テストの作成
続きを読む

Airbyte + dbt クイックハンズオン on GCP

  • 記事の概要
  • 両プロダクトの好きなところ(主観)
  • 最低限必要なリソース
  • GCPプロジェクト作成
  • サービスアカウント作成
  • Airbyteのインストール
  • Airbyte の転送設定
  • 実行(標準搭載のdbtモデルのみ)
  • 実行(カスタム dbt モデルを追加)
  • おまけ

記事の概要

Airbyte と dbt を組み合わせるとどんな挙動をするのか、超高速で感触を掴んでみましょう。

続きを読む

GitLab 社の People Engineering ハンドブックを和訳してみた

GitLab はフルリモート並びにそれを維持する為の非同期コミュニケーションに力を入れている企業だと思います。その根底にはオペレーションの工夫があるはずで、その片鱗でも触れてみたいと思い、公開ハンドブックの中でも人事部門エンジニアにフォーカスしてDeepLに放り込んでみました。GitLab の指定ディレクトリ以下の.mdファイルを全てマージして和訳しています。それでは早速どうぞ。

※内部リンクが機能してくれないことに気づきましたが、面倒なのでこのまま放置しますw

続きを読む