*ribbit*

LLM周りで頻出する単語メモ

書きかけ。 https://note.com/kun1emon/n/n1533345d5d26 LLM 大規模言語モデル GPT OPT LLaMA FaceBook製LLM。 Alpaca LLaMAをスタンフォード大学がファインチューニングするプロジェクト。 tatsu-lab/stanford_alpaca: Code and documentation to train Stanford’s Alpaca models, and generate the data. LLaMAの7B程度のモデルでもtext-davinci-003(17.5B)と似た出力をする。 AlpacaはLLaMAをtext-davinci-003が生成したデータでSelf-Instructしたモデルであり、LLaMAのLoRAバージョンがAlpacaというわけではない。LLaMAのLoRAバージョンはAlpaca-LoRA。 Alpaca まとめ｜npaka｜note Alpaca-LoRA AlpacaをLoRAを用いて再現するプロジェクト。AlpacaがFin...

Mastodon/Misskeyで話せる大阪の物知りおじさん

インフラの学習のため、GKE上でMastodonを動作させようと数日間ガチャガチャと学習をしていましたが、ついに安定して動作するレベルになったのでドメインを取って公開しました。 Building 7 構築周りについてはまた別で記事にするとして、建てたインスタンスがほとんど無人島の状態で辛かったので、最近話題になっていたChatGPTのAPIを利用してBotを作ってみました。大阪の物知りおじさん (@chatgpt@building7.social) - Building 7 Systemプロンプトを利用することで、関西弁を話すように指示を出しており、陽気な感じで返信してくれているのがわかると思います。関西出身の人には怒られそうななんちゃって関西弁ですが、大目に見てあげてください。 https://github.com/kznrluk/chatgpt-mastodon 初期の...

v6プラス固定IPサービスで接続ができない件 (Yamaha RTX1300 & Elecomルーター)

未解決です。状況と思考の整理のためにメモとして残しておきます。環境フレッツ光光クロスかもめインターネット固定IPオプション VNE: 日本ネットワークイネイブラー株式会社 (JPNE) 光クロス + ONU直刺しなのでアドレスの配布はDHCPv6-PD 動的IP(MAP-E)は繋がる固定IP(IPIP)が繋がらないメインルーター RTX1300 検証用ルーター WRC-X6000XS ヤマハもエレコムも繋がらない民生用ルーターのWRC-X6000XSが繋がり、業務用ルーターであるRTX1300だけ繋がらない場合は私の設定が悪い可能性が高いのだが、今回はどちらも繋がらない。RTX1300はパケットを通さず、WRC-X6000XSは再接続を繰り返すような状態になる。...

XG-C100C(AQC113)を対応ディストリビューション外のArch Linuxで利用する

家のインターネット回線の10Gbps化に向け、XG-C100Cを購入しました。Linux対応が謳われていましたが、ドライバのインストールで躓いたので解決策を忘備録として残しておきます。また6Gbpsしか出ない場合の原因もあとがきに記しておきます。対象 Debian系とRedHat系以外のディストロで下記のようなAquantia(Marvell)なチップが乗ったNICを利用したいユーザー XG-C100C XG-C100C V2 (筆者所有) GC-AQC113C TX401 発生するエラーそもそも、ドライバ付属のシェルスクリプトではDebian系とRedHat系以外のディストロでは動作しないような記述になっています。 if [ "${DISTRO}" = "debian" ] ; then PACKET_MNG="${APT_GET}" LINUX_HEADERS="linux-headers-`uname -r`" TOOLS="build-essential" CMD="dpkg-query -l" elif [ "${DISTRO}" = "redhat" ] ; then PACKET_MNG="${YUM}" LINUX_HEADERS="kernel-devel-`uname...

Linux上のFFMpegでNVENCがNo capable devices foundと言われ失敗する

最近自宅サーバーを整理し、Arch Linuxで再構築しました。GPUを使い、Docker上でハードウェアエンコードを行おうとしたときに下記エラーに遭遇したので記録しておきます。発生するエラー Press [q] to stop, [?] for help [hevc_nvenc @ 0x55808ed05c80] OpenEncodeSessionEx failed: out of memory (10): (no details) [hevc_nvenc @ 0x55808ed05c80] No capable devices found Error initializing output stream 0:0 -- Error while opening encoder for output stream #0:0 - maybe incorrect parameters such as bit_rate, rate, width or height Conversion failed! TL;DR 下記項目を確認する。制限数以上で並列エンコードしようとしていないか？ GTXやRTXシリーズのGPUを利用する場合、ドライバ側で並列でエンコードできる最大数が決められています。私の使っているGTX1660 SUPERでは最大2並列です。上限を超えてエンコードを行おうとすると、上記のエラーが発生します。プロプ...

エレコム製のルーターはIPoEだとIPv6のインバウンドはすべて破棄される

表題の通りなんですが…。 tldr エレコム製のルーターはIPoE接続だとIPv6のインバウンドパケットをすべて蹴る設定になっている。 IPv6のインバウンドに対して、ポート開放やNAPTを利用することはできない。IPv6な自宅サーバーは建てることができない。 NATループバックも不可能。どうしたものか。環境インターリンク ZOOT NATIVE + 固定IPサービス (transix + IPIP) エレコム WRC-X6000XS-G - https://www.amazon.co.jp/gp/product/B0B56K2L4T 経緯 WRC-X6000XS-G NATループバック非対応我が家ではNASを利用しています。主にGoogleフォトの代替として使っていて、外部からアクセスしたいシーンがよくあるためWebインターフェースだけ外部にも公開する設定にしてあります。このWebインターフ...

Docker on WSL2かつエディタがWindowsにある環境でXdebugを動かす

この記事はWSL2上のLinuxからホストのWindowsのIPを知るにはmDNSを使うのが楽の関連記事です。前提条件一口にWSL2上でDocker使ってるぞ！と言っても、組み合わせがかなり多彩であることに注意する必要があります。 Docker Desktopを使いWSL2バックエンドが有効で、エディタはWindows上にある Docker Desktopを使いWSL2バックエンドが有効で、エディタはWSL2上にある Docker Desktopを使わずWSL2上に直接Dockerが起動しており、エディタはWindows上にある Docker Desktopを使わずWSL2上に直接Dockerが起動しており、エディタはWSL2上にある本記事は WSL...

WSL2上のLinuxからホストのWindowsのIPを知るにはmDNSを使うのが楽

WSL2を使っているWindowsでは、 localhost の特定ポートへのアクセスがよしなにWSL2へ転送されます。例えば、WSL2上のUbuntuで 80番ポートをLISTENしているWebサーバに、Windows上のブラウザから localhost:80 でアクセスすることができます。それとは逆に、Windowsで動いているWebサーバにはWSL上のUbuntuからlocalhost:80 ではアクセスできません。WindowsのIPアドレスを特定して直接アクセスする必要があります。 WSL2上から見えるホストのWindowsのIPアドレスは不定です。これを取得するために、以前からip コマンドを用いた方法がありましたが、mDNSを使うと...

libvirtで始めるリモート開発環境

自宅サーバのリソースを使い、開発用の仮想環境をlibvirtで構築していきます。

冷やしRustはじめました(1) モチベーションと基本文法

理解を怠らずにドキュメントを参照しながらRustを学習していく過程を記した忘備録です。今回はRustを学習するモチベーションと基本文法に触れていきます。