轻量级日志系统
背景还在纠结 Elastic Stack 资源消耗？ 还在纠结 Elastic Stack 配置繁杂？ 还在纠结 Elastic Stack 维护困难？ 今天 我就推出一套我自己的轻量级解决方案： Loki + Vector + Grafana 另外就是再简单说一下，我为什么要搞这么个轻量级日志系统，我的 NAS 和 路由器的日志都可以发送到syslog上，NAS上有很多时候会报一些奇奇怪怪的错，如果是硬盘发生了问题就更恐怖了。 所以我想把日志都收集起来，做统一的分析和告警。但是呢 日志收集并不能在我本地的NAS上做，如果NAS的虚拟机崩了，或重启了，有部分日志会丢失，所以，我选择在我的朋友的机器上做收集，然后我远程发送过去。 日志三大件LokiLoki 是列式数据库新起之秀，类似于 Prometheus，..
更多
搭建一个简单的私有 BT Tracker 服务
Idea本来的一个想法是 用国内网盘的离线下载能力，把我本地的文件上传到网盘上，可以很优雅的做备份。 正常流程 我们做备份，一般都是 push，也就是上传文件到网盘上，这种方式 则是网盘去主动 pull 你的数据，想想是不是还挺好玩。 serverserver的选择不多，Github 上看下来，比较简单的项目有两个： https://github.com/webtorrent/bittorrent-tracker https://github.com/naim94a/udpt bittorrent-tracker这里我选择 这个基于Node构建的服务，简单高效，还有个小的状态页面 安装npm install -g bittorrent-tracker 运行# 这里只使用了 udp 协议 bittorr..
更多
GPT 量化加速推理的几个方案
GPT 量化加速推理的几个方案越来越多的开源优质模型，我们的选择也越来越多了，模型的质量上去了，硬件的要求更高了。 在我们有限的硬件条件下，甚至，在一些便携设备下，运行 LLM 几乎不可用。但是还是有些办法的：量化加速，CUDA，Vulcan，Metal，等。 量化加速通常会把LLM的 30G+ 的文件，处理到 10G以下。有一个通用标准：GGUF，单文件，可以让整个过程更轻松。 量化加速方案 我目前推荐4种： llama.cpp （支持的很多，HF上的GGUF能直接用的也有很多） MLC-LLM（有自己的特定格式，但HF有自己能直接用的模型库，预构建的二进制文件安装很友好） chatglm.cpp（ChatGLM的量化方案，对于国内的语言环境比较友好，但是缺点很严重） LM Studio（桌面版安装，哪..
更多
SSE 和 NDJSON
背景最近再折腾GPT的时候， 遇到流式的响应，总是感觉有点怪怪的，但是又很好，解析了一下，发现竟然是标准化更广的一种协议。 Server-Sent Eventsdata: {"id":"id-1720428652482","object":"chat.completion.chunk","created":1720428652,"model":"gemma-7b-it","choices":[{"delta":{"content":"。"}}..
更多
Github Codespaces 和 远程开发
GitHub CodespacesCodespaces 可以使用基于云服务的资源，并且免去了环境搭建，配置不平衡的问题。 对于我来讲，在公司用 MacBook，在家用 Windows，两套环境不统一，且项目的存放位置不一样，这给我开发一些小项目的时候带来了很多麻烦。 VS Code最优解仍然是 VS Code，和 Github 集成是最好的。但是也会有个问题，VS Code 并不适用于纯静态语言和复杂的依赖结构，比如 Java，Go 等等。 但是对于 脚本类型的非常合适，比如 python，shell，js 等等。 尤其是 Github Codespaces 集成了那么多的开发环境，开箱即用，真的是美到不行， Jetbrains Gateway对于大型项目来讲，还得是 Jetbrains 的产品好，一般来讲..
更多
FIDO 2
FIDO 2FIDO 2 是我很早就想搞得一个事情，但是相关的东西生态太少了，所以优先级不高，但最近折腾了几个东西，让我觉得 还是有搞头的。 安全性和便利性都兼得的一种办法。这个就是未来。 概念FIDO2Fast IDentity Online（线上快速身份验证）的缩写，或称 FIDO 联盟。该联盟主要致力于构建安全、开放、防网络钓鱼的无密码身份验证标准。 包括通用认证框架 UAF（Universal Authentication Framework）、通用第二因素认证标准 U2F（Universal 2nd Factor） 以及 FIDO2。 当说到使用 “FIDO” 时，通常是指使用这三种协议中的任何一种，因为从概念的角度来看，这三者基本一致，只是结构有所区别（UAF——TLV，U2F——RAW，FID..
更多
Home Assistant
Home Assistant之前一直觉得 Home Assistant 有些过于复杂了，是因为我一直一直都用某一个生态圈的东西，比如用小米的就用小米的全套，用 Aqara 就是全套。 那如果各种不一样的品牌组合来用呢？这就变得很复杂了。 但是 Home Assistant 本身是支持各种生态圈的，所以你只要安装好 Home Assistant，然后把各种生态圈的组件都安装好，然后配置好，就可以使用了。 安装Linux推荐使用 Docker 安装， 这样就不用考虑各种Python依赖了。反正都是不能安装插件的。 如果你有虚拟机环境，官方提供的有操作系统。 version: '3' services: homeassistant: container_name: homeassi..
更多
好用的工具和插件
好用的工具和插件这是一期主要分享工具和插件，也是第一期做这个，简单稍微写一下。 本期所有插件 完全免费 VS CodeMicrosoft WSL & Remote SSH https://marketplace.visualstudio.com/items?itemName=ms-vscode-remote.remote-ssh Remote SSH 就不用讲了，远程开发的同学 相比直呼牛x，那么就稍微讲一下 WSL。 在 windows 中 WSL 现在几乎是开发必备的一个东西了，可以和window无缝集成，而且 可以使用 最轻便的 Linux，而且，窗口化 可以透过 VNC 协议，直接在 windows 中渲染，现在的微软，简直是 Linux 最强开发者。 那么 从 windows 中，连接..
更多
JSON RPC
JSON RPC偶然在 aria2 上看到了这个协议，平时我们都是用json来交换数据的，那么json RPC 是什么。 无状态且轻量级的远程过程调用（RPC）传送协议，其传递内容透过 JSON 为主。 相较于一般的 REST 透过网址（如 GET /user）调用远程服务器，JSON-RPC 直接在内容中定义了欲调用的函数名称（如 {“method”: “getUser”}）， 这也令开发者不会陷于该使用 PUT 或者 PATCH 的问题之中。 我的看法目前国内行业中普遍都是采用特别偷懒或不合理的做法 请求全部使用 POST 响应 永远都是 HTTP 200 响应体里 一定要包装一层，而且有自己的错误码（好像也没人看/维护这个错误码） 在我看完 Json RPC 之后，我的评价是..
更多
GPT Open API
私有 AI 和 OpenAI 兼容的 API现在很多私有化部署的 GPT 正在逐渐变多，且 运算方法在不断的更新，优化也越来越好，使得在笔电上跑一个 GPT 都已经不是问题了。 所以还是有必要记录一下我搭建的私有GPT和对外开放API的坑的。 私有 GPT方式方法软件都有很多： ChatGLM LM Studio GPT4All ….. OpenAI 的 API 文档： https://platform.openai.com/docs/api-reference/chat/create ChatGLM（chatglm.cpp） https://github.com/li-plus/chatglm.cpp 这是一个 c++ 实现的 ChatGLM，效率非常惊人，运行中占用的资源极低。 但是如果想要运行 ..
更多