Posts

从wasm技术介绍 里可以看到如何导出函数，并且在宿主机里进行调用。本文介绍如何进行导入函数，从宿主机导入函数并在wasm函数里使用。 还是基于tinygo 来进行演示。 首先定义导入函数 //go:build tinygo package main import ( "fmt" "reflect" "unsafe" ) //export CallFromHost func CallFromHost() int32 //export Add func Add(a, b int32) int32 { return a + b } type User struct { Name string Age int } //export CallHost func CallHost() int32 { return CallFromHost() } //export AddUser func AddUser(nameData *byte, nameLen int32, age int32) bool { fmt.Println(nameLen, age) name := RawBytePtrToString(nameData, int(nameLen)) user := User{Name: name, Age: int(age)} fmt....

类似 RocksDB， badger 是 Go 基于 LSM 实现的 KV 数据库。本文介绍基于 badger 的 1.62 版本。 与传统的LSM 不同，对于 value 数据，badger 会写入 value log，来减少写放大和读放大。但是也会造成问题，就是磁盘会占用过多。 value log 的 gc 实现的比较简单。 我们先看下 badger 写入链路。 数据会优先写入 value log , 这里实际当成了 WAL 使用 value pointer 会记录 写入 value log 文件的 fid ,offset, len 然后把数据写入 memtable ,如何memtable 数据写满的话，会变成不可更改的 memtable , 然后写入到 SST Tables 中。 那么何时刷新 memtable ， 目前有两种情况： 一个是 memtable 大小控制，超过 memtable 规定的大小，就会刷新。默认是 64M , 通过WithMaxTableSize 可以指定 在一个通过 LogRotatesToFlush 控制，这个参数是说 写入 value log 的文件轮转了多少次，默认是 2 次。 超过这个数值也会刷新。 当 badger 进行重启的时候，会对部分数据进行回放操作。从哪个点的数据进行回放，是通过 head pointer 实现的。 head pointer 记录了 fid 和 offset ， 数据比这个 head pointer 晚的话，都会进行回放。...

论文地址：https://raft.github.io/raft.pdf 原理演示： https://raft.github.io/raftscope/index.html 背景 在分布式系统中，数据一致性是必须考虑的点，而且是优先考虑。在不同的场景中，数据一致性包括强一致性和弱一致性（最终一致性）。Paxos及其变种提供的共识算法扮演了重要的角色。但是非常难以理解和实现，Raft旨在简化算法逻辑，提供易于理解的共识算法。常见的 etcd 就是使用的 Raft 协议。 论文中 Raft 协议主要包括以下部分： leader 选举 日志复制 安全性（实际上是各种边界条件的考虑，额外增加了规则） 集群成员的变化 复制状态机 在集群中，机器都会处在相同的状态，及时部分机器失败的情况下。为了达到这个目的，一般使用日志副本的方式。保证副本日志的一致性，就是共识算法的作用。通过共识模块，不同的机器会产生相同的日志副本，副本里的命令是相同的，顺序是相同的。那么状态执行这些log，就会产生相同的状态。 Raft 协议 通常，一个Raft集群包含5个节点，这样可以容忍2个节点的失败。 Raft使用 term （任期）的概念来代替时间的观念。term 使用正整数表示，每次leader选举，都会增加term值。 集群中三个角色： Follower : 是个被动角色，只会接受请求进行回应。 Candidate: 候选人，只有 Candidate 才能发起选举投票。选举成功，变为 Leader。 Leader: 集群中只有一个节点是这个角色。 当系统启动，或者没有收到 leader 的心跳请求， follower 会有一个随机时间，超时后term+1,并且会变成 Candidate 会发起投票。投票成功，会变成 leader , 会立即发送心跳请求。其余失败的 Candidate 会变成 follower 。 集群中主要有两种RPC, RequestVote RPC 和 AppendEntries RPC。前者用于投票，是 Candidate 发起的。后者用于同步log数据，或者心跳请求。 一个节点收到的 term 的比自己的大，会更新当前节点的 term 。 leader 选举 当选举开始时，follower 增加当前的任期term, 然后变成 Candidate。它给自己投票，然后并发的把RequestVote 请求发送给其它节点。那么后面会出现三种情况：...

安装 curl -fsSL https://ollama.com/install.sh | sh 运行模型示例 ollama run llama3.2 类似docker 命令，可以使用 ollama list 和 ollama ps 命令查看已安装的模型和正在运行的模型。 自定义模型 类似 dockerfile ， 可以创建Modelfile 来自定义模型的行为及输出。 比如定义一个翻译助手，从英文翻译到中文。 Modelfile 可以创建如下： FROM llama3.2 # set the system message SYSTEM """ 你的任务是把用户提供的{{.Prompt}} 直接翻译成中文。 """ 然后可以创建模型 ollama create fanyi-llama3.2 -f Modelfile 之后，可以运行 ollama run fanyi-llama3.2 Modelfile 的使用说明参考 https://github.com/ollama/ollama/blob/main/docs/modelfile.md。 使用api 接口服务 启动 server 服务 ollama serve 在本地起一个 11434 端口。 然后另一个终端，运行模型 ollama run fanyi-llama3.2 接口请求 curl http://localhost:11434/api/generate -d '{ "model": "fanyi-llama3....

什么是 WebAssembly WebAssembly（缩写为 Wasm）是一种基于堆栈的虚拟机的二进制指令格式。 Wasm 被设计为编程语言的可移植编译目标，支持在网络上部署客户端和服务器应用程序。 背景 目标很宏大， compile once , run anywhere。 特性 性能： 接近本机执行性能，编译成 low level 的二进制格式 安全： 沙箱的执行环境 多语言支持 可移植性： 跨平台,跨体系结构 有多种运行时 wasmtime wasmer wasmEdge wasmZero 两种编译技术 AOT JIT wasm 文本格式 参考：https://developer.mozilla.org/en-US/docs/WebAssembly/Guides/Understanding_the_text_format 定义个function并且导出 (module (func $add (param $lhs i32) (param $rhs i32) (result i32) local.get $lhs local.get $rhs i32.add) (export "add" (func $add)) ) 调用其它function (module (func $getAnswer (result i32) i32.const 42) (func (export "getAnswerPlus1") (result i32) call $getAnswer i32....

本文介绍如何使用 hugo 搭建静态网站，网站内容push 到 github 上，通过 github action 编译然后传到 linode 机器上，通过nginx 服务访问网站内容。 hugo 的使用参考这里. 首先进行 hugo 安装， 本地电脑是mac ，通过 brew 安装 brew install hugo 然后创建一个网站, 会新建这个目录。 hugo new site bruceding-blog-site 进入 bruceding-blog-site 目录中 ，进行 git 初始化。 cd bruceding-blog-site git init 添加主题 git submodule add https://github.com/nanxiaobei/hugo-paper themes/paper echo "theme = 'paper'" >> hugo.toml 在github 上创建一个仓库，名字为 bruceding-blog-site。 然后把本地的仓库和github 上的仓库关联起来。 git remote add origin git@github.com:bruceding/bruceding-blog-site.git 新建一个blog 文章 hugo new content content/posts/使用hugo搭建blog.md 会生成类似的文件头, 把 draft 改成 false 。否则不会生成html 文件。...